亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

長期以來，用于開發工業規模搜索引擎的機器學習技術一直是大多數領域及其在線產品的重要組成部分。搜索相關性算法是電子商務、流媒體服務和社交網絡等不同領域產品的關鍵組成部分。在本教程中，我們計劃介紹這種大規模的搜索排名系統，特別關注該領域的深度學習技術。我們計劃涵蓋的主題如下:(1)搜索排名系統在實踐中的概述，包括流行的技術，如頁面排名算法和BM25;(2)介紹搜索排序的序列模型和語言模型;(3)該領域的知識蒸餾方法。對于前面提到的每一節課，我們計劃先做一個介紹性的演講，然后再復習一個實際操作的教程，以真正地鉆研概念。我們計劃通過演示、案例研究和實踐示例來涵蓋基本概念，包括最新的深度學習方法，這些方法在生成最相關的搜索結果方面取得了最先進的結果。此外，我們計劃展示這些方法在python中的示例實現，利用各種開放源碼的機器學習庫以及真實的工業數據或開放源碼數據。

//dlranking.github.io/dlrr/

相關性排序是信息檢索(Information Retrieval, IR)的核心問題，在網絡搜索引擎等許多應用中起著至關重要的作用。給定一個查詢和一組候選文本文檔，使用一個排名函數通過生成分數來確定文檔相對于查詢的相關度。早期的排序方法專注于查詢和web文檔之間的文本匹配，如BM25[7]，向量空間模型[1]等。然而，隨著網絡信息的巨大增長，越來越多的自然語言格式的查詢以及更多的維度特征(包括時間和空間維度)對現有的排名解決方案提出了挑戰。近年來，深度學習方法在許多機器學習排名應用中表現出了巨大的成功，包括DSSM [3]， CDSSM [8]， DeepRank[6]等。

在本教程中，我們將概述搜索排名的實踐，并演示各種經典和流行的排名算法，以幫助讀者理解搜索相關性算法及其在現實世界中的應用。本教程大綱如下:搜索相關性排名介紹:在這一環節中，我們將概述信息檢索[9]中的排名問題。回顧了排序函數的一些早期工作，并簡要介紹了各種排序函數模型的歷史。我們選擇了一些關鍵的算法來使用真實數據解釋和演示它們的排名表現。我們介紹了幾個關鍵的性能指標來評估排名和在線指標。我們的實踐課程涵蓋了經典排名函數的實現。基于注意力的搜索相關性模型:在這一環節中，我們將概述序列模型的發展，然后討論注意力機制。我們還將介紹Transformer架構，以及如何在搜索排名系統的上下文中利用其中一些架構。具體內容如下: (1) 我們介紹了序列模型(如RNN和LSTM)是什么，訓練它們時所做的假設是什么，它們更適合于搜索排名系統的哪種數據集。(2)注意力/自注意力: 我們解釋一般注意力機制。(3) Transformer:與上述兩點類似，我們以真實的搜索排序和自然語言處理任務為背景來解釋和激發Transformer架構。(4) 操作會話封面訓練：注意力/Transformer模型。知識蒸餾的搜索相關性: 在這一環節，我們提供了一個介紹的深度結構化語義模型(DSSM)[3]，已廣泛采用在工業中，其質量和高效的架構。我們還介紹了最近的NLP突破，BERT[2]在對查詢文檔對進行評分方面明顯優于DSSM及其變體。然而，我們表明，它的Transformer交叉層同時是昂貴的，因此它不允許離線預計算文檔。為了連接兩者，我們將我們提出的知識蒸餾[5]從教師BERT模型分享到學生模型。新的學習方法明顯勝過傳統的DSMM模型，從點擊中學習。在實踐環節中，聽眾接受了關于在開源數據集上搜索相關性的知識提煉的培訓。提供的代碼示例用于訓練雙塔學生模型，測試數據集用于聽眾體驗教師和學生模型之間的度量差異。

為了對圖結構數據建模，圖學習，特別是利用圖神經網絡的深度圖學習，最近引起了學術界和工業界的廣泛關注。目前流行的圖學習方法通常依賴于從“大”數據中學習，需要大量標注數據進行模型訓練。然而，通常圖與“小”標記數據關聯，作為數據注釋，在圖上標記總是耗時和消耗資源。因此，在有限甚至沒有標記數據的低資源環境下，研究人力監督下的圖學習是非常必要的。在本教程中，我們將專注于圖最小監督學習的最先進的技術，特別是一系列弱監督學習、少樣本學習和自監督學習方法的圖結構數據及其現實應用。本教程的目標是: (1) 對圖最小監督學習中的問題進行正式的分類，并討論不同學習場景下的挑戰; (2) 全面回顧了圖最小監督學習的現有和最新進展; (3) 闡明有待解決的問題和未來的研究方向。本教程介紹了最小監督學習中的主要主題，并為圖學習的新前沿提供了指南。我們相信本教程對研究人員和實踐者是有益的，允許他們在圖學習上合作。

//sites.google.com/asu.edu/kdd2022-tutorial-gmsl

本教程主要關注圖結構數據的最小監督學習(即弱監督學習、少樣本學習和自監督學習)的問題和技術。我們希望觀眾有機器學習、圖挖掘和圖神經網絡的一般背景知識。目標受眾是對該主題不熟悉或感興趣的學生、研究人員和從業人員。本教程將以研究生水平的講座形式進行。具備深度學習、圖挖掘和機器學習的基礎知識優先考慮，但不是必需的。我們將通過網站和社交媒體發布我們的教程信息。

近年來，我們從網絡世界的眾多平臺和物理世界的各種傳感器中生成和收集數據的能力迅速增長。圖作為一種公共語言，用于建模大量的結構化和關系系統，如社會網絡、知識圖譜和學術圖，其中實體被表示為節點，而它們的關系被表示為邊。最近，圖學習算法，尤其是基于圖神經網絡(GNNs)的算法[27,30]由于其在解決現實問題方面的重大影響而受到了廣泛的研究關注。為了利用數據之間的固有結構，圖學習在方法論上取得了重大進展，在不同領域的應用中產生了有前途的結果，從網絡安全[38]到自然語言處理[9]。

一般來說，現有的圖學習算法都專注于在訓練過程中能夠訪問到大量的人類注釋示例的設置。這種假設往往是不可行的，因為收集這些輔助知識是費力的，需要密集的領域知識，特別是考慮到圖結構數據的異構性[10,31]。因此，在有限或沒有標記訓練數據的不同低資源設置下研究圖學習是具有挑戰性的，但也是勢在必行的。其中，圖最小監督學習領域的三個基本問題引起了越來越多的研究關注: (1)圖弱監督學習(graph weaksupervised learning)，即利用不完整、間接或不準確的監督信號來學習針對特定下游任務的有效GNN;(2)圖少樣本學習(Graph few -shot Learning)，它的目標是在只有少數標簽實例可用的情況下處理不可見的任務(從新的標簽空間);(3)圖自監督學習(Graph Self-supervised Learning)，旨在訓練任務無關的GNN或增強GNN在特定的下游任務上的能力，而不需要任何語義注釋。為了解決上述每個基本問題，最近研究人員將不同的機器學習技術應用于圖域，如數據增強[37]、元學習學習[29]和對比學習[21]。因此，我們組織本教程來回顧和討論圖最小監督學習的最新進展，并討論如何利用它們來解決現實世界的問題。

在本教程中，我們的目標是提供一個全面的審查這個新興的和重要的研究主題: 圖最小監督學習。我們將首先介紹圖學習的理論基礎，特別關注圖神經網絡。然后我們討論了圖最小監督學習的三個基本問題以及近年來的關鍵文獻。結合不同粒度級別上的主要圖挖掘任務(例如，節點分類、鏈接預測和圖分類)，我們在每個類別中介紹了用于節點級、邊緣級和圖級任務的技術。最后，我們將介紹圖最小監督學習在不同領域的應用，并討論該研究領域的未來發展方向。在圖學習社區中，我們認為圖最小監督學習是一個具有重要社會影響的前沿研究課題，將吸引學術界和業界的研究人員和從業者。

**目錄 **

• 介紹和概述。首先，我們將簡要介紹深度圖學習及其在低資源環境下面臨的挑戰，然后我們將涉及圖神經網絡[30]、元學習[13]、對比學習[2]等相關主題的一些基礎知識，并介紹圖最小監督學習的概述。

• 圖弱監督學習。我們將介紹帶有弱監督的圖學習方法和應用。重點抓好監督不到位、間接監督和不準確監督三種薄弱監督。本部分將回顧圖自訓練[8,18]、圖主動學習[5,6,14]和圖遷移學習[7,11,31]等一系列學習技術。

• 我們將介紹圖少樣本學習的方法和應用。具體來說，我們將介紹兩類方法:基于元梯度的方法[22,28,35,36]和基于度量學習的方法[10-12,16,31,34]，以展示如何處理從未見過的節點、邊和圖。此外，我們還將討論圖零樣本學習[19,20,24]。

• 圖自監督學習。我們將介紹圖自監督學習的方法和應用。具體來說，我們將涵蓋三種主要的范式，包括圖生成建模[3,4,17,23]、圖屬性預測[15,26]和圖對比學習[1,25,32,33]。

• 結論和討論。我們將總結所涵蓋的主題并討論它們之間的聯系。并討論了本課題未來的研究方向。

講者：

自動化機器學習(AutoML)有望將原始數據轉換為準確的預測，而不需要大量的人力、專業知識和人工實驗。在這個講座式的教程中，我們將演示多模態AutoML的基本技術。與大多數專注于解決包含分類和數字特征的表格任務的AutoML系統不同，我們考慮對各種類型的數據(包括表格特征、文本和圖像及其組合)進行監督學習任務。我們強調的不是單個ML模型如何工作的技術描述，而是如何在接受原始訓練數據并輸出測試數據預測的整體ML流程中最好地使用模型。

我們教程的主要重點是自動構建和訓練深度學習模型，這些模型功能強大，但手動管理起來很麻煩。本教程中涉及的每個主題都附帶了一個實踐的Jupyter筆記本，它實現了最佳實踐(教程前后都可以在GitHub上獲得)。大部分代碼采用了AutoGluon，這是一個最新的開源AutoML工具包，它既先進又易于使用。

人工智能在現代社會中扮演著越來越重要的角色，因為曾經由人類做出的決策現在被委托給了自動化系統。這些系統目前負責決定銀行貸款、罪犯監禁和雇傭新員工，不難想象，很快它們將成為社會大多數決策基礎設施的基礎。盡管這項任務的風險很高，但人們仍然缺乏對這類系統的一些基本屬性的正式理解，包括公平性、問責制和透明度等問題。在本教程中，我們將介紹因果公平分析的框架，目的是填補這一空白，即理解、建模，并可能解決決策設置中的公平問題。我們的方法的主要見解將是將觀察到的數據中存在的差異的量化與最初產生差異的潛在的、往往未被觀察到的因果機制聯系起來。我們將研究分解變化的問題，這將導致構建公平的實證措施，將這種變化歸因于產生它們的因果機制。這種將差異歸因于特定因果機制的做法，將使我們能夠提出一個正式而實用的框架，以評估不同處理和影響的法律理論，同時考慮到業務的必要性。最后，通過新開發的框架，我們將得出與以往文獻的重要聯系，在因果推理領域內外。這一努力將在“公平地圖”中達到高潮，這是第一個根據其因果屬性(包括可接受性、可分解性和權力)對公平的多個衡量標準進行銜接和系統分類的工具。我們希望這一套新的原則、措施和工具可以幫助指導AI研究人員和工程師分析和/或開發與社會目標、期望和愿望一致的決策系統。

大數據和大計算的興起給數字生活的許多領域帶來了現代神經網絡，這要歸功于構建與現實世界相適應的大型模型相對容易。Transformers的成功和對海量數據的自監督預訓練讓一些人相信，只要我們有數據和計算資源，深度神經網絡幾乎可以做任何事情。然而，情況可能并非如此。雖然神經網絡可以快速地利用表面統計，但它們在推廣到新的組合上卻失敗得很糟糕。目前的神經網絡并不執行刻意推理——即從上下文數據中有意地推導出新知識的能力。本教程回顧了最近的發展，將神經網絡的能力擴展到從數據“學習推理”，其中的任務是確定數據是否包含一個結論。這種能力開辟了新的途徑，通過使用自然語言進行任意查詢，從數據中生成見解，而不需要預先定義一組狹義的任務。

本教程由三個主要部分組成。A部分涵蓋了學習-推理框架，解釋了神經網絡如何通過綁定、注意力和動態計算圖等自然操作作為推理的強大支柱。我們還將展示神經網絡如何學習執行組合算法。第二部分將更詳細地介紹神經網絡如何在非結構化和結構化數據上進行推理，以及跨多種模態。將解釋集合、關系、圖和時間的推理。C部分回顧了更高級的主題，包括帶有外部記憶的神經網絡，學習用有限的標簽進行推理，以及用心智理論進行遞歸推理。我們將特別關注神經記憶作為支持實體、關系甚至神經程序推理的基本機制。如有可能，將提供文本理解和視覺問答方面的個案研究。

來自華為的研究人員在KDD2021上將給出關于反事實解釋與XAI的教程，非常值得關注!

深度學習在許多領域都顯示出了強大的性能，但其黑箱特性阻礙了其進一步的應用。作為回應，可解釋人工智能應運而生，旨在解釋深度學習模型的預測和行為。在眾多的解釋方法中，反事實解釋被認為是最好的解釋方法之一，因為它與人類的認知過程相似:通過構建對比情境來進行解釋，人類可以認知地展示差異來解釋其背后的機制。

在本教程中，我們將介紹反事實解釋的認知概念和特點，反事實解釋的計算形式，主流方法，以及在不同解釋設置下的各種適應。此外，我們將展示幾個流行研究領域的反事實解釋的典型用例。最后，根據實踐，我們概述了反事實解釋的潛在應用，如數據增強或對話系統。我們希望本教程能幫助參與者對反事實解釋有一個大致的了解。

//sites.google.com/view/kdd-2021-counterfactual

反事實思維是人類理解世界的基本方式之一，因此，用反事實來解釋機器學習和深度學習模型成為近年來的流行[4]。一個反事實的解釋描述了一種因果情況，其形式為:“如果X沒有發生，Y就不會發生”[20]。Judea pearl 將反事實定義為對“如果發生了什么”問題[15]的概率回答。反事實陳述是尋找特征值的最小變化，以便它可以將預測變成期望的輸出。對于黑箱人工智能模型，反事實解釋通常是通過從數據集中檢索數據樣本或通過擾動原始輸入的特征生成樣本，使這些數據樣本的模型輸出與原始輸出相矛盾來獲得。由于計算和應用以及反事實解釋都與數據挖掘或數據處理密切相關，我們認為反事實解釋符合數據挖掘社區的興趣，因此值得在本教程中介紹。

本教程針對的是對幫助機器理解自然語言文本的人工智能技術感興趣的研究人員和從業者，特別是文本中描述的真實世界事件。這些方法包括提取關于一個事件的主角、參與者和屬性的內部結構，以及關于多個事件的成員關系、時間和因果關系的外部結構。本教程將為讀者提供一個系統的介紹 (i) 事件的知識表示，(ii) 自動提取、概念化和預測事件及其關系的各種方法，(iii) 事件過程和屬性的歸納，和(iv) 廣泛的NLU和常識性理解任務。我們將通過概述這一領域中出現的研究問題來結束本教程。

//cogcomp.seas.upenn.edu/page/tutorial.202108/

人類語言總是涉及對現實世界事件的描述。因此，對事件的理解在自然語言理解中起著至關重要的作用。例如，敘述預測得益于學習事件的因果關系，從而預測故事接下來會發生什么;機器理解文檔可能包括理解影響股市的事件、描述自然現象或識別疾病表型。事實上，事件理解在諸如開放領域問答、意圖預測、時間軸構建和文本摘要等任務中也有廣泛的重要應用。由于事件不只是簡單的、獨立的謂詞，對事件理解的前沿研究通常面臨兩個關鍵挑戰。一個挑戰是精確地歸納事件的關系，它描述了事件的隸屬關系、共參照、時間順序和因果關系。另一種是理解事件的內在結構和屬性，涉及到它的參與者、粒度、位置和時間。

在本教程中，我們將全面回顧文獻中關于以事件為中心的知識表示的現有范式，并關注它們對NLU任務的貢獻。除了引入用于事件抽取的部分標簽和無監督學習方法外，我們還將討論最近用于從文本中抽取多面事件-事件關系的約束學習和結構化推理方法。我們還將回顧最近用于事件預測任務的數據驅動方法，包括事件過程歸納和概念化，以及以事件為中心的語言模型如何有利于敘事預測。此外，我們將說明遠距離監督方法如何幫助解決時間和因果常識對事件的理解，以及如何運用它們來構建大規模的事件知識庫。參與者將了解這個主題的最新趨勢和新出現的挑戰，代表性工具和學習資源，以獲得即用模型，以及相關模型和技術如何使最終使用NLU應用程序受益。

目錄內容：

• 引言
• 事件信息提取
• 事件過程預測
• 事件知識獲取
• 事件摘要
• 事件研究問題

人工智能(AI)在決定我們日常體驗方面扮演著越來越重要的角色。人工智能的應用越來越多地不再局限于搜索和推薦系統，如網絡搜索、電影和產品推薦，但人工智能也被用于對個人、企業和社會至關重要的決策和流程。在招聘、借貸、刑事司法、醫療保健和教育等領域，基于web的人工智能解決方案對個人和專業的影響是深遠的。

在人工智能系統的開發和部署中，有許多因素發揮著作用，它們可能會表現出不同的、有時是有害的行為。例如，訓練數據往往來自社會和現實世界，因此它可能反映了社會對少數民族和弱勢群體的偏見和歧視。例如，少數族裔與多數族裔在類似行為上面臨更高的逮捕率，所以在沒有補償的情況下構建一個人工智能系統可能只會加劇這種偏見。

上述問題凸顯出需要監管、最佳實踐和實用工具，以幫助數據科學家和ML開發人員構建安全、隱私保護、透明、可解釋、公平和負責的人工智能系統，以避免可能對個人、企業和社會有害的意外后果和合規挑戰。

在這些原則中，模型的透明度和可解釋性是在需要可靠性和安全性的高風險領域(如醫療保健和自動化運輸)建立信任和采用人工智能系統的先決條件，以及具有重大經濟影響的關鍵工業應用(如預測性維護、自然資源勘探和氣候變化建模)。除了可解釋性，越來越多的利益相關者質疑他們的人工智能系統的公平性，因為有很多例子可以說明不考慮公平性的后果，從人臉識別對白人男性的效果明顯優于有色女性，到歧視特定群體的自動招聘系統。通過整合工具來確保模型的透明度和公平性，可以讓數據科學家、工程師和模型用戶更容易調試模型，并實現確保AI系統的公平性、可靠性和安全性等重要目標。

最后，人工智能產品通常由ML模型驅動，這些模型根據敏感用戶數據進行訓練。給定足夠的復雜性——無論是從參數的數量[例如。或者用戶級個性化——，該模型可以對用戶的私人信息進行編碼。此外，通常需要在ML生命周期的不同階段確保用戶隱私，并保護不同類型的不良行為者和威脅場景，需要隱私保護AI方法。

在本教程中，我們將概述負責任的人工智能，強調人工智能中模型的可解釋性、公平性和隱私性，關鍵的法規/法律，以及提供關于基于web的人工智能/ML系統的理解的技術/工具。然后，我們將關注可解釋性、公平評估/不公平緩解和隱私技術在行業中的應用，其中我們提出了有效使用這些技術的實際挑戰/指導方針，以及從部署幾個web規模的機器學習和數據挖掘應用模型中獲得的經驗教訓。我們將介紹不同公司的案例研究，包括搜索和推薦系統、招聘、銷售、借貸和欺詐檢測等應用領域。我們將強調，與負責任的人工智能相關的主題是社會技術的，也就是說，它們是社會和技術交叉的主題。潛在的挑戰不能由技術人員單獨解決;我們需要與所有關鍵的利益相關者一起工作——比如技術的客戶、受技術影響的人，以及具有道德和相關學科背景的人——并在設計這些系統時考慮他們的輸入。最后，基于我們在行業中的經驗，我們將為數據挖掘/機器學習社區確定開放的問題和研究方向。

//sites.google.com/view/ResponsibleAITutorial

來自UIUC的Transformers最新教程。

Transformer 架構 architecture Attention models Implementation details Transformer-based 語言模型 language models BERT GPT Other models

Transformer 視覺 Applications of Transformers in vision

注意力是一種在廣泛的神經結構中使用的越來越流行的機制。由于這一領域的快速發展，仍然缺乏對注意力的系統概述。在本文中，我們定義了用于自然語言處理的注意力體系結構的統一模型，重點介紹了用于文本數據的向量表示的體系結構。我們討論了以往工作的不同方面，注意力機制的可能用途，并描述了該領域的主要研究工作和公開挑戰。

//web.eecs.umich.edu/~justincj/slides/eecs498/FA2020/598_FA2020_lecture13.pdf