亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本教程系統地介紹了圖神經網絡（GNNs）的自監督學習和預訓練。演講者從阿里巴巴、微信和AMiner的行業示例出發，解釋了圖挖掘和機器學習如何從GNNs中受益。接著，他們全面介紹了GNNs自監督學習和預訓練的歷史和最新進展。最后，他們介紹了CogDL——一個用于圖深度學習的綜合庫。在CogDL中，他們為圖神經網絡（GNN）模型的訓練循環提出了統一的設計，使其在現有的圖學習庫中獨具特色。本教程介紹的所有GNN模型、自監督和預訓練技術都提供了在CogDL中可復制的代碼。獨特的是，本教程旨在為聽眾提供：1）圖上最近的自監督學習技術，2）圖上的預訓練進展，以及3）用于訓練自監督GNNs和預訓練GNNs的易于使用的CogDL API和示例。

在過去的幾年中，圖上的深度學習在各個領域取得了顯著的進展。然而，大多數圖學習任務假設圖是靜態的，而現實世界的圖可能會不斷增長或演變。因此，研究如何在不忘記之前學習的知識的情況下，不斷地使圖學習模型適應新的模式/任務是至關重要的。為此，在本教程中，我們將介紹持續圖學習(CGL)的新領域。具體來說，我們將(1)介紹不同的持續圖學習設置，(2)提出CGL中的關鍵挑戰，(3)強調現有的CGL技術，以及(4)討論未來的方向。本教程時長為3小時，包括150分鐘的演示和30分鐘的問答。

現實世界的圖通常是不斷增長或演變的。例如，新類型的論文可能會不斷添加到引文網絡中，而文檔分類器有望不斷適應并能夠對新類型的論文進行分類。在藥物設計研究中，可能會不斷地遇到具有新性質的分子，而分子性質預測器必須不斷地學習新的分子性質。現有的圖學習模型擅長學習新的模式/任務。然而，高可塑性也帶來了災難性遺忘問題，即模型在學習新任務后，對先前學習的任務的性能急劇下降。為此，CGL最近受到越來越多的關注，因此將在本教程中進行深入討論。

由于不同領域的圖形數據形式復雜，我們首先介紹CGL的形式化設置。具體來說，我們將解釋任務增量(task-IL)和類增量(class-IL)場景下的節點級任務和圖級任務。然后，基于這些設置，我們將介紹CGL的關鍵挑戰，以及與傳統的獨立數據(如圖像)上的持續學習的區別。接下來，我們將介紹現有的方法，包括專門為CGL開發的方法，以及適用于CGL的傳統持續學習方法。最后，在分析現有方法優缺點的基礎上，指出尚待解決的挑戰和未來的研究方向。

長期以來，用于開發工業規模搜索引擎的機器學習技術一直是大多數領域及其在線產品的重要組成部分。搜索相關性算法是電子商務、流媒體服務和社交網絡等不同領域產品的關鍵組成部分。在本教程中，我們計劃介紹這種大規模的搜索排名系統，特別關注該領域的深度學習技術。我們計劃涵蓋的主題如下:(1)搜索排名系統在實踐中的概述，包括流行的技術，如頁面排名算法和BM25;(2)介紹搜索排序的序列模型和語言模型;(3)該領域的知識蒸餾方法。對于前面提到的每一節課，我們計劃先做一個介紹性的演講，然后再復習一個實際操作的教程，以真正地鉆研概念。我們計劃通過演示、案例研究和實踐示例來涵蓋基本概念，包括最新的深度學習方法，這些方法在生成最相關的搜索結果方面取得了最先進的結果。此外，我們計劃展示這些方法在python中的示例實現，利用各種開放源碼的機器學習庫以及真實的工業數據或開放源碼數據。

//dlranking.github.io/dlrr/

相關性排序是信息檢索(Information Retrieval, IR)的核心問題，在網絡搜索引擎等許多應用中起著至關重要的作用。給定一個查詢和一組候選文本文檔，使用一個排名函數通過生成分數來確定文檔相對于查詢的相關度。早期的排序方法專注于查詢和web文檔之間的文本匹配，如BM25[7]，向量空間模型[1]等。然而，隨著網絡信息的巨大增長，越來越多的自然語言格式的查詢以及更多的維度特征(包括時間和空間維度)對現有的排名解決方案提出了挑戰。近年來，深度學習方法在許多機器學習排名應用中表現出了巨大的成功，包括DSSM [3]， CDSSM [8]， DeepRank[6]等。

在本教程中，我們將概述搜索排名的實踐，并演示各種經典和流行的排名算法，以幫助讀者理解搜索相關性算法及其在現實世界中的應用。本教程大綱如下:搜索相關性排名介紹:在這一環節中，我們將概述信息檢索[9]中的排名問題。回顧了排序函數的一些早期工作，并簡要介紹了各種排序函數模型的歷史。我們選擇了一些關鍵的算法來使用真實數據解釋和演示它們的排名表現。我們介紹了幾個關鍵的性能指標來評估排名和在線指標。我們的實踐課程涵蓋了經典排名函數的實現。基于注意力的搜索相關性模型:在這一環節中，我們將概述序列模型的發展，然后討論注意力機制。我們還將介紹Transformer架構，以及如何在搜索排名系統的上下文中利用其中一些架構。具體內容如下: (1) 我們介紹了序列模型(如RNN和LSTM)是什么，訓練它們時所做的假設是什么，它們更適合于搜索排名系統的哪種數據集。(2)注意力/自注意力: 我們解釋一般注意力機制。(3) Transformer:與上述兩點類似，我們以真實的搜索排序和自然語言處理任務為背景來解釋和激發Transformer架構。(4) 操作會話封面訓練：注意力/Transformer模型。知識蒸餾的搜索相關性: 在這一環節，我們提供了一個介紹的深度結構化語義模型(DSSM)[3]，已廣泛采用在工業中，其質量和高效的架構。我們還介紹了最近的NLP突破，BERT[2]在對查詢文檔對進行評分方面明顯優于DSSM及其變體。然而，我們表明，它的Transformer交叉層同時是昂貴的，因此它不允許離線預計算文檔。為了連接兩者，我們將我們提出的知識蒸餾[5]從教師BERT模型分享到學生模型。新的學習方法明顯勝過傳統的DSMM模型，從點擊中學習。在實踐環節中，聽眾接受了關于在開源數據集上搜索相關性的知識提煉的培訓。提供的代碼示例用于訓練雙塔學生模型，測試數據集用于聽眾體驗教師和學生模型之間的度量差異。

自動化機器學習(AutoML)有望將原始數據轉換為準確的預測，而不需要大量的人力、專業知識和人工實驗。在這個講座式的教程中，我們將演示多模態AutoML的基本技術。與大多數專注于解決包含分類和數字特征的表格任務的AutoML系統不同，我們考慮對各種類型的數據(包括表格特征、文本和圖像及其組合)進行監督學習任務。我們強調的不是單個ML模型如何工作的技術描述，而是如何在接受原始訓練數據并輸出測試數據預測的整體ML流程中最好地使用模型。

我們教程的主要重點是自動構建和訓練深度學習模型，這些模型功能強大，但手動管理起來很麻煩。本教程中涉及的每個主題都附帶了一個實踐的Jupyter筆記本，它實現了最佳實踐(教程前后都可以在GitHub上獲得)。大部分代碼采用了AutoGluon，這是一個最新的開源AutoML工具包，它既先進又易于使用。

開發智能和自主學習代理的關鍵挑戰之一是它們與人類有效互動的能力。在本教程中，我們計劃涵蓋交互式代理的理論和實踐基礎。具體而言，在本教程的第一部分中，我們將側重于單獨的人類行為模型，如何使用這些模型進行有效的協調，以及如何優化它們以影響伙伴。在本教程的第二部分，我們將繼續介紹共同適應的環境，在這種環境中，人類的偏好是不穩定的，他們會適應，我們將討論這如何導致新的規范、慣例和平衡的出現。最后，我們將介紹一些方法來推斷人類伴侶的偏好，這些方法使用交互式領域中呈現的一系列離線和在線數據源。在本教程中，我們還將討論自動駕駛、混合自主交通網絡、個人機器人和多智能體游戲中的應用實例。

//icml.cc/Conferences/2022/Schedule?showEvent=18436

機器學習(ML)系統的規模正在迅速增長，正在獲得新的能力，并越來越多地部署在高風險的環境中。為了滿足對安全ML系統日益增長的需求，我首先討論如何使系統可靠地執行。之后，我將討論如何使系統的行為符合人類的價值觀。最后，我討論了如何使ML系統更安全的開放問題。

//www2.eecs.berkeley.edu/Pubs/TechRpts/2022/EECS-2022-133.html

在這篇論文中，我們的目標是幫助塑造將促使強大的人工智能系統的過程，并將過程引導到更安全的方向。我們通過讓深度學習系統更安全來做到這一點，因為深度學習的工作可能會轉化為未來的系統。我們總結我們的發現并討論一般的教訓。

在第2章中，我們首先展示了上游功能可以提高安全性。特別是，自監督學習和預訓練可以改善許多安全指標。我們還表明，在大規模設置的尺度異常檢測方法可能存在挑戰。然后，我們展示了大規模的NLP模型在許多安全指標上有很高的性能。接下來，我們展示了盡管視覺模型在很多方面都有能力，但它們仍然可以很容易地通過反向策劃的例子被打破。在下一節中，我們將展示，即使在穩健性中，我們也可以在不改進一般功能的情況下改進安全度量。最后，PixMix表明，一個方法可以在多個安全指標方面接近帕累托最優。在第三章中，我們展示了模型可以模仿人類對規范性陳述的反應，而不僅僅是描述性陳述。這讓我們能夠將帶有道德知識的模型應用于基于文本的互動游戲中。這些模型過濾了其他主體模型，并阻止主體模型采取道德上不受歡迎的行為。這一切都是在沒有提高一般游戲能力的情況下完成的。

在第4章中，我們整合并完善了在以前的論文中探索的各個方向，為提高安全性提供了一個路線圖。本節介紹了“系統安全”，它明確承認社會技術考慮對于提高安全性是必要的。它還將對齊與其他不同的研究目標(如魯棒性和監控)分離開來。通過提供許多可供研究的問題，希望更多的研究人員能夠致力于提高安全性。最后，我們列舉了許多使機器學習系統更安全的新方向。這些都是讓未來強大的人工智能系統更安全的中間步驟。隨著模型的能力越來越強，我們希望研究界能夠更直接地研究先進人工智能系統的尾部風險，包括可能永久削弱人類長期潛力的風險。

無監督跨語言表示初始化方法與去噪、反翻譯等機制一起，發展了無監督神經機器翻譯(UNMT)，取得了令人印象深刻的效果。與此同時，UNMT仍面臨若干挑戰。本教程首先介紹UNMT的背景和最新進展。然后，我們審查了UNMT面臨的一些挑戰，并就該技術目前的表現給出了實證結果。

//2021.eacl.org/downloads/tutorials/Advances-in-UNMT.pdf

這本書將理論計算機科學和機器學習連接起來，探索雙方可以相互促進什么。它強調需要靈活、易于處理的模型，以便更好地捕捉機器學習的難點。理論計算機科學家將介紹機器學習的重要模型和該領域的主要問題。機器學習研究人員將以一種可訪問的格式介紹前沿研究，并熟悉現代算法工具包，包括矩的方法，張量分解和凸規劃松弛。最壞情況分析之外的處理是建立對實踐中使用的方法的嚴格理解，并促進發現令人興奮的、解決長期存在的重要問題的新方法。

//www.cambridge.org/hk/academic/subjects/computer-science/pattern-recognition-and-machine-learning/algorithmic-aspects-machine-learning?format=PB

機器學習和深度學習模型在廣泛的NLP問題上取得了巨大的成功。然而，這些模型中的大多數都是黑框的，缺乏決策過程背后的透明度。此外，傳統的方法高度依賴注釋數據，而忽略了來自領域專家的重要知識。

本講座將涵蓋三個主動的基于知識的機器推理管道。在第一部分中，我將討論一階邏輯，從介紹它的標準推理算法到最近在NLP中的擴展，包括神經證明和正則化具有邏輯約束的神經模型。

在第二部分，我將介紹神經符號模型，它配備了邏輯形式，可以執行/與環境交互。應用將包括具有離散執行器的語義解析器和以端到端方式學習的邏輯形式指導的神經模塊模型。在第三部分，我將介紹基于證據的模型，通過單輪或多輪檢索使用外部證據。

如今，網絡越來越大，越來越復雜，應用越來越廣泛。眾所周知，網絡數據是復雜和具有挑戰性的。要有效地處理圖數據，第一個關鍵的挑戰是網絡數據表示，即如何正確地表示網絡，使模式發現、分析和預測等高級分析任務在時間和空間上都能有效地進行。在這次演講中，我將介紹網絡嵌入和GCN的最新發展趨勢和最新進展，包括解糾纏GCN、抗攻擊GCN以及用于網絡嵌入的自動機器學習。

//tcci.ccf.org.cn/conference/2020/dldoc/tutorial_3.pdf