亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

時間序列數據集，如電子健康記錄(EHR)和注冊表，代表了跨越患者整個生命周期的有價值(但不完美)的信息源。從時間數據學習是一個成熟的領域，已經在以前的一些教程中介紹過，醫療領域提出了獨特的問題和挑戰，需要新的方法和思維方式。也許時間序列最常見的應用是預測。雖然我們將討論疾病預測的最先進的方法，但我們也將關注時間序列中的其他重要問題，如事件時間或生存分析、個性化監測和治療效果隨時間的變化。這些主題將在醫療健康上下文中介紹，但它們對醫學以外的其他領域具有廣泛的適用性。此外，我們將探討幾個必要的特征，使人工智能和機器學習模型在臨床環境中盡可能有用。我們將討論自動機器學習，并解決理解和解釋機器學習模型以及不確定性估計的挑戰，這兩者在高風險場景(如醫療保健)中都是至關重要的。我們的目標是獲得最少的必要的先決知識。然而，我們將假定具有標準機器學習方法的基本知識(如MLPs、rnn)。雖然我們的教程將包括一些機器學習技術的詳細解釋，但重點將放在問題領域，他們獨特的挑戰，以及克服這些問題的思維方式。

有各種各樣的NLP問題可以用圖結構最好地表達。基于圖的深度學習技術(即圖神經網絡(GNNs))在建模非歐氏數據(如圖)方面的巨大優勢，為解決具有挑戰性的圖類NLP問題打開了一扇新的大門，并取得了巨大的成功。盡管取得了成功，但在圖上的深度學習(DLG4NLP)仍然面臨許多挑戰(如自動圖的構造、復雜圖的圖表示學習、復雜數據結構之間的映射學習)。

本教程將介紹深度學習技術在自然語言處理中的應用，包括自然語言處理的自動圖構造、自然語言處理的圖表示學習、自然語言處理的基于GNN的高級模型(如graph2seq和graph2tree)，以及GNN在各種自然語言處理任務中的應用(如機器翻譯、圖像處理和圖像處理)。自然語言生成、信息提取和語義解析)。此外，我們還將舉辦實際演示課程，以幫助觀眾獲得應用GNN解決具有挑戰性的自然語言問題的實際經驗，使用我們最近開發的開源庫Graph4NLP，這是第一個供研究人員和實踐者方便地使用gnn完成各種自然語言任務的庫。

圖機器學習在學術界和工業界都得到了廣泛的研究。然而，隨著圖學習相關文獻的不斷涌現，涌現出大量的方法和技術，手工設計出針對不同圖相關任務的最優機器學習算法變得越來越困難。為了解決這一問題，自動圖機器學習(automated graph machine learning)正受到越來越多的研究領域的關注，它旨在為不同的圖任務/數據在沒有人工設計的情況下發現最佳的超參數和神經結構配置。在本文中，我們廣泛地討論了自動化圖機器方法，包括超參數優化(HPO)和神經結構搜索(NAS)的圖機器學習。我們將分別簡要介紹現有的用于圖機器學習和自動機器學習的庫，并進一步深入介紹AutoGL，這是我們專門的、也是世界上第一個用于自動圖機器學習的開源庫。最后，我們分享了對自動圖機器學習未來研究方向的見解。這篇論文是第一個系統和全面的討論的方法，庫以及自動化圖機器學習的方向。

//www.zhuanzhi.ai/paper/40c22aa30f77abb145fb4ccdd5e0424d

圖數據在我們的日常生活中無處不在。我們可以使用圖表來模擬實體之間的復雜關系和依賴關系，從物理模擬中的蛋白質和粒子中的小分子到全國性的大型電網和全球航空公司。因此，圖機器學習，即圖上的機器學習，一直是學術界和業界[1]的重要研究方向。其中，網絡嵌入[2]、[3]、[4]、[5]和圖神經網絡(GNN)[6]、[7]、[8]在近十年來受到越來越多的關注。它們已成功應用于推薦系統[9]、[10]、欺詐檢測[11]、生物信息學[12]、[13]、物理模擬[14]、交通預測[15]、[16]、知識表示[17]、藥物再利用[18]、[19]和Covid-19大流行預測[20]。

盡管圖機學習算法非常流行，但現有文獻中大量使用人工超參數或架構設計來獲得最佳性能，導致在各種圖任務中出現大量模型時耗費大量人力。以GNN為例，僅在2021年的頂級機器學習和數據挖掘會議上，就至少有100個新的通用架構被發表，更不用說針對特定任務的設計的跨學科研究了。如果我們在設計目標任務的最優算法時堅持手工嘗試和錯誤的范式，就不可避免地需要更多的人力。

另一方面，自動機器學習(AutoML)已被廣泛研究，以減少開發和部署機器學習模型[21]，[22]的人力。完整的AutoML管道有潛力實現機器學習的每一步自動化，包括自動數據收集和清洗、自動特征工程、自動模型選擇和優化等。由于深度學習模型的普及，超參數優化(HPO)[23]、[24]、[25]、[26]和神經結構搜索(NAS)[27]、[28]研究最為廣泛。AutoML在計算機視覺[32]，[33]等領域幾乎沒有人的指導，但它的性能已經達到或超過了人類水平[29]，[30]，[31]。

自動圖機器學習結合AutoML和圖機器學習的優點，自然成為進一步提高模型性能的一個很有前途的研究方向，引起了社會各界越來越多的興趣。在本文中，我們系統地概述了自動化圖機器學習的方法，介紹了相關的公共庫以及世界上第一個用于自動化圖機器學習的開源庫AutoGL，并分享了我們對挑戰和未來研究方向的見解。

我們特別關注兩個主要課題: 圖機器學習的HPO和NAS。對于HPO，我們關注的是如何開發可擴展的方法。對于NAS，我們遵循文獻，從搜索空間、搜索策略和性能評估策略等方面比較不同的方法。簡要介紹了近年來自動化圖學習在架構池化、結構學習、加速器和關節軟硬件設計等方面所取得的成果。此外，還討論了如何用不同的方法解決AutoML在圖上的挑戰。然后，我們回顧了與自動圖機器學習相關的庫，并討論了第一個用于自動圖機器學習的專用框架和開源庫AutoGL。重點介紹了AutoGL的設計原則，并簡要介紹了它的使用方法，這些方法都是專門為圖上的AutoML而設計的。最后，我們指出了圖HPO和圖NAS的潛在研究方向，包括但不限于可擴展性、可解釋性、分布外泛化、魯棒性和硬件感知設計等。我們相信本文將極大地促進和進一步促進自動圖機器學習在學術界和工業界的研究和應用。

本文的其余部分組織如下。在第二節中，我們通過簡要介紹圖機器學習和AutoML的基本公式來介紹自動圖機器學習的基礎和初步。我們在第3節全面討論了基于HPO的圖機器學習方法，在第4節全面討論了基于NAS的圖機器學習方法。然后，在5.1節中，我們概述了與圖機器學習和自動機器學習相關的庫，并深入介紹了AutoGL，這是我們專門為自動圖機器學習定制的開源庫，也是世界上第一個。最后但并非最不重要的是，我們在第6節概述了未來的研究機會，并在第7節總結了整個論文。

圖自動機器學習

自動圖機器學習是AutoML和圖機器學習的有力結合，它面臨著以下挑戰:

• 圖機器學習的獨特性: 與具有網格結構的音頻、圖像或文本不同，圖數據位于非歐氏空間[35]。因此，圖機器學習通常具有獨特的架構和設計。例如，典型的NAS方法專注于卷積和循環操作的搜索空間，這與GNNs[36]的構建塊不同。

• 圖任務的復雜性和多樣性: 如上所述，圖任務本身是復雜和多樣化的，從節點級到圖級問題，具有不同的設置、目標和約束[37]。如何將恰當的歸納偏誤和領域知識集成到圖的AutoML方法中是必不可少的。

• 可擴展性: 許多真實的圖，如社交網絡或Web，都具有令人難以置信的規模，具有數十億個節點和邊[38]。另外，圖中的節點是相互連通的，不能作為獨立的樣本。為圖設計可擴展的AutoML算法提出了重大的挑戰，因為圖機器學習和AutoML都因計算密集而備受詬病。

在后面的章節中，我們將回顧使用HPO或NAS來進行圖機器學習的方法，其目標是處理這三個挑戰中的至少一個。因此，我們將從兩個方面討論自動圖機器學習的方法: i)用于圖機器學習的HPO和 ii)用于圖機器學習的NAS。

未來方向

我們已經討論了現有的關于自動圖機器學習方法和庫的文獻。我們詳細討論了HPO和NAS如何應用于圖機器學習，以處理自動圖機器學習中的問題。我們還介紹了AutoGL，一個用于自動圖形機器學習的專用框架和庫。在本節中，我們將提出未來值得學術界和工業界進一步研究的方向。這里存在著許多值得未來探索的挑戰和機遇。

• 可擴展性: AutoML已經成功地應用于各種圖的場景，但在大規模圖的可擴展性方面仍有許多值得進一步研究的方向。一方面，雖然文獻[39]對大規模圖機學習的HPO進行了初步探索，但模型中使用的貝葉斯優化算法效率有限。因此，如何降低計算成本，實現快速超參數優化將是一個有趣且具有挑戰性的課題。另一方面，盡管大規模圖的應用在現實世界中非常普遍，但NAS用于圖機器學習的可擴展性卻很少受到研究者的關注，這為進一步的探索留下了很大的空間。

• 可解釋性: 現有的自動圖機器學習方法主要基于黑盒優化。例如，目前還不清楚為什么某些NAS模型比其他模型表現得更好，NAS算法的可解釋性還缺乏系統的研究。對于圖機器學習的可解釋性[135]，以及通過超參數重要性去相關的可解釋性圖超參數優化[40]，已有一些初步的研究。然而，進一步深入研究自動圖機器學習的可解釋性仍具有重要意義。

• 分布外泛化: 當應用到新的圖數據集和任務時，仍然需要大量的人力來構建特定于任務的圖HPO配置和圖NAS框架，例如空間和算法。當前的圖HPO配置和NAS框架的泛化是有限的，特別是訓練和測試數據來自不同的分布[136]。研究能夠處理連續快速變化任務的圖HPO算法和圖NAS算法的非分布泛化能力將是一個很有前途的方向。

• 魯棒性: 由于AutoML在圖上的許多應用是風險敏感的，例如金融和醫療保健，模型的健壯性對于實際使用是必不可少的。雖然對圖機器學習的魯棒性有一些初步的研究[137]，但如何將這些技術推廣到自動圖機器學習中還沒有進行探討。

• AutoML的圖模型: 在本文中，我們主要關注如何將AutoML方法擴展到圖。另一個方向，即使用圖形來幫助AutoML，也是可行的和有前途的。例如，我們可以將神經網絡建模為有向無環圖(DAG)來分析其結構[138]、[93]，或者采用gnn來促進NAS[90]、[139]、[140]、[141]。最終，我們期望圖和AutoML形成更緊密的連接，并進一步相互促進。

• 硬件感知模型: 為了進一步提高自動圖機器學習的可擴展性，硬件感知模型可能是一個關鍵步驟，特別是在真實的工業環境中。硬件感知的圖模型[142]和硬件感知的AutoML模型[143]、[144]、[145]都已經進行了研究，但這些技術的集成仍處于早期階段，面臨著巨大的挑戰。

• 綜合評價協議: 目前，大多數AutoML在圖上是在小型的傳統基準上進行測試的，如三個引文圖，即Cora、CiteSeer和PubMed[119]。然而，這些基準被認為不足以比較不同的圖機器學習模型[146]，更不用說圖上的AutoML了。需要更全面的評估協議，例如，最近提出的圖機器學習基準[37]，[147]，或新的專用圖AutoML基準類似于NAS-bench系列[148]。

圖神經網絡（GNN）在實際應用中往往會受到可用樣本數量太少的限制，而元學習（meta-learning）作為解決機器學習中樣本缺乏問題的重要框架，正逐漸被應用到 GNN 領域以解決該問題。本文梳理近年來在元學習應用于 GNN 的一系列研究進展，我們根據模型的架構、共享的表示和應用的領域對以往工作進行分類，并在最后討論該領域當前有待解決的問題和未來值得關注的研究方向。

圖結構數據（Graph）廣泛存在于現實場景中，例如藥物研究中的藥物分子結構和推薦系統中的用戶商品交互都可以用圖（Graph）表示，而圖數據（Graph）的廣泛存在也促進了圖神經網絡（GNN）的發展。GNN 是專門用于處理圖數據的深度神經網絡，它將圖或圖上的頂點、邊映射到一個低維空間，從而學習得到圖的有效表示，并進一步將其應用于下游任務。近年來，GNN 被廣泛應用于新藥發現、交通預測、推薦系統等各個領域。

盡管 GNN 擁有非常強大的能力，但在實際應用中依然面臨樣本數量有限的挑戰，特別是在推薦系統等真實系統更是要求 GNN 可以在少量樣本可用的情況下適應新問題。而元學習（meta-learning）作為解決深度學習系統中樣本缺乏問題的重要框架，在自然語言處理、機器人技術等多種應用中都取得了成功。因此，如何利用元學習解決 GNN 所面臨的樣本缺乏問題，是研究人員普遍關心的問題。

元學習的主要思想是利用之前的學習經驗來快速適應一個新問題，從而利用很少的樣本就能學習一個有用的算法。具體來講，元學習旨在以先驗的形式學習一個模型，而不是針對所有任務學習一個模型(不能區分任務)或針對每個任務學習單獨的模型(可能對每個任務過擬合)。元學習應用于 Graph 的主要挑戰是如何確定跨任務共享的表示類型，以及怎樣設計有效的訓練策略。近期，研究人員針對不同的應用場景，已經提出了多種元學習方法來訓練 GNN。本文我們就將對元學習在 GNN 上的運用進行全面回顧。

自動化機器學習支持用戶、開發人員和研究人員快速開發新的ML應用程序。然而，AutoML工具的輸出并不總是能夠很容易地用人類的直覺或專家知識來解釋，因此專家有時會對AutoML工具缺乏信任。因此，我們開發了一些方法，提高了AutoML系統的透明度和可解釋性，增加了對AutoML工具的信任，并對其他不透明的優化過程產生了有價值的見解。解釋AutoML的方法包括:

超參數的重要性: 哪些超參數(或其他設計決策)對提高ML系統的性能具有全局重要性?[Hutter等人2014]

自動消融研究: 如果一個AutoML工具從一個給定的配置開始(例如，由用戶或ML算法的原始開發人員定義)，與AutoML工具返回的配置相比，哪些更改是重要的，以實現觀察到的性能改進?[Biedenkapp等人2017]

超參數效果的可視化: 我們如何可視化更改超參數設置的效果，無論是局部的還是全局的?[Hutter等人2014,Biedenkapp等人2018]

采樣過程的可視化: 在配置空間的哪些區域有一個AutoML工具在什么時候采樣，為什么采樣?我們在那兒能看到哪場演出?[Biedenkapp等人2018]

//www.automl.org/xautoml/

現代推薦系統(RS)使用各種機器學習(ML)模型為用戶提供個性化推薦。盡管ML模型在推薦方面取得了巨大的成功，但對于競爭對手來說，它們往往不夠強大，后者可能會采取措施將推薦轉化為惡意結果。在2000年至2015年期間，人工設計的假檔案(又稱先令攻擊)的注入是研究的重點，過去幾年的特點是對抗機器學習(AML)技術的崛起，即基于機器學習的方法來攻擊和防御RS。

在本教程中，我們將概述RS中的AML應用，特別是，我們將介紹RS中的AML使用的雙重分類:一種基于對抗性攻擊和防御研究的分類，針對模型參數、內容數據或用戶元素交互; 二是利用生成對抗網絡(GAN)提出新的推薦模型。

//www.ecir2021.eu/tutorials/

目錄內容：

引言 對抗機器學習 生成式對抗網絡 對抗學習推薦系統

在本章中，我們將關注更復雜的編碼器模型。我們將介紹圖神經網絡(GNN)的形式，它是定義圖數據上的深度神經網絡的一般框架。關鍵思想是，我們想要生成實際上依賴于圖結構的節點的表示，以及我們可能擁有的任何特征信息。在開發復雜的圖結構數據編碼器的主要挑戰是，我們通常的深度學習工具箱不適用。例如，卷積神經網絡(CNNs)只在網格結構的輸入(如圖像)上定義良好，而遞歸神經網絡(RNNs)只在序列(如文本)上定義良好。要在一般圖上定義深度神經網絡，我們需要定義一種新的深度學習架構。