亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目： Stochastic Graph Neural Networks

簡介：

圖神經網絡（GNN）對圖數據中的非線性表示進行建模，并在分布式智能體協調，控制和規劃等方面進行了應用。當前的GNN架構假設理想情況，并且忽略由于環境，人為因素或外部攻擊而發生的波動。在這些情況下，如果未考慮拓撲隨機性，則GNN無法解決其分布式任務。為了克服這個問題，我們提出了隨機圖神經網絡（SGNN）模型：一種GNN，其中分布式圖卷積模塊解決了隨機網絡的變化。由于隨機性引入了新的學習范式，因此我們對SGNN輸出方差進行統計分析，以識別學習濾波器為實現向擾動場景的魯棒轉移而應滿足的條件，最終揭示隨機鏈路損耗的顯式影響。我們進一步為SGNN開發了基于隨機梯度下降（SGD）的學習過程，并推導了學習速率收斂的條件，在該條件下該學習過程收斂于平穩點。數值結果證實了我們的理論研究，并將SGNN魯棒與傳統GNN的優勢進行了比較，后者在學習過程中忽略了圖形擾動。

這篇文章是基于這篇論文“Meta-Graph: Few Shot Link Prediction via Meta Learning” by Joey Bose, Ankit Jain, Piero Molino, and William L. Hamilton.

許多真實世界的數據都是以圖的結構呈現，因此，多年來基于圖的機器學習研究一直是學術界研究的一個活躍領域。其中，一個流行基于圖數據的機器學習的任務是鏈接預測，它涉及到預測圖數據中節點之間缺失的關系/邊。例如，在一個社交網絡中，我們可能使用鏈接預測來支撐一個朋友推薦系統，或者在生物網絡數據中，我們可能使用鏈接預測來推斷藥物、蛋白質和疾病之間可能的關系。然而，盡管鏈接預測很受歡迎，但是以前的工作通常只關注一個特定的問題設置:它通常假設鏈接預測是在一個大型圖上執行的，并且這個圖是相對完整的，即在訓練過程中，至少有50%的真實邊是可以觀察到的。

在這項工作中，我們考慮了更有挑戰性的小樣本鏈接預測設置，其中的目標是對多個圖執行鏈接預測，這些圖只包含它們的真實、底層邊的一小部分。這個任務的靈感來自于這樣的應用程序:我們可以訪問來自單個域的多個圖，但是每個單獨的圖只包含真實的底層邊的一小部分。例如，在生物環境中，高通量互作提供了從不同的組織、細胞類型和生物體估計數以千計的生物互作網絡的可能性；然而，這些估計的關系可能是有噪音的和稀疏的，我們需要學習算法來利用這些多個圖的信息來克服這種稀疏性。類似地，在電子商務和社交網絡設置中，當我們必須快速地對稀疏估計的圖進行預測時，比如最近將某個服務部署到新地區時，鏈接預測通常會產生很大的影響。換句話說，新的稀疏圖的鏈接預測可以受益于從其他圖(可能更密集的圖)傳輸知識，假設存在可利用的共享結構。

我們介紹了一個新的框架元圖，用于小樣本鏈接預測，和以及相應的一系列基準測試。我們采用了經典的基于梯度的元學習公式對圖域進行小樣本分類。具體地說，我們把圖上的分布看作是學習全局參數集的任務上的分布，并將此策略應用于訓練能夠進行小概率鏈路預測的圖神經網絡(GNNs)。為了進一步引導快速適應新圖，我們還引入了圖簽名函數，該函數學習如何將輸入圖的結構映射到GNN鏈路預測模型的有效初始化點。我們在三個鏈接預測基準上對我們的方法進行了實驗驗證。我們發現我們的MetaGraph方法不僅實現了快速適應，而且在許多實驗設置中收斂到更好的整體解決方案，在非元學習基線上收斂的AUC平均提高了5.3%。

小樣本鏈接預測設置

給定一個分布在圖p(G)上的分布，從中我們可以對一個訓練圖Gi = (Vi, Ei, Xi)進行抽樣，其中Vi是節點集合，Ei是邊集合，Xi是一個實值節點屬性矩陣。我們假設每個示例圖Gi都是一個簡單的圖，這意味著它只包含一種類型的關系，沒有自環。我們進一步假設，對于每個圖Gi，我們在訓練期間只能訪問少量的訓練邊E_train (其中|E_train| << |E|)。最后，我們假設p(G)是在一組相關圖上定義的，不管它們是來自一個公共域還是具體的應用設置。

我們的目標是學習一個全局或元鏈接預測模型的樣本訓練圖表Gi~p (G) （其中i=1,2...n）。有了這個元模型，隨后我們可以快速學習局部鏈接預測模型從邊的一個小子集內新采樣圖G*~p (G)。更具體地說，我們想找一個全局的參數θ，它可以在局部鏈接預測模型圖G生成一個有效的參數初始化φ。

請注意，這與標準的鏈接預測設置有很大的不同，后者的目標是從單個圖而不是圖的分布中學習。它也不同于用于小樣本分類的標準元學習，后者通常假設任務中個體預測是獨立且同分布的，而與訓練圖中相互依賴的邊相反。

方法：元圖

我們的方法，元圖，利用了圖神經網絡(GNNs)。原則上，它可以與多種基于GNNs的鏈路預測方法相結合，但我們采用了一種特定的GNN——變分圖自動編碼器(VGAEs)作為我們的基本鏈路預測框架。

Meta-Graph背后的關鍵思想是基于我們使用梯度元學習優化共享全局參數θ,用于初始化VGAE鏈接預測模型的參數。同時，該模型還學習了一個圖簽名函數，這是一個圖的向量表示，我們使用它來調整VGAE模型的參數。如果模型觀察到的圖與當前正在檢查的圖相似，它就能夠相應地調整模型參數。這有助于模型利用梯度下降的幾個步驟來學習有效的參數。

如果我們給出一個采樣的訓練圖Gi，我們使用兩個學習組件的組合初始化VGAE鏈接預測模型的參數：

• 全局參數θ,用于初始化VGAE模型所有的參數φ。φ參數優化的梯度下降的n步，盡管全局參數θ，通過二階梯度下降優化提供一個有效的初始化點的任何圖采樣分布p(G)。
• 圖簽名si =ψ(Gi),用于調節VGAE的激活模式。通過另一個GNN獲得圖的簽名函數。像全局參數θ，類似地，圖簽名模型ψ是通過二階梯度下降優化編碼相似參數初始化的本地鏈接預測模型圖元學習的目的。關于我們的圖簽名函數的更多信息，請參考我們的論文。

總的來說，訓練的算法可以總結如下：

• 采樣一批訓練圖
• 使用全局參數和簽名函數初始化這些訓練圖的VGAE鏈接預測模型
• 運行k個梯度下降步驟來優化這些VGAE模型
• 使用二階梯度下降更新全局參數和基于邊驗證集的簽名函數

我們的論文詳細介紹了元圖的其他幾個變體，它們在如何使用圖形簽名函數的輸出來調節VGAE推理模型的激活方面有所不同。

實驗

為了測試元圖在真實環境中的工作方式，我們設計了三個新的基準來進行小樣本鏈接預測。所有這些基準測試都包含一組從公共域繪制的圖。在所有設置中，我們使用這些圖的80%作為訓練圖，10%作為驗證圖，其中這些訓練圖和驗證圖用于優化全局模型參數(用于元圖)或訓練前權重(用于各種基線方法)。剩下的10%作為測試圖，我們的目標是在這些測試圖上訓練一個模型，以達到較高的鏈接預測精度。

在這個小樣本鏈接預測設置中，在邊層和圖層都有訓練/驗證/測試分割。我們使用訓練邊在每個圖的基礎上預測測試邊的可能性，但我們也同時在多個圖上對模型進行訓練，目的是通過全局模型參數快速適應新的圖。

我們的兩個基準來自于蛋白質相互作用(PPI)網絡和3D點云數據(FirstMM-DB)的標準多圖數據集。第三種是基于AMINER引用數據的新型多圖數據集，其中每個節點對應一篇論文，鏈接代表引用。對于所有數據集，我們通過對一個小子集(即，然后嘗試預測不可見的邊(20%的剩余邊用于驗證)。

一些基線對應于元圖的修改或消融，包括模型無關元學習(MAML)的直接適應，一個微調的基線，在這里我們對VGAE按順序觀察的訓練圖進行預訓練，并對測試圖進行調優（稱為 Finetune）。我們還考慮在每個測試圖上單獨訓練一個VGAE(稱為No Finetune)。我們為鏈接預測任務使用了另外兩個標準基線，即DeepWalk和Adamic-Adar來進行比較，以確保元圖能夠提供實質性的改進。

結果

我們比較了元圖和基線模型在兩種情況下的表現，以了解模型適應新的不可見測試圖的能力和速度。收斂設置，我們訓練模型收斂，和快速適應設置，我們適應模型后，只執行5個梯度更新。在這兩種設置中，我們使用測試圖的10%、20%和30%的邊進行訓練，并對測試圖的測試邊進行測試。我們通過計算鏈路預測AUC來衡量性能。

對于收斂設置。我們發現Meta-Graph獲得了最高的平均AUC，與MAML方法相比，相對改善了4.8%，與Finetune基線相比，相對改善了5.3%。當只使用10%的邊時，元圖的性能更強，這表明在處理非常有限的數據時該方法的潛力。

在快速適應設置中，我們再次發現Meta-Graph在除一個設置外的所有設置中都優于所有基線，與MAML相比平均相對改進9.4%，與Finetune基線相比平均相對改進8%。換句話說，元圖不僅可以從有限的數據中學習，還可以快速地接收新數據，只需要很少的梯度步驟。

展望

在本研究中，我們引入了元圖(Meta-Graph)，這是一種解決小樣本鏈路預測問題的方法，其目標是精確地訓練ML模型，使其能夠快速適應新的稀疏圖數據。在實驗上，我們觀察到使用元圖與在三個小樣本鏈接預測變體基準上的基線相比，有顯著的提高。

總的來說，這項工作適用于研究人員從一個域訪問多個圖，但其中每個單獨的圖只包含真實的底層邊的一小部分。例如，在生物環境中，高通量互作提供了從不同的組織、細胞類型和生物體估計數以千計的生物互作網絡的可能性;然而，這些估計的關系可能是嘈雜的和稀疏的，我們需要學習算法來利用這些多個圖的信息來克服這種稀疏性。類似地，正如前面提到的，在電子商務和社交網絡設置中，當我們必須快速地對稀疏估計的圖進行預測時，比如最近將某個服務部署到新地區時，鏈接預測通常會產生很大的影響。換句話說，新的稀疏圖的鏈接預測可以受益于從其他圖(可能更密集的圖)傳輸知識，假設存在可利用的共享結構。

元學習利用相關的源任務來學習初始化，可以通過有限的標記示例將初始化快速調整到目標任務。然而，許多流行的元學習算法，如模型無關元學習(MAML)，都只假設可以訪問目標樣本進行微調。在這項工作中，我們提供了一個通用的元學習框架，該框架基于對不同源任務的損失進行加權，其中的權重允許依賴于目標樣本。在這個一般的設置中，我們提供了基于積分概率度量(IPM)和Rademacher復雜性的源任務加權經驗風險和預期目標風險之間距離的上限，該上限適用于包括MAML和加權MAML變體在內的許多元學習設置。然后開發一個基于最小化誤差學習算法對實證IPM,包括α-MAML加權MAML算法。最后，我們實證地證明了我們的加權元學習算法能夠比單加權元學習算法(如MAML)找到更好的初始化。

題目： Multimodal Model Agnostic Meta-Learning via Task-Aware Modulation

簡介：

模型不可知元學習者的目標是從相似的任務中獲取元學習參數，以適應分布相同但梯度更新較少的新任務。由于模型選擇的靈活性，這些框架在諸如少鏡頭圖像分類和增強學習等多個領域表現出了良好的性能。然而，此類框架的一個重要限制是，它們尋求在整個任務分布中共享的公共初始化，這極大地限制了它們能夠學習的任務分布的多樣性。在本文中，我們增強了MAML的能力，以識別從多模式任務分布中采樣的任務模式，并通過梯度更新快速適應。具體來說，我們提出了一個多模態MAML框架，該框架能夠根據所識別的模式調整其元學習先驗參數，從而實現更高效的快速適應。我們在一組不同的少鏡頭學習任務上對所提出的模型進行評估，包括回歸、圖像分類和強化學習。結果不僅證明了我們的模型在調整元學習先驗以響應任務特征方面的有效性，而且表明了多模態分布的訓練比單模態訓練有更好的效果。

邀請嘉賓：

Risto Vuorio是密歇根大學Satinder Singh實驗室的訪問學者，致力于深度強化學習和終身學習，對開發新的增強學習算法并將其應用于新問題很感興趣。

Shao-Hua Sun是南加利福尼亞大學(USC)計算機科學專業的三年級博士生，與Joseph J. Lim教授一起在視覺與機器人認知學習實驗室(CLVR)擔任Annenberg研究員。在加入USC之前，在國立臺灣大學(NTU)電子工程系獲得學士學位。研究興趣橫跨深度學習、計算機視覺、強化學習、元學習、機器人學習等領域。

題目： Continue Meta-learning without tasks

簡介： 元學習可以利用從任務分配中收集的數據來有效地學習新任務。然而，迄今為止，元學習文獻集中于任務分段設置，即在訓練時，根據其基礎任務和測試時間將“數據”匯總為多個，對算法進行了優化以在單個任務中學習。在這項工作中，我們可以將通用元學習算法應用于無法進行此任務細分的設置，例如使用時變任務進行連續在線學習。我們介紹了通過在線變更點分析（MOCA）進行的元學習，該方法利用可區分的貝葉斯變更點檢測方案增強了元學習算法。該框架允許直接對時間序列數據進行培訓和測試，而無需將其細分為離散任務。我們在非線性元回歸基準以及兩個元圖像分類基準上證明了該方法的實用性。

論文題目： Meta-GNN: On Few-shot Node Classification in Graph Meta-learning

摘要： 元學習作為一種模仿人類智能的可能方法，近來受到了極大的關注，即，學習新的知識和技能。現有的元學習方法多用于解決圖像、文本等少數樣本的學習問題，在歐幾里得域比較常見。然而，將元學習應用于非歐幾里得域的研究工作非常少，最近提出的圖神經網絡(GNNs)模型在處理圖少樣本學習問題時表現不佳。為此，我們提出了一種新的圖元學習框架——元GNN，以解決圖元學習環境中節點分類問題。該算法通過對多個相似的少樣本學習任務進行訓練，獲得分類器的先驗知識，然后利用標記樣本數量較少的新類對節點進行分類。此外，Meta-GNN是一個通用模型，可以直接納入任何現有的最先進的GNN。我們在三個基準數據集上的實驗表明，我們的方法不僅在元學習范式中大大提高了節點分類性能，而且為任務適應提供了一個更通用、更靈活的模型。

論文作者： Fan Zhou, Chengtai Cao, Kunpeng Zhang, Goce Trajcevski, Ting Zhong, Ji Geng

論文題目： Multimodal Model-Agnostic Meta-Learning via Task-Aware Modulation

摘要： 模型無關元學習的目標是從相似的任務中獲取元學習參數，以適應分布相同但梯度更新較少的新任務。由于模型選擇的靈活性，這些框架在諸如小樣本圖像分類和增強學習等多個領域表現出了良好的性能。然而，此類框架的一個重要限制是，它們尋求在整個任務分布中共享的公共初始化，這極大地限制了它們能夠學習的任務分布的多樣性。在本文中，我們增強了MAML的能力，以識別從多模式任務分布中采樣的任務模式，并通過梯度更新快速適應。具體來說，我們提出了一個多模態MAML (MMAML)框架，該框架能夠根據所識別的模式調整其元學習先驗參數，從而實現更高效的快速適應。我們在一組不同的小樣本學習任務上對所提出的模型進行評估，包括回歸、圖像分類和強化學習。結果不僅證明了我們的模型在調整元學習先驗以響應任務特征方面的有效性，而且表明了多模態分布的訓練比單模態訓練有更好的效果。

論文作者： Risto Vuorio, Shao-Hua Sun, Hexiang Hu, Joseph J. Lim

簡介： 強大的機器學習技術在數據豐富的領域成為可能。然而，數據稀缺的領域對這類方法具有挑戰性，因為高容量函數逼近器非常依賴大型數據集進行泛化。這可能對從監督醫學圖像處理到增強學習等領域構成重大挑戰，在這些領域中，真實世界的數據收集(例如機器人)構成了重大的后勤挑戰。元學習或小樣本學習為這一問題提供了一個潛在的解決方案:通過學習跨許多以前任務的數據學習，小樣本元學習算法可以發現任務之間的結構，從而使新任務的快速學習成為可能。

本教程的目的是提供一個統一的元學習視角:向讀者講授現代方法，描述圍繞這些技術的概念和理論原則，介紹這些方法以前在哪里被應用，并討論該領域內的基本開放問題和挑戰。我們希望本教程對其他領域的機器學習研究人員有用，同時也為元學習研究人員提供了一個新的視角。總而言之，我們的目標是讓觀眾能夠將元學習應用到他們自己的應用中，并開發新的元學習算法和理論分析，以應對當前的挑戰和現有工作的局限性。

視頻地址：

Part1 //www.facebook.com/icml.imls/videos/4006/

Part2

主講人介紹：

Chelsea Finn是Google Brain的研究科學家，也是加州大學伯克利分校的博士后。在2019年9月，她將加入斯坦福大學的計算機科學系擔任助理教授。 Finn的研究興趣在于使機器人和其他代理能夠通過學習和交互來發展廣泛的智能行為的能力。為此，芬恩開發了深度學習算法，用于同時學習機器人操縱技能中的視覺感知和控制，用于非線性獎勵函數的可伸縮獲取的逆強化方法以及可以在兩個視覺系統中實現快速，少拍適應的元學習算法感知和深度強化學習。 Finn在麻省理工學院獲得EECS的學士學位，并在加州大學伯克利分校獲得CS的博士學位。她的研究得到了NSF研究生獎學金，Facebook獎學金C.V.的認可。她獲得了Ramamoorthy杰出研究獎和《麻省理工學院技術評論35分35獎》，她的工作已被《紐約時報》，《連線》和彭博社等多家媒體報道。

Sergey Levine于2009年獲得斯坦福大學計算機科學學士學位和碩士學位，并獲得博士學位。 2014年獲得斯坦福大學計算機科學博士學位。他于2016年秋天加入加州大學伯克利分校電氣工程與計算機科學系。他的工作重點是決策和控制的機器學習，重點是深度學習和強化學習。他的工作應用包括自動駕駛機器人和車輛，以及計算機視覺和圖形。 他的研究包括開發將感知和控制相結合的深度神經網絡策略的端到端訓練算法，用于逆向強化學習的可擴展算法，深度強化學習算法等。 在許多受歡迎的媒體中，包括紐約時報，BBC，麻省理工學院技術評論和彭博社，他的作品都得到了報道。