亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

這篇文章是基于這篇論文“Meta-Graph: Few Shot Link Prediction via Meta Learning” by Joey Bose, Ankit Jain, Piero Molino, and William L. Hamilton.

許多真實世界的數據都是以圖的結構呈現，因此，多年來基于圖的機器學習研究一直是學術界研究的一個活躍領域。其中，一個流行基于圖數據的機器學習的任務是鏈接預測，它涉及到預測圖數據中節點之間缺失的關系/邊。例如，在一個社交網絡中，我們可能使用鏈接預測來支撐一個朋友推薦系統，或者在生物網絡數據中，我們可能使用鏈接預測來推斷藥物、蛋白質和疾病之間可能的關系。然而，盡管鏈接預測很受歡迎，但是以前的工作通常只關注一個特定的問題設置:它通常假設鏈接預測是在一個大型圖上執行的，并且這個圖是相對完整的，即在訓練過程中，至少有50%的真實邊是可以觀察到的。

在這項工作中，我們考慮了更有挑戰性的小樣本鏈接預測設置，其中的目標是對多個圖執行鏈接預測，這些圖只包含它們的真實、底層邊的一小部分。這個任務的靈感來自于這樣的應用程序:我們可以訪問來自單個域的多個圖，但是每個單獨的圖只包含真實的底層邊的一小部分。例如，在生物環境中，高通量互作提供了從不同的組織、細胞類型和生物體估計數以千計的生物互作網絡的可能性；然而，這些估計的關系可能是有噪音的和稀疏的，我們需要學習算法來利用這些多個圖的信息來克服這種稀疏性。類似地，在電子商務和社交網絡設置中，當我們必須快速地對稀疏估計的圖進行預測時，比如最近將某個服務部署到新地區時，鏈接預測通常會產生很大的影響。換句話說，新的稀疏圖的鏈接預測可以受益于從其他圖(可能更密集的圖)傳輸知識，假設存在可利用的共享結構。

我們介紹了一個新的框架元圖，用于小樣本鏈接預測，和以及相應的一系列基準測試。我們采用了經典的基于梯度的元學習公式對圖域進行小樣本分類。具體地說，我們把圖上的分布看作是學習全局參數集的任務上的分布，并將此策略應用于訓練能夠進行小概率鏈路預測的圖神經網絡(GNNs)。為了進一步引導快速適應新圖，我們還引入了圖簽名函數，該函數學習如何將輸入圖的結構映射到GNN鏈路預測模型的有效初始化點。我們在三個鏈接預測基準上對我們的方法進行了實驗驗證。我們發現我們的MetaGraph方法不僅實現了快速適應，而且在許多實驗設置中收斂到更好的整體解決方案，在非元學習基線上收斂的AUC平均提高了5.3%。

小樣本鏈接預測設置

給定一個分布在圖p(G)上的分布，從中我們可以對一個訓練圖Gi = (Vi, Ei, Xi)進行抽樣，其中Vi是節點集合，Ei是邊集合，Xi是一個實值節點屬性矩陣。我們假設每個示例圖Gi都是一個簡單的圖，這意味著它只包含一種類型的關系，沒有自環。我們進一步假設，對于每個圖Gi，我們在訓練期間只能訪問少量的訓練邊E_train (其中|E_train| << |E|)。最后，我們假設p(G)是在一組相關圖上定義的，不管它們是來自一個公共域還是具體的應用設置。

我們的目標是學習一個全局或元鏈接預測模型的樣本訓練圖表Gi~p (G) （其中i=1,2...n）。有了這個元模型，隨后我們可以快速學習局部鏈接預測模型從邊的一個小子集內新采樣圖G*~p (G)。更具體地說，我們想找一個全局的參數θ，它可以在局部鏈接預測模型圖G生成一個有效的參數初始化φ。

請注意，這與標準的鏈接預測設置有很大的不同，后者的目標是從單個圖而不是圖的分布中學習。它也不同于用于小樣本分類的標準元學習，后者通常假設任務中個體預測是獨立且同分布的，而與訓練圖中相互依賴的邊相反。

方法：元圖

我們的方法，元圖，利用了圖神經網絡(GNNs)。原則上，它可以與多種基于GNNs的鏈路預測方法相結合，但我們采用了一種特定的GNN——變分圖自動編碼器(VGAEs)作為我們的基本鏈路預測框架。

Meta-Graph背后的關鍵思想是基于我們使用梯度元學習優化共享全局參數θ,用于初始化VGAE鏈接預測模型的參數。同時，該模型還學習了一個圖簽名函數，這是一個圖的向量表示，我們使用它來調整VGAE模型的參數。如果模型觀察到的圖與當前正在檢查的圖相似，它就能夠相應地調整模型參數。這有助于模型利用梯度下降的幾個步驟來學習有效的參數。

如果我們給出一個采樣的訓練圖Gi，我們使用兩個學習組件的組合初始化VGAE鏈接預測模型的參數：

• 全局參數θ,用于初始化VGAE模型所有的參數φ。φ參數優化的梯度下降的n步，盡管全局參數θ，通過二階梯度下降優化提供一個有效的初始化點的任何圖采樣分布p(G)。
• 圖簽名si =ψ(Gi),用于調節VGAE的激活模式。通過另一個GNN獲得圖的簽名函數。像全局參數θ，類似地，圖簽名模型ψ是通過二階梯度下降優化編碼相似參數初始化的本地鏈接預測模型圖元學習的目的。關于我們的圖簽名函數的更多信息，請參考我們的論文。

總的來說，訓練的算法可以總結如下：

• 采樣一批訓練圖
• 使用全局參數和簽名函數初始化這些訓練圖的VGAE鏈接預測模型
• 運行k個梯度下降步驟來優化這些VGAE模型
• 使用二階梯度下降更新全局參數和基于邊驗證集的簽名函數

我們的論文詳細介紹了元圖的其他幾個變體，它們在如何使用圖形簽名函數的輸出來調節VGAE推理模型的激活方面有所不同。

實驗

為了測試元圖在真實環境中的工作方式，我們設計了三個新的基準來進行小樣本鏈接預測。所有這些基準測試都包含一組從公共域繪制的圖。在所有設置中，我們使用這些圖的80%作為訓練圖，10%作為驗證圖，其中這些訓練圖和驗證圖用于優化全局模型參數(用于元圖)或訓練前權重(用于各種基線方法)。剩下的10%作為測試圖，我們的目標是在這些測試圖上訓練一個模型，以達到較高的鏈接預測精度。

在這個小樣本鏈接預測設置中，在邊層和圖層都有訓練/驗證/測試分割。我們使用訓練邊在每個圖的基礎上預測測試邊的可能性，但我們也同時在多個圖上對模型進行訓練，目的是通過全局模型參數快速適應新的圖。

我們的兩個基準來自于蛋白質相互作用(PPI)網絡和3D點云數據(FirstMM-DB)的標準多圖數據集。第三種是基于AMINER引用數據的新型多圖數據集，其中每個節點對應一篇論文，鏈接代表引用。對于所有數據集，我們通過對一個小子集(即，然后嘗試預測不可見的邊(20%的剩余邊用于驗證)。

一些基線對應于元圖的修改或消融，包括模型無關元學習(MAML)的直接適應，一個微調的基線，在這里我們對VGAE按順序觀察的訓練圖進行預訓練，并對測試圖進行調優（稱為 Finetune）。我們還考慮在每個測試圖上單獨訓練一個VGAE(稱為No Finetune)。我們為鏈接預測任務使用了另外兩個標準基線，即DeepWalk和Adamic-Adar來進行比較，以確保元圖能夠提供實質性的改進。

結果

我們比較了元圖和基線模型在兩種情況下的表現，以了解模型適應新的不可見測試圖的能力和速度。收斂設置，我們訓練模型收斂，和快速適應設置，我們適應模型后，只執行5個梯度更新。在這兩種設置中，我們使用測試圖的10%、20%和30%的邊進行訓練，并對測試圖的測試邊進行測試。我們通過計算鏈路預測AUC來衡量性能。

對于收斂設置。我們發現Meta-Graph獲得了最高的平均AUC，與MAML方法相比，相對改善了4.8%，與Finetune基線相比，相對改善了5.3%。當只使用10%的邊時，元圖的性能更強，這表明在處理非常有限的數據時該方法的潛力。

在快速適應設置中，我們再次發現Meta-Graph在除一個設置外的所有設置中都優于所有基線，與MAML相比平均相對改進9.4%，與Finetune基線相比平均相對改進8%。換句話說，元圖不僅可以從有限的數據中學習，還可以快速地接收新數據，只需要很少的梯度步驟。

展望

在本研究中，我們引入了元圖(Meta-Graph)，這是一種解決小樣本鏈路預測問題的方法，其目標是精確地訓練ML模型，使其能夠快速適應新的稀疏圖數據。在實驗上，我們觀察到使用元圖與在三個小樣本鏈接預測變體基準上的基線相比，有顯著的提高。

總的來說，這項工作適用于研究人員從一個域訪問多個圖，但其中每個單獨的圖只包含真實的底層邊的一小部分。例如，在生物環境中，高通量互作提供了從不同的組織、細胞類型和生物體估計數以千計的生物互作網絡的可能性;然而，這些估計的關系可能是嘈雜的和稀疏的，我們需要學習算法來利用這些多個圖的信息來克服這種稀疏性。類似地，正如前面提到的，在電子商務和社交網絡設置中，當我們必須快速地對稀疏估計的圖進行預測時，比如最近將某個服務部署到新地區時，鏈接預測通常會產生很大的影響。換句話說，新的稀疏圖的鏈接預測可以受益于從其他圖(可能更密集的圖)傳輸知識，假設存在可利用的共享結構。

題目： A Graph to Graphs Framework for Retrosynthesis Prediction

摘要：

計算化學的一個基本問題是找到一組反應物來合成一個目標分子，即逆合成預測。現有的最先進的方法依賴于將目標分子與大量的反應模板進行匹配，這些模板的計算成本非常高，而且還存在覆蓋問題。在這篇論文中，我們提出了一種新的無模板方法，稱為G2Gs，通過將一個目標分子圖轉換成一組反應物分子圖。G2Gs首先通過識別反應中心將目標分子圖分割成一組合成圖，然后通過變分圖翻譯框架將合成圖翻譯成最終的反應物圖。實驗結果表明，G2Gs在準確率方面顯著優于現有的無模板方法，最高可達63%，其性能接近于最先進的基于模板的方法，但不需要領域知識，且可擴展性更強。

元學習已被提出作為一個框架來解決具有挑戰性的小樣本學習設置。關鍵的思想是利用大量相似的小樣本任務，以學習如何使基學習者適應只有少數標記的樣本可用的新任務。由于深度神經網絡(DNNs)傾向于只使用少數樣本進行過度擬合，元學習通常使用淺層神經網絡(SNNs)，因此限制了其有效性。本文提出了一種新的學習方法——元轉移學習(MTL)。具體來說，“meta”是指訓練多個任務，“transfer”是通過學習每個任務的DNN權值的縮放和變換函數來實現的。此外，我們還介紹了作為一種有效的MTL學習課程的困難任務元批處理方案。我們使用(5類，1次)和(5類，5次)識別任務，在兩個具有挑戰性的小樣本學習基準上進行實驗:miniImageNet和Fewshot-CIFAR100。通過與相關文獻的大量比較，驗證了本文提出的HT元批處理方案訓練的元轉移學習方法具有良好的學習效果。消融研究還表明，這兩種成分有助于快速收斂和高精度。

地址:

//arxiv.org/abs/1812.02391

代碼：

題目： Learning with Differentiable Perturbed Optimizers

摘 要:

機器學習管道通常依賴于優化過程來做出離散的決策(例如排序、挑選最近的鄰居、尋找最短路徑或最佳匹配)。雖然這些離散的決策很容易以正向的方式進行計算，但它們不能用于使用一階優化技術修改模型參數，因為它們破壞了計算圖的反向傳播。為了擴展端到端的學習問題的范圍，提出了一種將輸出最優離散決策的塊轉換為可微操作的系統方法。我們的方法依賴于這些參數的隨機擾動，并且可以很容易地在現有的求解器中使用，而不需要特別的正則化或平滑。這些擾動的優化器得到的解是可微的，且不滿足局部常數。平滑度的大小可以通過選擇的噪聲幅值進行調整，我們分析了噪聲幅值的影響。這些擾動解的導數可以得到有效的評價。我們還展示了該框架如何與結構化預測中產生的一系列損失相聯系，并描述了如何在有理論保證的情況下，在無監督和監督學習中使用這些損失。我們在模擬和真實數據的實驗中證明了我們的方法在幾個機器學習任務中的性能。

題目： Link Prediction via Community Detection inBipartite Multi-Layer Graphs

摘要：

隨著多關系網絡數量的不斷增加，在多層框架中解決經典圖問題的方法(如鏈接預測)的發展帶來了新的挑戰。在這項工作中，我們將現有的二部局部模型方法與來自社區的鏈接預測方法相結合來解決多層圖的鏈接預測問題。為此，我們將現有的基于社區發現的鏈路預測方法擴展到二部多層網絡設置中。我們得到了一個新的二部圖中鏈接預測的通用框架，它可以集成任何社區發現方法，能夠處理任意數量的網絡，而且相當便宜(取決于社區檢測技術)，并且能夠自動調整其參數。我們使用兩種最常見的社區檢測方法，Louvain算法和光譜劃分來測試我們的框架，這兩種方法很容易應用于二部圖。我們評估我們的基準數據集的方法，以解決一個常見的藥物目標交互預測任務的計算藥物設計，并在經驗上證明，我們的方法是有競爭力的、最先進的。

邀請嘉賓：

Albrecht Zimmermann目前在卡昂-諾曼底大學擔任會議主任。在研究方面，參加了CoDaG小組的活動，又是GREYC研究實驗室的一部分。2014年2月2日至2015年8月31日，我是法國里昂里昂大學LIRIS實驗室的一員。在德國弗萊堡大學的計算機科學系完成了博士學習。

Bruno Crémilleux主要研究興趣是數據庫中的數據挖掘和知識發現，重點是模式發現:模式(集合)發現、約束滿足問題和數據挖掘、自然語言處理和數據挖掘、偏好查詢(如skypatterns)、來自幾種模式語言的無監督和監督方法(如序列、圖形)。這項研究工作得益于在化學信息學、生物醫學文本分析、生物信息學等領域的緊密合作。Bruno Crémilleux還是GREYC實驗室的約束、數據挖掘和圖形團隊的成員。

論文題目

Few Shot Network Compression via Cross Distillation

論文摘要

模型壓縮已被廣泛應用于獲得輕量化的深層神經網絡。然而，大多數流行的方法需要使用足夠的訓練數據進行微調以確保準確性，這可能會受到隱私和安全問題的挑戰。作為隱私性和性能之間的折衷，本文研究了少鏡頭網絡壓縮：在每類樣本數較少的情況下，如何有效地壓縮性能可以忽略不計的網絡？少鏡頭網絡壓縮的核心挑戰在于在推理過程中原始網絡的高估計誤差，因為壓縮后的網絡很容易過度適應少數訓練實例。估計誤差能夠很好地預測和積累層，最終決定網絡輸出。為了解決這個問題，我們提出了一種新的分層知識提取方法cross蒸餾。通過將教師網絡和學生網絡的隱含層交織在一起，可以有效地減少層內累積的估計誤差。該方法提供了一個通用的框架，與流行的網絡壓縮技術（如剪枝）兼容。在基準數據集上進行的大量實驗表明，當只有少量訓練實例可用時，交叉蒸餾可以顯著提高學生網絡的準確性。

論文作者

郝麗百，賈翔悟，Irwin King，Michael Lyu，香港中文大學。