亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

因果性是現在機器學習關注的焦點之一。倫敦大學學院和牛津大學的學者發布了《因果機器學習》綜述，非常值得關注！

因果機器學習(CausalML)是將數據生成過程形式化為結構因果模型(SCM)的機器學習方法的總稱。這使得人們可以對這一過程的變化的影響(即干預)和事后會發生什么(即反事實)進行推理。根據他們所解決的問題，我們將CausalML中的工作分為五組:(1)因果監督學習，(2) 因果生成模型，(3) 因果解釋，(4) 因果公平，(5) 因果強化學習。對每一類方法進行了系統的比較，并指出了有待解決的問題。此外，我們回顧了特定模式在計算機視覺、自然語言處理和圖形表示學習中的應用。最后，我們提供了因果基準的概述，并對這一新興領域的狀態進行了批判性的討論，包括對未來工作的建議。

引言

機器學習(ML)技術今天擅長在獨立和同分布(i.i.d)數據中尋找關聯。一些基本原則，包括經驗風險最小化、反向傳播和架構設計中的歸納偏差，已經為解決計算機視覺、自然語言處理、圖表示學習和強化學習等領域的問題帶來了巨大的進步。然而，在將這些模型部署到現實環境中時，出現了新的挑戰。這些挑戰包括: (1) 當數據分布轉移[1]時泛化性能大幅下降，(2) 生成模型[2]樣本缺乏細粒度控制，(3) 有偏見的預測強化了某些子種群的不公平歧視[3,4]，(4) 可解釋性[5]的概念過于抽象和問題獨立，(5)強化學習方法對真實世界問題[6]的不穩定轉換。

許多工作認為，這些問題的部分原因在于現代ML系統缺乏因果形式主義[7,8,9,10,11]。隨后，研究社區對因果機器學習(CausalML)的興趣激增，這是利用關于被建模系統的因果知識的方法本調查涵蓋了因果關系如何被用來解決開放式ML問題。簡而言之，因果推理提供了一種語言，通過結構因果模型(SCMs)[12]將關于數據生成過程(DGP)的結構知識形式化。使用SCM，我們可以估計在對數據生成過程進行更改(稱為干預)后，數據會發生什么變化。更進一步，它們還允許我們在事后模擬變化的后果，同時考慮實際發生的情況(稱為反事實)。我們將在第2章中更詳細地介紹這些概念，假設沒有因果關系的先驗知識。

盡管在設計各種類型的CausalML算法方面做了大量的工作，但仍然缺乏對其問題和方法論的明確分類。我們認為，部分原因在于CausalML通常涉及對大部分ML不熟悉的數據的假設，這些假設在不同的問題設置之間聯系起來通常很棘手，這使得很難衡量進展和適用性。這些問題是本次綜述的動機。

**1. 我們對完全獨立的因果關系中的關鍵概念進行了簡單的介紹(第2章)。**我們不假設對因果關系有任何先驗知識。在整個過程中，我們給出了如何應用這些概念來幫助進一步的地面直覺的例子。

2. 我們將現有的CausalML工作分類為因果監督學習(第3章)、因果生成模型(第4章)、因果解釋(第5章)、因果公平(第6章)、因果強化學習(第7章)。對于每個問題類，我們比較現有的方法，并指出未來工作的途徑。

3.我們回顧了特定模式在計算機視覺、自然語言處理和圖表示學習中的應用(第8章)，以及因果基準(第9章)。

4. 我們討論了好的、壞的和丑陋的:我們關于與非因果ML方法相比，因果ML可以給我們帶來哪些好處的觀點(好的)，人們必須為這些方法付出什么代價(壞的)，以及我們警告從業者要防范哪些風險(丑陋的)(第10章)。

結論發現**

• 因果推理(第二章)，與統計或概率推理相反，允許我們對介入和反事實的估計進行推理。
• 因果監督學習(第3章)通過學習不變特征或機制來改進預測泛化，兩者都旨在消除模型對虛假關聯的依賴。未來的工作應該研究學習不變性的目標基準測試、對抗魯棒性的聯系以及元學習，以及額外監督信號的潛在利用。
• 因果生成模型(第4章)支持從介入的或反事實的分布中采樣，自然地分別執行原則可控的生成或樣本編輯任務。所有現有的方法都學習結構作業;一些人還從數據中推斷出因果結構。對于不同的應用程序應該考慮什么層次的抽象，如何將分配學習擴展到更大的圖，以及反事實生成的數據增強何時有效(何時無效)，這些都有待探索。
• 因果解釋(第5章)解釋模型預測，同時解釋模型機制或數據生成過程的因果結構。方法可以分為特征歸因(量化輸入特征的因果影響)和對比解釋(表示獲得期望結果的改變實例)。到目前為止，還不清楚如何最好地統一這兩類方法，擴大解釋范圍，使它們對分布轉移具有魯棒性，對攻擊者安全和私有，以及如何規避不可避免的對追索敏感性的魯棒性權衡。
• 因果公平(第6章)為評估模型的公平性以及減輕潛在數據因果關系的有害差異的標準鋪平了道路。該標準依賴于反事實或介入性分布。未來的工作應該闡明在標準預測設置之外的平等、公平、較弱的可觀察性假設(例如隱藏的混淆)以及對社會類別的干預主義觀點的有效性。
• 因果強化學習(第7章)描述了考慮決策環境的顯性因果結構的RL方法。我們將這些方法分為7類，并觀察到它們比非因果方法的好處包括反發現(導致更好的泛化)、內在獎勵和數據效率。開放的問題表明，一些形式主義可能是統一的，離線數據的反發現在離線RL部分很大程度上沒有解決，而代理根據反事實做出的決定可能會提供進一步的好處。
• 模態-應用:我們回顧了之前介紹的和模態特定原則如何提供機會來改善計算機視覺、自然語言處理和圖形表示學習設置。

什么對對比學習很重要？我們認為對比學習在很大程度上依賴于有信息量的特征，或“困難的”（正例或負例）特征。早期的方法通過應用復雜的數據增強和大批量或內存庫來包含更多有信息量的特征，最近的工作設計了精細的采樣方法來探索有信息量的特征。探索這些特征的關鍵挑戰是源多視圖數據是通過應用隨機數據增強生成的，這使得始終在增強數據中添加有用信息是不可行的。因此，從這種增強數據中學習到的特征的信息量是有限的。**在本文中，我們提出直接增強潛在空間中的特征，從而在沒有大量輸入數據的情況下學習判別表示。**我們執行元學習技術來構建增強生成器，通過考慮編碼器的性能來更新其網絡參數。然而，輸入數據不足可能會導致編碼器學習坍塌的特征，從而導致增強生成器出現退化的情況。我們在目標函數中進一步添加了一個新的邊緣注入正則化，以避免編碼器學習退化映射。為了在一個梯度反向傳播步驟中對比所有特征，我們采用了優化驅動的統一對比損失，而不是傳統的對比損失。根據實驗驗證，我們的方法在幾個基準數據集上獲得了最先進的結果。

//www.zhuanzhi.ai/paper/31925f8729fad66bf497d7f85ba17dd6

弱監督目標定位(WSOL)只關注在圖像級分類掩碼的監督下進行對象定位。以前的大多數WSOL方法都遵循分類激活映射(classification activation map, CAM)，它使用多實例學習(MIL)機制基于分類結構對目標進行本地化。然而，MIL機制使得CAM只能激活識別目標的部分而不能激活整個目標，削弱了其本地化目標的性能。**為了避免這一問題，本文提出了一種新的視角，將WSOL建模為域適應(DA)任務，即在源/圖像域上訓練的分數估計器在目標/像素域上進行測試以定位目標。**在此視角下，DA-WSOL流程設計可以更好地將DA方法引入到WSOL中，以提高本地化性能。利用所提出的目標采樣策略來選擇不同類型的目標樣本。基于這些類型的目標樣本，對域自適應定位(DAL)損耗進行了闡述。該方法通過DA對兩個域之間的特征分布進行對齊，并通過Universum正則化使估計器感知目標域線索。實驗表明，該方法在多基準測試上的性能優于SOTA方法。代碼發布在 //github.com/zh460045050/DA-WSOL_CVPR2022。

異構圖神經網絡(HGNN)作為一種新興的技術，在處理異構信息網絡(HIN)方面表現出優越的能力。然而，大多數HGNN遵循半監督學習方式，這明顯限制了它們在現實中的廣泛使用，因為標簽在實際應用中通常很少。近年來，對比學習，一種自監督的學習方法，成為最令人興奮的學習模式之一，在沒有標簽的情況下顯示出巨大的潛力。在本文中，我們研究了自監督HGNN的問題，并提出了一種新的HGNN的共同對比學習機制，名為HeCo。不同于傳統的對比學習只關注于對正樣本和負樣本的對比，HeCo采用了跨視角對比機制。具體來說，我們提出了HIN的兩種視圖(網絡模式視圖和元路徑視圖)來學習節點嵌入，從而同時捕獲局部和高階結構。在此基礎上，提出了一種跨視圖對比學習方法，并提出了一種視圖掩碼機制，能夠從兩個視圖中提取正面和負面的嵌入信息。這使得兩個視圖能夠相互協作監督，并最終學習高級節點嵌入。此外，設計了兩個擴展的HeCo，以產生高質量的硬負樣本，進一步提高了HeCo的性能。在各種真實網絡上進行的大量實驗表明，所提出的方法的性能優于最新的技術。

//www.zhuanzhi.ai/paper/9af678b0d09538b9cc18ef07a10d9560

【導讀】機器學習頂會 NeurIPS 2020, 是人工智能領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。據官方統計，今年NeurIPS 2020 共收到論文投稿 9454 篇，接收 1900 篇（其中 oral 論文 105 篇、spotlight 論文 280 篇），論文接收率為 20.1%。NeurIPS 2020已經開完會，小編發現元學習（Meta Learning）相關的接受paper不少，元學習在CV、NLP等各個領域的應用也比較火熱，值得研究者們細心學習。

為此，這期小編為大家奉上NeurIPS 2020必讀的五篇元學習（Meta Learning）相關論文——少樣本視覺推理、持續元學習、異構元學習、元強化學習、元變換網絡學習

NeurIPS 2020 Accepted Papers : //proceedings.neurips.cc/paper/2020

NIPS2020VRL、NIPS2020DA、NIPS2020CI、ICLR2020CI、ICML2020CI

1. Few-shot Visual Reasoning with Meta-analogical Contrastive Learning

作者：Youngsung Kim, Jinwoo Shin, Eunho Yang, Sung Ju Hwang

摘要：盡管人類可以通過僅觀察幾個樣本來解決需要邏輯推理的視覺難題，但它需要對大量樣本進行訓練，以使用最新的深度推理模型來在同一任務上獲得相似的性能。在這項工作中，我們提出通過類比推理來解決這樣的少樣本抽象視覺推理問題，并且這是人類具有的識別兩組數據之間結構或關系相似性的獨特能力。具體來說，我們構造了兩個不同問題實例的類比和非模擬訓練對。后者是通過對原始問題（以前的問題）進行擾動或改組來創建的。然后，我們通過強制類比元素盡可能相似，同時最小化非類比元素之間的相似性，來提取成對的兩個域中元素之間的結構關系。這種類比性的對比學習可以有效地學習給定抽象推理任務的關系表示。我們在RAVEN數據集上驗證了我們的方法，該方法的性能優于最新方法，并且在缺乏訓練數據時獲得了更大的收益。我們進一步對具有不同屬性的相同任務對我們的對比學習模型進行元學習，并表明它可以推廣到具有未知屬性的相同視覺推理問題。

網址：

2. La-MAML: Look-ahead Meta Learning for Continual Learning

作者：Gunshi Gupta, Karmesh Yadav, Liam Paull

摘要：持續學習（continual learning）問題涉及訓練模型，然而這些模型的能力有限，無法在一組順序到達的未知數量的任務上表現良好。雖然元學習在減少新舊任務之間的干擾方面顯示出巨大的潛力，但當前的訓練過程往往很慢或離線，并且對許多超參數敏感。在這項工作中，我們提出了Look-ahead MAML（La-MAML），這是一種基于快速優化的元學習算法，用于在線持續學習，并有帶少量的情節記憶。在元學習更新中對每個參數的學習率進行調制，使我們能夠與以前有關超梯度和元下降的工作建立聯系。與傳統的基于先驗的方法相比，該方法提供了一種更靈活，更有效的方法來減輕災難性遺忘問題。La-MAML的性能優于其他基replay，基于先驗和基于元學習的方法，并且可在現實世界中的視覺分類基準上持續學習。

網址：

3. Meta-learning from Tasks with Heterogeneous Attribute Spaces

作者：Tomoharu Iwata, Atsutoshi Kumagai

摘要：我們提出了一種異構元學習方法，該方法在具有各種屬性空間的任務上訓練模型，從而可以解決在給定標記實例的情況下屬性空間與訓練任務不同的未知任務（unseen tasks）。盡管已經提出了許多元學習方法，但是它們假定所有訓練任務和目標任務共享相同的屬性空間，并且當任務之間的屬性大小不同時，它們將不適用。我們的模型使用推理網絡從幾個標記實例中推斷每個屬性和每個響應的潛在表示。然后，使用預測網絡推斷的表示來預測未標記實例的響應。即使屬性和響應的大小在各個任務之間都不同，屬性和響應表示也使我們能夠基于屬性和響應的特定于任務的屬性進行預測。在我們使用合成數據集和OpenML中的59個數據集進行的實驗中，我們證明了在使用具有異構屬性空間的任務訓練后，我們提出的方法可以預測新任務中給定標記實例的響應。

網址：

4. Model-based Adversarial Meta-Reinforcement Learning

作者：Zichuan Lin, Garrett Thomas, Guangwen Yang, Tengyu Ma

摘要：元強化學習（meta-RL）旨在從多個訓練任務中有效地學習適應不可知測試任務的能力。盡管取得了成功，但已知現有的meta-RL算法對任務分配的變化很敏感。當測試任務分配與訓練任務分配不同時，性能可能會大大降低。為了解決這個問題，本文提出了基于模型的對抗性元強化學習（AdMRL），旨在最大程度地降低最差情況的次優差距（最優回報與算法在自適應后獲得的回報之間的差異），并使用基于模型的方法來處理一系列任務中的所有任務。我們提出了一個極小極大目標，并通過在學習固定任務的動力學模型與尋找當前模型的對抗任務（在該任務中，模型誘導的策略最大程度次優）之間交替進行優化。假設任務已參數化，我們通過隱函數定理推導了次最優性相對于任務參數的梯度公式，并展示了如何通過共軛梯度法和新穎的方法有效地實現梯度估計器--REINFORCE估算器。我們在幾個連續的控制基準上評估了我們的方法，并證明了它在所有任務的最壞情況下的性能，對分發任務的概括能力以及在訓練和測試時間樣本效率方面相對于現有技術的有效性。

網址：

5. Node Classification on Graphs with Few-Shot Novel Labels via Meta Transformed Network Embedding

作者：Lin Lan, Pinghui Wang, Xuefeng Du, Kaikai Song, Jing Tao, Xiaohong Guan

摘要：我們研究了具有少量新穎標簽的圖節點分類問題，它具有兩個獨特的特性：（1）圖中出現了新穎標簽；（2）新穎標簽僅具有幾個用于訓練分類器的代表性節點。對這個問題的研究具有指導意義，并且與許多應用相對應，例如對在線社交網絡中只有幾個用戶的新組建的推薦。為了解決這個問題，我們提出了一種新穎的元變換網絡嵌入框架（MetaTNE），該框架由三個模塊組成：（1）一個結構模塊根據圖結構為每個節點提供潛在的表示。（2）元學習模塊以元學習的方式捕獲圖結構和節點標簽之間的關系作為先驗知識。此外，我們引入了一種嵌入轉換函數，以彌補元學習直接使用的不足。從本質上講，可以將元學習的先驗知識用于促進少樣本新穎標簽的學習。（3）優化模塊采用簡單而有效的調度策略來訓練上述兩個模塊，并在圖結構學習和元學習之間取得平衡。在四個真實數據集上進行的實驗表明，MetaTNE相對于最新方法具有巨大的改進。

網址：

【導讀】機器學習頂會 NeurIPS 2020, 是人工智能領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。據官方統計，今年NeurIPS 2020 共收到論文投稿 9454 篇，接收 1900 篇（其中 oral 論文 105 篇、spotlight 論文 280 篇），論文接收率為 20.1%。近期，NeurIPS 2020快開會了，小編發現域自適應（Domain Adaptation）相關的接受paper很多，這塊研究方向近幾年一直很火，并且各個CV和NLP的域自適應任務也非常多。

為此，這期小編為大家奉上NeurIPS 2020必讀的六篇域自適應（Domain Adaptation）相關論文——One-shot 無監督域自適應、圖模型、啟發式域自適應、自監督、多源域自適應

NeurIPS 2020 Accepted Papers : //proceedings.neurips.cc/paper/2020

NIPS2020CI、ICLR2020CI、ICML2020CI

1. Adversarial Style Mining for One-Shot Unsupervised Domain Adaptation

作者：Yawei Luo, Ping Liu, Tao Guan, Junqing Yu, Yi Yang

摘要：我們針對One-Shot無監督域自適應的問題。與傳統的無監督域適應不同，它假定學習適應時只能使用一個未標記的目標樣本。這種設置是現實的，但更具挑戰性，在這種情況下，傳統的自適應方法由于缺少未標記的目標數據而容易失敗。為此，我們提出了一種新穎的對抗式風格挖掘方法，該方法將風格遷移模塊和特定于任務模塊組合成對抗的方式。具體來說，風格遷移模塊會根據當前的學習狀態，迭代搜索One-Shot目標樣本周圍的較難的風格化圖像，從而使任務模型探索在不可知的目標領域中難以解決的潛在風格，從而增強了數據稀缺情況下的適應性能。對抗學習框架使風格遷移模塊和特定于任務模塊在競爭中彼此受益。在跨域分類和分割基準方面的大量實驗證明，ASM在具有挑戰性的One-Shot設置下達到了最新的自適應性能。

網址：

2. Domain Adaptation as a Problem of Inference on Graphical Models

作者：Kun Zhang, Mingming Gong, Petar Stojanov, Biwei Huang, QINGSONG LIU, Clark Glymour

摘要：本文涉及數據驅動的無監督域自適應，在這種情況下，事先不知道跨域的聯合分布如何變化，即數據分布的哪些因素或模塊保持不變或跨域變化。為了研究具有多個源域的域自適應方法，我們提出使用圖模型作為一種緊湊（compact）的方式來編碼聯合分布的變化屬性，該屬性可以從數據中學習，然后將域自適應視為一個關于圖模型的貝葉斯推斷問題。這種圖模型區分了分布的恒定和變化模塊，并指定了跨域變化的特性，這是變化模塊的先驗知識，目的是得出目標域中目標變量Y的后驗。這提供了域自適應的端到端框架，可以將關于聯合分布如何變化的其他知識（如果可用）直接合并以改善圖表示。我們討論如何將基于因果關系的域適應置于此保護之下。和真實數據的實驗結果證明了所提出的域適應框架的功效。

代碼：

網址：

3. Heuristic Domain Adaptation

作者：shuhao cui, Xuan Jin, Shuhui Wang, Yuan He, Qingming Huang

摘要：在視覺域自適應（DA）中，將特定于域的特征與不依賴于域的表示形式分開是一個病態（ill-posed）問題。現有方法采用不同的先驗方法或直接最小化域差異來解決此問題，這在處理實際情況時缺乏靈活性。另一個研究方向是將特定域的信息表示為逐步遷移的過程，這在準確刪除特定域的屬性方面往往不是最佳選擇。在本文中，我們從啟發式搜索的角度解決了域不變和域特定信息的建模問題。我們將現有的特征標識為啟發式表示形式，從而導致更大的域差異。在啟發式表示的指導下，我們制定了一個具有良好理論依據的啟發式域自適應（HDA）原則框架。為了執行HDA，在學習過程中，將域不變和域特定表示之間的余弦相似性評分和獨立性度量放入初始和最終狀態的約束中。類似于啟發式搜索的最終條件，我們進一步推導出一個約束，以強制約束啟發式網絡輸出的最終范圍較小。因此，我們提出了啟發式域自適應網絡（HDAN），該網絡明確學習了具有上述約束的域不變和域特定表示。大量實驗表明，HDAN在無監督DA，多源DA和半監督DA方面已超過了最新技術。

代碼：

網址：

4. Transferable Calibration with Lower Bias and Variance in Domain Adaptation

作者：Ximei Wang, Mingsheng Long, Jianmin Wang, Michael Jordan

摘要：域自適應（DA）可以將學習器從標記的源域轉移到未標記的目標域。盡管已經取得了顯著的進步，但大多數現有的DA方法都專注于提高推理的目標精度。如何估計DA模型的預測不確定性對于安全重要型場景中的決策至關重要，但其仍然是研究的邊界。在本文中，我們研究了DA校準（Calibration）中的開放性問題，該問題是由于域轉移和缺少目標標簽共存所造成的，這一問題極具挑戰性。我們首先揭示了DA模型以經過良好校準的概率為代價來學習更高的精度的困境。基于這一發現，我們提出了可遷移校準（TransCal），以在統一的無超參數優化框架中以較低的偏差和方差實現更準確的校準。作為常規的post-hoc 校準方法，TransCal可以輕松地應用于重新校準現有的DA方法。從理論上和經驗上都證明了其有效性。

網址：

5. Universal Domain Adaptation through Self-Supervision

作者：Kuniaki Saito, Donghyun Kim, Stan Sclaroff, Kate Saenko

摘要：傳統上，無監督域自適應方法假定所有源類別都存在于目標域中。實際上，對于兩個域之間的類別重疊知之甚少。雖然某些方法使用部分或開放類別來解決目標設置，但它們假定特定設置是先驗的。我們提出了一種更通用的域自適應框架，該框架可以處理任意類別轉換，稱為通過熵優化（DANCE）的域自適應鄰域聚類。DANCE結合了兩種新穎的思想：首先，由于我們不能完全依靠源類別來學習針對目標的判別性特征，因此我們提出了一種新穎的鄰域聚類技術，以一種自監督的方式來學習目標域的結構。其次，我們使用基于熵的特征對齊和拒絕來將目標特征與源對齊，或基于它們的熵將它們拒絕為未知類別。我們通過廣泛的實驗表明，在開放集，開放部分和部分域適應設置中，DANCE的性能均優于基線。

代碼：

網址：

6. Your Classifier can Secretly Suffice Multi-Source Domain Adaptation

作者：Naveen Venkat, Jogendra Nath Kundu, Durgesh Singh, Ambareesh Revanur, R. Venkatesh Babu

摘要：多源域適應（MSDA）解決在域轉移（domain-shift）下將任務知識從多個標記的源域轉移到未標記的目標域。現有方法旨在使用輔助分布對齊目標來最小化該域偏移。在這項工作中，我們提出了與MSDA不同的觀點，我們觀察到了深度模型以在標簽監督下隱式對齊域。因此，我們旨在利用隱式對齊方式而無需其他訓練目標來進行適應。為此，我們使用偽標記的目標樣本并在偽標記上執行分類器協議，此過程稱為自監督隱式比對（SImpA1）。我們發現，即使在源域之間的類別轉換下，SImpAl仍然可以輕松工作。此外，我們提出了分類器一致性作為確定訓練收斂的線索，從而產生了一種簡單的訓練算法。我們在五個基準上對我們的方法進行了全面的評估，并對方法的每個組成部分進行了詳細的分析。

網址：

【導讀】作為計算機視覺領域三大會議之一，European Conference on Computer Vision（歐洲計算機視覺大會，ECCV）備受全球領域眾多專業人士關注。幾天前，ECCV 2020官方發布接收論文，本次大會共有5025篇投稿，1361篇被接收，接受率27%。ECCV 2020 已經于8月23日-28日Online方式進行。論文列表已經放出，小編發現少樣本學習方向火熱，錄用了好多篇相關paper，為此專知小編整理了七篇 ECCV 2020 少樣本學習（Few-Shot Learning，FSL） 相關論文供大家參考——跨域少樣本學習、膠囊注意力原型網絡、負間隔損失、任務自適應特征學習、自監督

ECCV 2020 接受論文列表和下載地址： //eccv2020.eu/accepted-papers/

ECCV2020ReID、ECCV2020OD、ICML2020GNN_Part1、KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、

1、A Broader Study of Cross-Domain Few-Shot Learning

作者：Yunhui Guo, Noel C. Codella, Leonid Karlinsky, James V. Codella, John R. Smith, Kate Saenko, Tajana Rosing, Rogerio Feris

摘要：最近在少樣本學習方面的進展很大程度上依賴于元學習的標注數據：與新類別相同的域中采樣其基類。然而，在許多應用中，為元學習收集數據是不可行或不可能的。這導致了跨域的少樣本學習問題，其中在基域和新類別域之間存在很大的Gap。雖然對跨域少樣本場景的研究已經存在，但這些工作僅限于視覺相似度很高的自然圖像。目前還沒有在真實世界場景中看到的不同成像方法（如航空成像和醫學成像）之間進行少樣本學習的研究。在本文中，我們提出了更廣泛的跨域少樣本學習（BSCD-FSL）基準研究，該基準由來自各種圖像獲取方法的圖像數據組成。這些圖像數據包括自然圖像，如作物病害圖像，還有那些與自然圖像有很大不同的圖像，如衛星圖像、皮膚病圖像和放射學圖像。我們在所提出的基準上進行了大量的實驗，以評估最新的元學習方法、遷移學習方法和較新的跨域少樣本學習方法。結果表明，最新的元學習方法的表現優于早期的元學習方法，并且所有的元學習方法的表現都比簡單的精調在平均準確率上要差12.8%。在某些情況下，元學習甚至不如具有隨機權重的網絡。在這個更具挑戰性的基準測試中，以前使用專門用于跨域、少樣本學習的方法的性能提升消失得無影無蹤。最后，所有方法的準確性往往與數據集與自然圖像的相似性相關，我們驗證了基準的價值，從而能夠更好地代表真實場景數據的多樣性，并指導未來的研究。

代碼:

網址:

2、Attentive Prototype Few-shot Learning with Capsule Network-based Embedding

作者：Fangyu Wu, Jeremy S.Smith, Wenjin Lu, Chaoyi Pang, Bailing Zhang

摘要：用很少的訓練樣本識別新的類別的少樣本學習，是機器學習研究中一個極具挑戰性的領域。傳統的深度學習方法需要大量的訓練數據來調整數量龐大的參數，這往往是不切實際的，而且容易過擬合。在這項工作中，我們進一步研究了被稱為原型網絡的少樣本學習方法，以獲得更好的性能。我們的貢獻包括：（1）一種新的嵌入結構，通過應用膠囊網絡（capsule network）來編碼特征之間的相對空間關系；（2）設計了一種新的三元組損失來增強語義特征的嵌入性，即相似樣本之間距離較近，而不同樣本之間的距離較遠；以及（3）一種有效的非參數分類器，稱為注意力原型，取代了目前少樣本學習中的簡單原型。我們提出的注意力原型聚合了支持類中的所有實例，這些實例根據它們的重要性(由給定查詢的重構誤差定義)進行加權。重構誤差允許估計對應于分類置信度分數的分類后驗概率。在三個基準數據集上的大量實驗表明，該方法對于少樣本分類任務是有效的。

網址：

3、Negative Margin Matters: Understanding Margin in Few-shot Classification

作者：Bin Liu1, Yue Cao, Yutong Lin, Qi Li, Zheng Zhang, Mingsheng Long, Han Hu

摘要:本文介紹了一種基于度量學習的負邊距損失（negative margin loss）的少樣本學習方法。負邊距損失的表現明顯優于常規的Softmax損失，并且在三個標準的少樣本分類基準上實現了最先進的精確度。這些結果與度量學習領域的通常做法（差值為零或正）相反。為了理解為什么負邊距損失在少樣本分類中表現良好，我們從經驗和理論上分析了訓練類和新類中不同邊緣的學習特征的可區分性。我們發現，雖然負邊距降低了訓練類的特征可區分性，但也可以避免將同一新類的樣本錯誤映射到多個峰或簇，從而有利于對新類的區分。

代碼：

網址：

4、Prototype Rectification for Few-Shot Learning

作者：Jinlu Liu, Liang Song, Yongqiang Qin

摘要：少樣本學習要求識別具有稀缺標簽數據的新類。原型網絡（prototypical network）在現有的研究中是有用的，然而，對稀缺數據進行窄尺寸分布（narrow-size distribution）的訓練往往會得到有偏差的原型。在本文中，我們找出了這一過程的兩個關鍵影響因素：類內偏差和跨類偏差。然后，我們提出了一種簡單而有效的方法，用于轉導設置（transductive setting）下的原型校正。該方法利用標簽傳播（label propagation）來減小類內偏差，利用特征遷移來減小跨類偏差。我們還進行了理論分析，推導出其合理性以及性能的下界。在三個少樣本基準上的有效性顯示，我們的方法在miniImageNet（1-shot 70.31%, 5-shot 81.89%）和tieredImageNet（1-shot 78.74%，5-shot 86.92%）上都獲得了最先進的性能。

網址：

5、SEN: A Novel Feature Normalization Dissimilarity Measure for Prototypical Few-Shot Learning Networks

作者：Van Nhan Nguyen, Sigurd L?kse, Kristoffer Wickstr?m, Michael Kampffmeyer, Davide Roverso, Robert Jenssen

摘要：在這篇文章中，我們給原型網絡（PNS）配備了一種新的相異度度量，以實現少樣本學習的區分特征歸一化。嵌入到超球面上不需要直接歸一化，易于優化。我們理論分析表明，所提出的歐幾里德距離平方根和范數距離（SEN）的相異度測度迫使嵌入點被吸引到其正確的原型上，而排斥所有其他原型，保持所有點的范數相同。所得到的SEN PN在沒有附加參數的情況下以相當大的幅度優于常規PN，并且計算開銷可以忽略不計。

網址：

6、TAFSSL: Task-Adaptive Feature Sub-Space Learning for few-shot classification

作者：Moshe Lichtenstein, Prasanna Sattigeri, Rogerio Feris, Raja Giryes, Leonid Karlinsky

摘要：近來，少樣本學習（FSL），即從非常少的（通常是1到5個）的例子中學習一個新的類別（在訓練時候不存在），得到了很多關注和顯著的性能進步。雖然已經為FSL提出了許多技術，但有幾個因素已經成為影響FSL性能的最重要因素，即使是最簡單的技術也可以授予SOTA。它們是：骨干架構（越大越好），預訓練類型（元訓練與多類別），基類的數量和多樣性（越多越好），以及使用輔助自監督任務（增加多樣性的代理）。在本文中，我們提出了TAFSSL，這是一種簡單的技術，可以在伴隨著一些額外的未標記數據的少樣本任務中提高少樣本性能。TAFSSL的直覺是基于減少預訓練期間未見過的由新類別組成的少樣本任務所固有的特征和采樣噪聲。具體地說，在具有挑戰性的miniImageNet和tieredImageNet基準測試中，TAFSSL可以將當前最先進的轉導和半監督FSL設置提高5%以上，同時將在FSL中使用未標記數據的性能提高到10%以上。

網址：

7、When Does Self-supervision Improve Few-shot Learning?

作者：Jong-Chyi Su, Subhransu Maji, Bharath Hariharan

摘要：我們研究了自監督學習(SSL)在少樣本學習環境中的作用。雖然最近的研究已經顯示了SSL在大型未標記數據集上的好處，但它在小型數據集上的實用性相對來說還沒有被探索過。我們發現，SSL將少樣本元學習的相對錯誤率降低了4%-27%，即使當數據集很小并且只使用數據集中的圖像時也是如此。當訓練集越小或任務越具挑戰性時，改進效果越大。雖然SSL的好處可能會隨著訓練集的增加而增加，但我們觀察到，當用于元學習的圖像的分布與SSL不同時，SSL會損害性能。我們通過改變域轉移的程度和分析幾個元學習在多個領域上的表現來進行系統的研究。基于這一分析，我們提出了一種技術，該技術可以從給定數據集的大型通用未標記圖像池中自動選擇用于SSL的圖像，從而提供進一步的改進。

網址：

在這篇論文中，我們提出了一個框架，能夠生成與給定的一次性樣例相同分布的人臉圖像。我們利用一個預先訓練的StyleGAN模型，它已經學會了一般的面部分布。針對這一一次性目標，我們提出了一種快速調整模型權值的迭代優化方案，以使輸出的高階分布適應目標的高階分布。為了生成相同分布的圖像，我們引入了一種風格混合技術，將低水平的統計信息從目標傳輸到模型隨機生成的人臉。這樣，我們就能夠生成無限數量的面孔，這些面孔既繼承了一般人臉的分布，也繼承了一次性人臉的分布。新生成的人臉可以作為其他下游任務的增強訓練數據。這樣的設置很有吸引力，因為它需要在目標域中標記很少的標記，甚至只需要一個示例，而在現實世界中，人臉操作通常是由各種未知的和獨特的分布導致的。結果表明，本文提出的單樣本自適應方法是一種有效的人臉操作檢測方法，并與其他多鏡頭自適應方法進行了定性和定量的比較。

【導讀】國際萬維網大會（The Web Conference，簡稱WWW會議）是由國際萬維網會議委員會發起主辦的國際頂級學術會議，創辦于1994年，每年舉辦一屆，是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。本屆會議共收到了1129篇長文投稿，錄用217篇長文，錄用率為19.2%。近期，隨著會議的臨近，有很多paper放出來，幾周前專知小編整理了WWW 2020圖神經網絡(GNN)比較有意思的論文，這期小編繼續為大家奉上WWW 2020五篇GNN相關論文供參考——對抗攻擊、Heterogeneous Graph Transformer、圖生成、多關系GNN、知識庫補全。

WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、ICML2019GNN

1. Adversarial Attack on Community Detection by Hiding Individuals

作者：Jia Li, Honglei Zhang, Zhichao Han, Yu Rong, Hong Cheng and Junzhou Huang

摘要：已經證明，添加了不可察覺擾動的對抗圖（adversarial graphs），會導致深層圖模型在節點/圖分類任務中失敗。在本文中，我們將對抗性圖擴展到困難得多的社區發現（community detection）問題上。我們關注黑盒攻擊，致力于隱藏目標個體，使其不被深度圖社區檢測模型檢測到，該模型在現實場景中有很多應用，例如，保護社交網絡中的個人隱私，理解交易網絡中的偽裝模式。我們提出了一個迭代學習框架，輪流更新兩個模塊：一個作為約束圖生成器，另一個作為替代社區發現模型。我們還發現，我們的方法生成的對抗圖可以遷移到其他基于社區發現模型的學習中。

網址：//arxiv.org/abs/2001.07933

2. Heterogeneous Graph Transformer

作者：Ziniu Hu, Yuxiao Dong, Kuansan Wang and Yizhou Sun

摘要：近年來，圖神經網絡(GNNs)在結構化數據建模方面取得了突飛猛進的成功。然而，大多數GNN都是為同質圖（所有的節點和邊都屬于相同的類型）設計的，這使得這些GNN不能表示異構結構。在這篇文章中，我們提出了異構圖轉換器(HGT)結構來建模Web規模的異構圖。為了建模異構性，我們設計了與節點和邊類型相關的參數來表征對每條邊的異構關注，使得HGT能夠維護不同類型的節點和邊的專有表示。為了處理動態異構圖，我們將相對時間編碼技術引入到HGT中，能夠捕獲任意持續時間的動態結構依賴關系。為了處理Web規模的圖數據，我們設計了異構小批量圖采樣算法HGSamples，以實現高效和可擴展的訓練。在具有1.79億個節點和20億條邊的開放學術圖上的廣泛實驗表明，本文所提出的HGT模型在各種下游任務上的性能一致地比所有最新的GNN基線高出9%-21%。

網址：

代碼鏈接：

3. GraphGen: A Scalable Approach to Domain-agnostic Labeled Graph Generation

作者：Nikhil Goyal, Harsh Vardhan Jain and Sayan Ranu

摘要：圖生成模型在數據挖掘領域中得到了廣泛的研究。傳統的技術基于預定義分布的生成結構，而最近的技術已轉向直接從數據中學習此分布。雖然基于學習的方法在質量上有了顯著的提高，但仍有一些缺點需要解決。首先，學習圖的分布會帶來額外的計算開銷，這就限制了這些方法對大型圖數據庫的可擴展性。第二，許多方法只學圖結構，并沒有學習節點和邊的標簽（這些標簽編碼重要的語義信息會影響結構自身）。第三，現有技術往往包含領域的特定規則，缺乏通用性。第四，現有方法的實驗部分要么使用了較弱的評估指標，要么主要集中在合成數據或小數據集上，實驗不夠全面上。在這項工作中，我們提出了一種稱為GraphGen的域未知（domain-agnostic）技術來克服所有這些缺點，GraphGen使用最少的DFS代碼將圖轉換為序列。最小DFS碼是規范化的標簽，并且可以精確地捕捉圖結構和標簽信息。本文通過一種新的LSTM結構學習結構標簽和語義標簽之間復雜的聯合分布。在百萬級的真實圖數據集上的廣泛實驗表明，GraphGen的平均速度是最先進方法的4倍，同時在11個不同指標的綜合集合中質量明顯更好。

網址：

代碼鏈接：

4. Beyond Clicks: Modeling Multi-Relational Item Graph for Session-Based Target Behavior Prediction

作者：Wen Wang, Wei Zhang, Shukai Liu, Bo Zhang, Leyu Lin and Hongyuan Zha

摘要：基于會話的目標行為預測旨在預測要與特定行為類型(例如，點擊)交互的下一項。雖然現有的基于會話的行為預測方法利用強大的表示學習方法來編碼項目在低維空間中的順序相關性，但是它們受到一些限制。首先，之前的方法側重于只利用同一類型的用戶行為進行預測，而忽略了將其他行為數據作為輔助信息的潛力。當目標行為稀疏但很重要(例如，購買或共享物品)時，輔助信息尤為重要。其次，項目到項目的關系是在一個行為序列中單獨和局部建模的，缺乏一種規定的方法來更有效地全局編碼這些關系。為了克服這些局限性，我們提出了一種新的基于會話的多關系圖神經網絡模型(MGNN-SPred)。具體地說，我們基于來自所有會話的所有行為序列(涉及目標行為類型和輔助行為類型)構建多關系項目圖(Multi-Relational Item Graph，MRIG)。在MRIG的基礎上，MGNN-SPred學習全局項目與項目之間的關系，進而獲得用戶偏好分別作為為當前目標行為序列和輔助行為序列。最后，MGNN-SPred利用門控機制自適應地融合用戶表示，以預測與目標行為交互的下一項。在兩個真實數據集上的廣泛實驗證明了MGNN-SPred與最新的基于會話的預測方法相比的優越性，驗證了利用輔助行為和基于MRIG學習項目到項目關系的優點。

網址：

5. Open Knowledge Enrichment for Long-tail Entities

作者：Ermei Cao, Difeng Wang, Jiacheng Huang and Wei Hu

摘要：知識庫(KBS)已經逐漸成為許多人工智能應用的寶貴資產。雖然目前的許多知識庫相當大，但它們被是不完整的，特別是缺乏長尾實體（例如：不太有名的人）。現有的方法主要通過補全缺失連接或補齊缺失值來豐富知識庫。然而，它們只解決了充實知識庫問題的一部分，缺乏對長尾實體的具體考慮。在這篇文章中，我們提出了一種新穎的知識補齊方法，它從開放的Web中預測缺失的屬性并推斷出長尾實體的真實值。利用來自流行實體的先驗知識來改進每個充實步驟。我們在合成數據集和真實數據集上的實驗以及與相關工作的比較表明了該方法的可行性和優越性。

網址：