亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

【導讀】機器學習頂會 NeurIPS 2020, 是人工智能領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。據官方統計，今年NeurIPS 2020 共收到論文投稿 9454 篇，接收 1900 篇（其中 oral 論文 105 篇、spotlight 論文 280 篇），論文接收率為 20.1%。近期，所有paper list 放出，小編發現因果推理（Causal Inference）相關的接受paper很多，這塊研究方向這幾年受到了學術界的廣泛關注，并且在CV、NLP等領域也開始應用起來。

為此，這期小編為大家奉上NeurIPS 2020必讀的六篇因果推理（Causal Inference）相關論文——Covid-19傳播因果分析、反事實概率方法、因果圖發現、因果模仿學習、弱監督語義分割、不確定性因果效應

NeurIPS 2020 Accepted Papers : //neurips.cc/Conferences/2020/AcceptedPapersInitial

ICLR2020CI、ICML2020CI

1. Causal analysis of Covid-19 spread in Germany

作者：Atalanti A. Mastakouri, Bernhard Sch?lkopf

摘要：在這項工作中，我們研究了自大流行開始以來，德國各地區在Covid-19傳播方面的因果關系，并考慮了不同聯邦州實施的限制政策。本文提出并證明了時間序列數據因果特征選擇方法的新定理，該定理對潛在混雜因素具有魯棒性，并將其應用于Covid-19病例編號。我們報告了病毒在德國傳播的發現和限制措施的因果影響，討論了各種政策在控制傳播中的作用。由于我們的結果是基于相當有限的目標時間序列(僅是報告的病例數)，因此在解釋它們時應謹慎行事。然而，我們發現如此有限的數據似乎包含了因果信號。這表明，隨著獲得更多數據，我們的因果方法可能有助于對影響Covid-19發展的政治干預措施進行有意義的因果分析，從而也有助于制定合理的、以數據為驅動的方法來選擇干預措施。

網址：

2. Algorithmic recourse under imperfect causal knowledge: a probabilistic approach

作者：Amir-Hossein Karimi, Julius von Kügelgen, Bernhard Sch?lkopf, Isabel Valera

摘要：最近的工作已經討論了反事實解釋（counterfactual explanations）的局限性，以為算法追索權（algorithmic recourse）推薦行動，并認為需要考慮特征之間的因果關系。但是，在實踐中，真正的潛在結構因果模型通常是未知的。在這項工作中，我們首先表明，它是不可能保證追索權（recourse）沒有獲得真正的結構方程。為了解決這一局限性，我們提出了兩種概率方法來選擇在有限的因果知識(例如：僅因果圖)下以高概率實現追索的最優行動。第一個模型捕捉了加高斯噪聲下結構方程的不確定性，并使用貝葉斯模型平均估計反事實分布。第二種方法通過計算追索權行為對類似于尋求追索權的平均影響，消除了結構方程上的任何假設，從而產生了一種基于亞群體的新型干預（subpopulation-based interventional notion）追索權概念。然后我們推導了一個基于梯度的程序來選擇最優的追索權行動，并且經驗地表明，在不完全因果知識下，所提出的方法比非概率基線下的建議更可靠。

網址：

3. CASTLE: Regularization via Auxiliary Causal Graph Discovery

作者：Trent Kyono, Yao Zhang, Mihaela van der Schaar

摘要：正則化改進了監督模型對樣本外數據的泛化。先前的研究表明，在因果方向(由原因產生的結果)上的預測比在反因果方向上的預測能產生更低的測試誤差。然而，現有的正則化方法不知道因果關系。我們引入因果結構學習(CASTLE)正則化，并提出通過共同學習變量之間的因果關系來對神經網絡進行正則化。CASTLE學習了因果有向無環圖(DAG)作為嵌入在神經網絡輸入層的鄰接矩陣，從而促進了最佳預測器的發現。此外，CASTLE只有效地重構具有因果鄰接的因果DAG中的特征，而基于重構的正則化器則次最優地重構所有輸入特征。我們為這個方法提供了一個理論泛化邊界，并在大量合成和真實的公開數據集上進行實驗，證明與其他流行的基準規則相比CASTLE始終導致更好的樣本外預測。

網址：

4. Causal Imitation Learning with Unobserved Confounders

作者：Junzhe Zhang, Daniel Kumor, Elias Bareinboim

摘要：兒童學習的一種常見方式就是模仿成年人。模仿學習的重點是學習策略與適當的表現，該策略具有由專家產生的演示的適當性能，并具有未指定的性能度量和未觀察到的獎勵信號。模仿學習的流行方法首先是直接模仿專家的行為策略(行為克隆)，或者學習優先觀察專家軌跡的獎勵函數(逆強化學習)。然而，這些方法依賴于這樣一種假設，即專家用來確定其行動的協變量得到了充分觀察。在本文中，我們放松這一假設，在學習者和專家的感官輸入不同的情況下研究模仿學習。首先，我們提供了一個完整的(既必要又充分的)非參數的圖形標準，用于確定模仿的可行性，該標準由有關潛在環境的示范數據和定性假設的組合，以因果模型的形式表示。然后我們表明，當這樣一個標準不成立時，模仿仍然可以利用專家軌跡的定量知識。最后，我們開發了一個從專家軌跡學習模仿政策的有效程序。

網址：

5. Causal Intervention for Weakly-Supervised Semantic Segmentation

作者：Dong Zhang, Hanwang Zhang, Jinhui Tang, Xiansheng Hua, Qianru Sun

摘要：我們提出了一個因果推理框架來改進弱監督語義分割。具體來說，我們的目標是通過僅使用圖像級標簽(WSSS中最關鍵的一步)來生成更好的像素級偽圖像。我們將偽掩碼（pseudo-masks）的邊界不明確的原因歸因于混淆的上下文。例如，“馬”和“人”的正確圖像級別分類可能不僅是由于每個實例的識別，還包括它們的共同作用,而且在他們共現的背景下,使模型檢驗（如：CAM）難以區分界限。受此啟發，我們提出一個結構因果模型來分析圖像、上下文和類別標簽之間的因果關系。在此基礎上，我們提出了一種新的方法:上下文調整(CONTA)，以消除圖像級分類中的混淆偏差，從而為后續的分割模型提供更好的偽掩碼（pseudo-masks）作為ground-truth。在PASCAL VOC 2012和MS-COCO上，我們展示了CONTA將各種流行的WSSS方法提升到新的狀態。

代碼：

網址：

6. Identifying Causal-Effect Inference Failure with Uncertainty-Aware Models

作者：Andrew Jesson, S?ren Mindermann, Uri Shalit, Yarin Gal

摘要：為個人推薦最佳的行動是個人級別因果效應估計的主要應用。在諸如醫療保健等對安全至關重要的領域中，經常需要此應用程序，在這些領域中，對不確定性進行評估并與決策者進行交流至關重要。我們介紹了一種實用的方法，將不確定性估計集成到一類先進的神經網絡方法用于個體水平的因果估計。我們的方法使我們能夠優雅地處理高維數據中常見的“無重疊”情況，在這種情況下，因果效應方法的標準應用失敗了。此外，我們的方法允許我們處理協變量變換，即訓練和測試分布不同的情況，這在系統實際部署時很常見。我們表明，當這種協變量變化發生時，正確的建模不確定性可以防止我們給出過度自信和潛在的有害建議。我們用一系列最先進的模型來演示我們的方法。在協變量轉移和缺乏重疊的情況下，我們的 uncertainty-equipped方法可以在預測不可信時向決策者發出警告，同時性能優于使用傾向評分來識別缺乏重疊的標準方法。

網址：

【導讀】機器學習頂會 NeurIPS 2020, 是人工智能領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。據官方統計，今年NeurIPS 2020 共收到論文投稿 9454 篇，接收 1900 篇（其中 oral 論文 105 篇、spotlight 論文 280 篇），論文接收率為 20.1%。近期，所有paper list 放出，小編發現**對比學習（Contrastive Learning）**相關的投稿paper很多，這塊研究方向這幾年受到了學術界的廣泛關注，并且在CV、NLP等領域也應用頗多。

為此，這期小編為大家奉上NeurIPS 2020必讀的七篇對比學習相關論文——對抗自監督對比學習、局部對比學習、難樣本對比學習、多標簽對比預測編碼、自步對比學習、有監督對比學習

NeurIPS 2020 Accepted Papers://neurips.cc/Conferences/2020/AcceptedPapersInitial

1. Adversarial Self-Supervised Contrastive Learning

作者： Minseon Kim, Jihoon Tack, Sung Ju Hwang

摘要： 現有的對抗性學習方法大多使用類別標簽來生成導致錯誤預測的對抗性樣本，然后使用這些樣本來增強模型的訓練，以提高魯棒性。雖然最近的一些工作提出了利用未標記數據的半監督對抗性學習方法，但它們仍然需要類別標簽。然而，我們真的需要類別標簽來進行反向的深度神經網絡的健壯訓練嗎？本文提出了一種新的針對未標記數據的對抗性攻擊，使得該模型混淆了擾動數據樣本的實例級身份。此外，我們還提出了一種自監督對比學習（Contrastive Learning）框架來對抗性地訓練未標記數據的魯棒神經網絡，其目的是最大化數據樣本的隨機擴充與其實例對抗性擾動之間的相似度。我們在多個基準數據集上驗證了我們的方法-魯棒對比學習（RoCL），在這些數據集上，它獲得了與最新的有監督對抗性學習方法相當的魯棒準確率，并且顯著地提高了對黑盒和不可見類型攻擊的魯棒性。此外，與單獨使用自監督學習相比，RoCL進一步結合有監督對抗性損失進行聯合微調，獲得了更高的魯棒精度。值得注意的是，RoCL在穩健的遷移學習方面也顯示出令人印象深刻的結果。

網址：

2. Contrastive learning of global and local features for medical image segmentation with limited annotations

作者： Krishna Chaitanya, Ertunc Erdil, Neerav Karani, Ender Konukoglu

摘要： 有監督深度學習成功的一個關鍵要求是一個大的標記數據集——這是醫學圖像分析中難以滿足的條件。自監督學習（SSL）可以在這方面提供幫助，因為它提供了一種用未標記的數據預訓練神經網絡的策略，然后用有限的樣本標注對下游任務進行微調。對比學習是SSL的一種特殊變體，是一種學習圖像級表征的強大技術。在這項工作中，我們提出了一種策略，通過利用領域內一些特點，在標注有限的半監督場景下來擴展volumetric 醫療圖像分割的對比學習框架。具體地，我們提出了：（1）新穎的對比策略，它利用volumetric 醫學圖像之間的結構相似性（領域特定線索）；（2）對比損失的局部信息來學習對每個像素分割有用的局部區域的獨特表示（問題特定線索）。我們在三個磁共振成像（MRI）數據集上進行了廣泛的評估。在有限的標注環境下，與其他的自監督和半監督學習技術相比，本文提出的方法有了很大的改進。當與簡單的數據增強技術相結合時，該方法僅使用兩個標記的MRI體積用于訓練，達到基準性能的8%以內，相當于用于訓練基準的訓練數據ACDC的4%。

網址：

3. LoCo: Local Contrastive Representation Learning

作者： Yuwen Xiong, Mengye Ren, Raquel Urtasun

摘要： 深度神經網絡通常執行端到端反向傳播來學習權重，該過程在跨層的權重更新步驟中創建同步約束（synchronization constraints），并且這種約束在生物學上是不可信的。無監督對比表示學習的最新進展指出一個問題，即學習算法是否也可以是局部的，即下層的更新不直接依賴于上層的計算。雖然Greedy InfoMax分別學習每個塊的局部目標，但我們發現，在最新的無監督對比學習算法中，可能是由于貪婪的目標以及梯度隔離，會一直損害readout的準確性。在這項工作中，我們發現，通過重疊局部塊堆疊在一起，我們有效地增加了解碼器的深度，并允許較高的塊隱式地向較低的塊發送反饋。這種簡單的設計首次縮小了局部學習算法和端到端對比學習算法之間的性能差距。除了標準的ImageNet實驗，我們還展示了復雜下游任務的結果，例如直接使用readout功能進行對象檢測和實例分割。

網址：

4. Hard Negative Mixing for Contrastive Learning

作者： Yannis Kalantidis, Mert Bulent Sariyildiz, Noe Pion, Philippe Weinzaepfel, Diane Larlus

摘要： 對比學習已成為計算機視覺中自監督學習方法的重要組成部分。通過學習將同一圖像的兩個增強版本相互靠近地圖像嵌入，并將不同圖像的嵌入分開，可以訓練高度可遷移的視覺表示。最近的研究表明，大量的數據增強和大量的負樣本集對于學習這樣的表征都是至關重要的。同時，無論是在圖像層面還是在特征層面，數據混合策略都通過合成新的示例來改進監督和半監督學習，迫使網絡學習更健壯的特征。在這篇文章中，我們認為對比學習的一個重要方面，即hard negatives的影響，到目前為止被忽視了。為了獲得更有意義的負樣本，目前最流行的對比自監督學習方法要么大幅增加batch sizes大小，要么保留非常大的內存庫；然而，增加內存需求會導致性能回報遞減。因此，我們從更深入地研究一個表現最好的框架開始，并展示出證據，為了促進更好、更快的學習，需要更難的難樣本（harder negatives）。基于這些觀察結果，并受到數據混合策略成功的激勵，我們提出了特征級別的難例混合策略，該策略可以用最小的計算開銷在運行中進行計算。我們在線性分類、目標檢測和實例分割方面對我們的方法進行了詳盡的改進，并表明使用我們的難例混合過程提高了通過最先進的自監督學習方法學習的視覺表示的質量。

代碼：

網址：

5. Multi-label Contrastive Predictive Coding

作者： Jiaming Song, Stefano Ermon

摘要： 變量互信息（mutual information, MI）估計器廣泛應用于對比預測編碼（CPC）等無監督表示學習方法中。MI的下界可以從多類分類問題中得到，其中critic試圖區分從潛在聯合分布中提取的正樣本和從合適的建議分布中提取的（m?1）個負樣本。使用這種方法，MI估計值超過log m，因此有效下界可能會嚴重低估，除非m非常大。為了克服這一局限性，我們引入了一種新的基于多標簽分類問題的估計器，其中critic需要同時聯合識別多個正樣本。我們證明了在使用相同數量的負樣本的情況下，多標簽CPC能夠超過log m界，同時仍然是互信息的有效下界。我們證明了所提出的方法能夠帶來更好的互信息估計，在無監督表示學習中獲得經驗上的改進，并且在13個任務中超過了最先進的10個知識提取方法。

網址：

6. Self-paced Contrastive Learning with Hybrid Memory for Domain Adaptive Object Re-ID

作者： Yixiao Ge, Feng Zhu, Dapeng Chen, Rui Zhao, Hongsheng Li

摘要： 域自適應目標Re-ID旨在將學習到的知識從已標記的源域轉移到未標記的目標域，以解決開放類（open-class）的重識別問題。雖然現有的基于偽標簽的方法已經取得了很大的成功，但是由于域的鴻溝和聚類性能的不理想，它們并沒有充分利用所有有價值的信息。為了解決這些問題，我們提出了一種新的具有混合記憶的自適應對比學習框架。混合存儲器動態地生成用于學習特征表示的源域類級、目標域簇級和未聚類實例級監督信號。與傳統的對比學習策略不同，該框架聯合區分了源域類、目標域簇和未聚類實例。最重要的是，所提出的自適應方法逐漸產生更可靠的簇來提煉混合記憶和學習目標，這被證明是我們方法的關鍵。我們的方法在目標 Re-ID的多域適配任務上的性能優于現有技術，甚至在源域上不需要任何額外的標注就能提高性能。在Market1501和MSMT17數據上，我們的無監督目標Re-ID的通用版本分別比最先進的算法高出16.7%和7.9%。

代碼：

網址：

7. Supervised Contrastive Learning

作者： Prannay Khosla, Piotr Teterwak, Chen Wang, Aaron Sarna, Yonglong Tian, Phillip Isola, Aaron Maschinot, Ce Liu, Dilip Krishnan

摘要： 交叉熵是圖像分類模型監督訓練中應用最廣泛的損失函數。在本文中，我們提出了一種新的訓練方法，該方法在不同的體系結構和數據增強的監督學習任務中始終優于交叉熵。我們修正了批量對比損失，它最近被證明在自監督環境下學習強大的表示是非常有效的。因此，我們能夠比交叉熵更有效地利用標簽信息。屬于同一類的點簇在嵌入空間中被拉在一起，同時推開來自不同類的樣本簇。除此之外，我們還利用了大的batch sizes和標準化嵌入等關鍵因素，這些因素已被證明有利于自監督學習。在ResNet-50和ResNet-200上，我們的性能都比交叉熵高出1%以上，在使用 AutoAugment數據增強的方法中創造了78.8%的新技術水平。在校準和準確度方面，這一損失也顯示出在標準基準上對自然損壞的穩健性有明顯的好處。與交叉熵相比，我們的監督對比損失對諸如優化器或數據增強等超參數設置更穩定。

網址：

【導讀】人工智能頂會 ICLR 2021 即國際表征學習大會, 是人工智能領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。據官方統計，今年共有3013篇論文提交。ICLR 采用公開評審，可以提前看到這些論文。小編發現推薦系統（Recommendation System）相關的投稿paper很多，和常見的推薦系統paper不太一樣，投稿的大部分理論研究偏多，希望大家多多關注。

為此，這期小編繼續為大家奉上ICLR 2021必讀的六篇推薦系統投稿相關論文——深度隱變量模型、可解釋關系表示模型、多方面信任推薦、不確定性推薦、循環探索網絡、分解推薦

ICLR 2021 Submitted Paper: //openreview.net/group?id=ICLR.cc/2021/Conference

ICLR2020CI、ICML2020CI

1. DEEPLTRS: A Deep Latent Recommender System based on User Ratings and Reviews

摘要：為了給用戶提供基于觀察到的用戶評分和商品評論文本的高質量推薦，我們引入了一個深度隱變量推薦系統（deep latent recommender system, deepLTRS）。Latent的動機是，當用戶只給幾個產品打分時，評論中的文本信息是一個重要的信息來源。評論信息的加入可以緩解數據稀疏性，從而增強模型的預測能力。我們的方法采用變分自編碼器結構作為生成性深度隱變量模型，用于編碼用戶對產品的評分的有序矩陣（ordinal matrix）和評論的文檔術語矩陣。此外，與唯一的基于用戶或基于項目的模型不同，Deep LTRS假定用戶和產品都具有潛在的表示。我們提出了一種交替的用戶/產品小批量優化結構，用于聯合捕獲用戶和商品的偏好。在模擬和真實數據集上的數值實驗表明，Deep LTRS的性能優于最新技術，特別是在極端數據稀疏的情況下。

網址：

2. Interpretable Relational Representations For Food Ingredient Recommendation Systems

摘要：食物配料推薦系統支持廚師創造新的食譜是具有挑戰性的，因為好的配料組合取決于許多因素，如味道、氣味、烹飪風格、質地等。使用機器學習來解決這些問題的嘗試很少。重要的是，有用的模型不僅需要準確，更重要的是-特別是對于食品專業人士-是可解釋的。為了解決這些問題，我們提出了可解釋關系表示模型（Interpretable Relational Representation Model, IRRM）。該模型的主要組成部分是一個鍵-值記憶網絡，用于表示成分之間的關系。我們提出并測試了該模型的兩個變體。一個可以通過可訓練的記憶網絡(隱式模型)學習潛在的關系表示，而另一個可以通過集成外部知識庫(顯式模型)的預訓練的記憶網絡學習可解釋的關系表示。模型產生的關系表示是可解釋的-它們允許核對為什么建議某些配料配對。顯式模型還允許集成任何數量的手動指定的約束。我們在分別有45,772個食譜的CulinaryDB和55,001個食譜的Flavorne這兩個食譜數據集上進行了實驗。實驗結果表明，我們的模型具有預測性和信息性。

網址：

3. Multi-faceted Trust Based Recommendation System

摘要：推薦系統對用戶在互聯網上做出的選擇中起著決定性的作用。他們尋求為用戶量身定做決策。由于人們認為用戶與他們信任的人相似，會做出與這些用戶相似的選擇，這使得信任（trust）成為推薦系統中的一個非常重要的因素。在協同推薦系統（collaborative recommendation systems）中，信任及其對人們選擇的影響已經被廣泛研究。可以理為，信任不是一層不變的，而是可以隨上下文變化的。最近在基于信任的推薦系統領域的研究表明，使用基于trust的方法極大地提高了推薦質量（Mauro等人，2019年；Fang等人，2015年）。我們提出了一個推薦系統，該系統在考慮產是否適合特定用戶的同時，考慮了信任的多個方面。這種基于多方面信任的推薦器（MFTBR）體系結構考慮到了可擴展性--不需要太多的努力就可以添加新的信任方面--并且不會對動態性信任方面進行任意加權。取而代之的是，通過神經網絡優化權重以獲得最佳結果。這里考慮的信任方面是本地信任、全局信任和類別信任。MFTBR的性能明顯好于基本協同過濾-U2UCF（C.Desrosiers，2011），以及社交和基于信任的推薦系統領域的一些成熟模型-MTR（Mauro等人，2019年）和SocialFD（Yu等人，2017年）。因此，我們的模型不僅考慮了信任對推薦的影響，而且考慮了信任建立的上下文，從而提供了更接近現實生活中的推薦。

網址：

4. PURE: an Uncertainty-aware Recommendation Framework for Maximizing Expected Posterior Utility of Platform

摘要：商業推薦可以看作是推薦平臺與其目標用戶之間的互動過程。平臺的一個關鍵問題是如何充分利用其優勢，使其效用最大化，即推薦所帶來的商業利益。本文提出了一種新的推薦框架，該框架有效地利用了用戶在不同項目維度上的不確定性信息，并且顯式地考慮了展示策略對用戶的影響，從而使平臺獲得最大的期望后驗概率（maximal expected posterior）。我們將獲得最大期望后驗概率的最優策略問題描述為一個約束非凸優化問題，并進一步提出了一種基于ADMM的解來導出近似最優策略。通過對從真實推薦平臺收集的數據進行了大量的實驗，驗證了該框架的有效性。此外，我們亦采用建議的架構框架進行試驗，以揭示平臺如何取得商業效益。研究結果表明，平臺應滿足用戶對用戶喜歡的商品維度的偏好，而對于用戶不確定性較高的商品維度，該平臺可以通過推薦實用性高的商品來獲得更多的商業收益。

網址：

5. Recurrent Exploration Networks for Recommender Systems

摘要：循環神經網絡已被證明在推薦系統建模序列用戶反饋方面是有效的。然而，它們通常只關注項目相關性，而不能有效地為用戶挖掘多樣化的項目，從而在長遠來看損害了系統的性能。為了解決這個問題，我們提出了一種新型的循環神經網絡，稱為循環探索網絡( recurrent exploration networks, REN)，在潛在空間中聯合進行表示學習和有效探索。試圖平衡相關性和探索性，同時考慮到表征中的不確定性。我們的理論分析表明，即使在學習的表示存在不確定性的情況下，REN也可以保持速率最優的 sublinear regret(Chu等人，2011)。我們的實驗研究表明，REN在合成和真實推薦數據集上都能獲得令人滿意的長期回報，表現優于最先進的模型。

網址：

6. Untangle: Critiquing Disentangled Recommendations

摘要：大多數協同過濾方法背后的核心原則是將用戶和項目嵌入到潛在空間中，在潛在空間中，獨立于任何特定項目屬性學習各個維度。因此，用戶很難基于特定方面（評論）控制他們的推薦。在這項工作中，我們提出了Untangle：一種推薦模型，它允許用戶相對于特定的項目屬性（例如，不那么暴力的、更有趣的電影）控制推薦列表，這些屬性在用戶偏好中具有因果關系。Untangle使用精細化的訓練過程，通過訓練：（i）一部分監督的β-VAE來解開（disentangles）項目表示，以及（ii）第二階段，其優化以生成對用戶的推薦。Untangle可以根據用戶喜好控制對推薦的評論，而不會犧牲推薦的準確性。此外，只需要極少的標簽項就可以創建與屬性無關的偏好表示。

網址：

【導讀】ICML(International Conference on Machine Learning)，即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會已于2020年7月13日至18日在線上舉行。據官方統計，ICML 2020共提交4990篇論文，接收論文1088篇，接收率為21.8%。與往年相比，接收率逐年走低。小編發現基于域自適應（Domain Adaptation）相關的paper也不少，域自適應及其在不同方式的轉換和應用等等都是這幾年比較火的topic，受到了很多人的關注。

為此，這期小編繼續為大家奉上ICML 2020必讀的六篇域自適應（Domain Adaptation）相關論文——連續域自適應、多源域自適應、無監督域自適應、少樣本域自適應、開放集域自適應

ICML 2020 Accepted Paper: //proceedings.icml.cc/book/2020

ICML2020ML、ICML2020CL、ICML2020CI、ICML2020GNN_Part2、ICML2020GNN_Part1

1、Continuously Indexed Domain Adaptation

作者：Hao Wang, Hao He, Dina Katabi

摘要：現有的域自適應集中于在具有分類索引的領域之間（例如，在數據集A和B之間）傳遞知識。然而，許多任務涉及連續索引的域。例如，在醫療應用中，人們經常需要在不同年齡的患者之間進行疾病分析和預測，而年齡是連續領域的指標。這樣的任務對于現有的域自適應方法是有挑戰性的，因為它們忽略了領域之間的潛在關系。在本文中，我們第一個提出了連續索引域自適應的方法。該方法將傳統的對抗性適應與新穎的鑒別器相結合，該鑒別器對編碼條件下的域索引分布進行建模。我們的理論分析證明了利用域索引在連續域范圍內生成不變特征的意義。我們的實驗結果表明，我們的方法在綜合醫學數據集和實際醫學數據集上均優于最先進的域自適應方法。

代碼鏈接：

網址：

2、Domain Aggregation Networks for Multi-Source Domain Adaptation

作者：Junfeng Wen, Russell Greiner, Dale Schuurmans

摘要：在許多實際應用中，我們希望利用多個源數據集為不同但相關的目標數據集建立模型。盡管最近在經驗上取得了成功，但大多數現有的研究都是采用特別的方法來組合多種來源，從而導致理論與實踐之間的差距。本文提出了一種基于域差異的有限樣本泛化邊界，并據此提出了一種理論上合理的優化方法。我們的算法，Domain AggRegation Network（DARN），能夠自動、動態地平衡包含更多數據以增加有效樣本量和排除無關數據以避免訓練過程中的負面影響。我們發現，DARN在多個實際任務（包括數字/對象識別和情感分析）上性能明顯優于現有的最新技術。

網址：

3、Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation

作者：Jian Liang, Dapeng Hu, Jiashi Feng

摘要：無監督域自適應（UDA）的目的是利用從標記的源數據集中學習的知識來解決新的未標記域中的相似任務。以前的UDA方法通常需要在學習適應模型時訪問源數據，這使得它們對于分散的私有數據來說風險很大，效率低下。這項工作解決了一個只有經過訓練的源模型可用的新環境，并研究了如何在沒有源數據的情況下有效地利用這種模型來解決UDA問題。我們提出了一個簡單而通用的表示學習框架，稱為源假設遷移（SHOT）。SHOT凍結了源模型的分類器模塊（假設），通過利用信息最大化和自監督偽標記將目標域的表示隱式地與源假設對齊，從而學習了特定于目標的特征提取模塊。為了驗證它的通用性，我們對SHOT在各種適應情況下進行了評估，包括閉集、部分集和開集域適配。實驗表明，SHOT在多個域自適應基準中產生了最先進的結果。

代碼鏈接：

網址：

4、Few-shot Domain Adaptation by Causal Mechanism Transfer

作者：Takeshi Teshima, Issei Sato, Masashi Sugiyama

摘要：我們研究將少樣本自監督域自適應方法應用于回歸類問題，其中只有少量的已標記的目標域數據和大量的已標記源域數據可用。目前的許多域適應方法的轉移條件都是基于參數化分布偏移或明顯的分布相似性，例如相同的條件或很小的分布差異。然而，這些假設排除了在復雜的遷移環境或者明顯不同的分布中適應的可能性。為了克服這個問題，我們提出了機制遷移（mechanism transfer），這是一種元分布場景，其中數據生成機制在域之間是不變的。這種遷移假設可以適應非參數化偏移所導致的明顯的分布差異，同時也為域自適應學習提供一個堅實的統計基礎。本文以因果模型中的結構方程為例，提出了一種新的域自適應學習方法，該方法在理論和實驗上都表明了良好的可用性。我們提出的方法可以看做是第一次嘗試利用結構因果模型來進行域自適應學習。

代碼鏈接:

網址：

5、Margin-aware Adversarial Domain Adaptation with Optimal Transport

作者：Sofien Dhouib, Ievgen Redko, Carole Lartizien

摘要：本文對于無監督域適應學習提出了一種新的理論分析方法，涉及大邊際分離，對抗性學習和最優傳輸。我們提出這種分析方法一般化了之前通過對目標邊界違規率進行限定的工作，結果表明出對目標域類別進行分離質量控制優于對誤分類率進行限定。該邊界還強調了源域上的邊際分離對自適應的好處，并引入了基于最優傳輸（OT）的域間距離，該距離與其他方法不同之處在于其依賴于具體的任務。從目前所獲得的結果看，我們得到了一個新的域自適應解決方案，該方案引入了一種新的基于淺OT的對抗方法，并且在一些現實世界中的分類任務上優于其他域自適應方法。

代碼鏈接：

網址：

6、Progressive Graph Learning for Open-Set Domain Adaptation

作者：Yadan Luo, Zijian Wang, Zi Huang, Mahsa Baktashmotlagh

摘要：域偏移是計算機視覺識別中的一個基本問題，通常在源數據和目標數據遵循不同的分布時出現。現有的域適應方法都是在閉集環境下工作的，即假設源數據和目標數據共享完全相同的對象。在這篇論文中，我們解決了一個開放域在遷移時所面臨的現實問題：目標域中所包含的一些樣本類別在源域中并不存在。具體來說，本文提出了一種端到端的漸進式（PGL）學習框架，該框架集成了一個已訓練過的圖神經網絡來抑制潛在的條件轉移，并采用對抗性學習來縮小源域和目標域之間的分布差異。與目前的開放域自適應方法相比，我們的方法能夠保證更加接近目標誤差的上限。在三個公共基準數據集上的大量實驗證明，我們的方法在開放域適應方面的性能明顯優于目前的其他方法。

網址：

【導讀】ICML(International Conference on Machine Learning)，即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會已于2020年7月13日至18日在線上舉行。據官方統計，ICML 2020共提交4990篇論文，接收論文1088篇，接收率為21.8%。與往年相比，接收率逐年走低。小編發現基于對比學習（Contrastive Learning）相關的paper也不少，對比學習、自監督學習等等都是今年比較火的topic，受到了很多人的關注。

為此，這期小編繼續為大家奉上ICML 2020必讀的六篇對比學習（Contrastive Learning）相關論文——SimCLR、對比多視角圖學習、對比強化學習、CPC、分解GAN、

ICML 2020 Accepted Paper: //proceedings.icml.cc/book/2020

ICML2020CI、ICML2020GNN_Part2、ICML2020GNN_Part1

1、A Simple Framework for Contrastive Learning of Visual Representations

作者：Ting Chen、Simon Kornblith、Mohammad Norouzi、Geoffrey Hinton

摘要：本文提出了SimCLR：一種簡單的視覺表示的對比學習（contrastive learning）框架。我們簡化了最近提出的對比自監督學習算法，并且不需要專門的體系結構或存儲庫。為了理解什么使對比預測任務能夠學習有用的表示，我們系統地研究了我們框架的主要組成部分。我們表明：(1)數據增強部分在定義有效的預測任務中起著關鍵作用；(2)在表示和對比損失之間引入可學習的非線性變換大大提高了學習表示的質量；(3)與監督學習相比，對比學習受益于更大的batch和更多的訓練。結合這些發現，我們能夠在ImageNet上顯著優于以往的自監督和半監督學習方法。在通過SimCLR學習得到的自監督表示上訓練的線性分類器達到了76.5%的TOP-1準確率，比以前的技術相對提高了7%，與監督ResNet-50的性能相當。當只對1%的標簽進行微調時，我們達到了85.8%的TOP-5準確率，在標簽減少100倍的情況下表現優于AlexNet。

代碼：

網址：

2、Contrastive Multi-View Representation Learning on Graphs

作者：Kaveh Hassani、Amir Hosein Khasahmadi

摘要：我們介紹了一種通過對比圖的結構視圖來學習節點級和圖級表示的自監督方法。我們表明，與視覺表示學習不同的是，將視圖數增加到兩個以上或對比多尺度編碼并不能提高性能，并且通過對比來自一階鄰居的編碼和圖擴散（ graph diffusion）可以獲得最佳性能。在線性評估協議下，我們的模型在8個節點和圖分類基準上有8個取得了最新結果。例如，在CORA(節點)和Reddit-Binary(圖)分類基準上，我們達到了86.8%和84.5%的準確率，比以前的技術水平分別提高了5.5%和2.4%。與監督基線相比，我們的方法在8個基準中有4個表現優于它們。

網址：

3、CURL: Contrastive Unsupervised Representations for Reinforcement Learning

作者：Michael Laskin、Aravind Srinivas、Pieter Abbeel

摘要：我們提出了CURL—用于強化學習的對比無監督表示法。CURL使用對比學習從原始像素中提取高層特征，并在提取的特征之上執行非策略控制。在DeepMind Control Suite和Atari Games的復雜任務上，無論是基于模型的方法還是非模型的方法，CURL的表現都優于之前基于像素的方法，在100K環境和交互步驟基準下分別顯示1.9倍和1.2倍的性能提升。在DeepMind Control Suite上，CURL是第一個幾乎與使用基于狀態特征的方法的采樣效率相當的基于圖像的算法。

代碼：

網址：

4、Data-Efficient Image Recognition with Contrastive Predictive Coding

作者：Olivier J. Hénaff、Aravind Srinivas、Jeffrey De Fauw、Ali Razavi、Carl Doersch、S. M. Ali Eslami、Aaron van den Oord

摘要：人類觀察者從少數幾個例子中可以學會識別新的圖像類別，但使用人造圖像做到這一點仍然是一個挑戰。我們假設通過表示使數據有效識別成為可能，這些表示使自然信號的可變性更加可預測。因此，我們重新改進了對比預測編碼，這是學習這種表示的一個無監督目標。此新實現產生的特征可以支持ImageNet數據集上的最新線性分類準確性。當使用深度神經網絡作為非線性分類的輸入時，這種表示允許我們使用比直接在圖像像素上訓練的分類器少2-5倍的標簽。最后，這種無監督表示大大改善了對Pascal VOC數據集上的目標檢測的遷移學習，超過了全監督預訓練的ImageNet分類器。

網址：

5、InfoGAN-CR and ModelCentrality: Self-supervised Model Training and Selection for Disentangling GANs

作者：Zinan Lin、Kiran K. Thekumparampil、Giulia Fanti1Sewoong Oh

摘要：分解（disentangled）的生成模型將潛在向量映射到目標空間，同時強制學習的潛在子集是可解釋的，并且與目標分布的不同屬性相關聯。最近的進展主要是基于變分自編碼器(VAE)的方法，而訓練分離的生成式對抗網絡(GANS)仍然是具有挑戰性的。在這項工作中，我們證明了分離的GAN面臨的主要挑戰可以通過使用自監督來緩解。我們的主要貢獻有兩個：第一，我們設計了一種新的具有自監督功能的分離GANs訓練方法。我們提出了對比正則化（contrastive regularizer）算法，它的靈感來自于一個自然的分解概念：latent traversal。這比最先進的基于VAE和GAN的方法獲得了更高的分離分數。其次，我們提出了一種稱為ModelCentrality的無監督模型選擇方案，它使用生成的合成樣本來計算模型集合的medoid(多維中值推廣)。令人驚訝的是，這種無監督的ModelCentrality能夠選擇比使用現有的監督超參數選擇技術訓練的模型性能更好的模型。將對比正則化和ModelCentrality相結合，在不需要有監督超參數選擇的情況下，大幅度地獲得了最先進的分離分數。

網址：

6、Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere

作者：Tongzhou Wang、Phillip Isola

摘要：對比表示學習在實踐中取得了顯著的成功。在這項工作中，我們確定了與對比損失相關的兩個關鍵性質：(1)正對特征的對齊方式（緊密度）和(2)超球面上(歸一化)特征誘導分布的均勻性。我們證明，漸近地，對比損失優化了這些屬性，并分析了它們對下游任務的積極影響。根據經驗，我們引入了一個可優化的指標來量化每個屬性。在標準視覺和語言數據集上的大量實驗證實了指標與下游任務性能之間的強烈一致性。直接針對這兩個指標進行優化可以使下游任務的表現比對比學習更好或更高。

代碼：

網址：

【導讀】ICML(International Conference on Machine Learning)，即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會已于2020年7月13日至18日在線上舉行。據官方統計，ICML 2020共提交4990篇論文，接收論文1088篇，接收率為21.8%。與往年相比，接收率逐年走低。小編發現基于因果推理（Causal Inference）相關的paper很多，因果推理，以及反事實等相關理論方法在CV、NLP都開始有相關的應用了，這個前沿的方法受到了很多人的關注。

為此，這期小編繼續為大家奉上ICML 2020必讀的六篇因果推理（Causal Inference）相關論文——隱私攻擊、因果效應估計、分層貝葉斯模型、反事實交叉驗證、協變量表示

ICML 2020 Accepted Paper: //proceedings.icml.cc/book/2020

ICML2020GNN_Part1、KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、

1、Alleviating Privacy Attacks via Causal Learning

作者：Shruti Tople, Amit Sharma, Aditya V. Nori

摘要：機器學習模型，特別是深度神經網絡，已經被證明容易受到隱私攻擊，例如成員關系推理（membership inference），在這種情況下，對手可以檢測到數據點是否被用于訓練黑盒模型。當模型用于預測不可知數據分布時，這樣的隱私風險就會加劇。為了減輕隱私攻擊，我們展示了基于輸入特征和結果之間因果關系預測模型的好處。我們首先表明，使用因果結構學習的模型可以更好地推廣到不可知數據（unseen data），特別是在與訓練分布具有不同分布的數據上。基于這一性質，我們建立了因果關系和隱私之間的理論聯系：與關聯模型相比，因果模型提供了更強的區分隱私保證，并且對成員關系推理攻擊具有更強的魯棒性。在模擬的Bayesian networks和colored-MNIST數據集上的實驗表明，在不同的測試分布和樣本大小情況下，關聯模型的攻擊準確率高達80%，而因果模型的攻擊準確率接近隨機猜測。

網址：

2、Causal Effect Estimation and Optimal Dose Suggestions in Mobile Health International Conference on Machine Learning

作者：Liangyu Zhu, Wenbin Lu, Rui Song

摘要：在這篇文章中，我們提出了新的結構性嵌套模型（nested models）來估計基于移動健康數據的持續治療的因果效應（causal effects）。為了找到優化患者預期短期結果的治療方案，我們將加權lag-K advantage定義為價值函數。然后將最優干預方案為使價值函數最大化的方案。我們的方法對數據生成過程施加了最小的假設。對估計的參數進行統計推斷。模擬研究和在Ohio type 1 diabetes 數據集的應用表明，我們的方法可以為移動健康數據的劑量建議提供有意義的見解。

網址：

3、Causal Inference using Gaussian Processes with Structured Latent Confounders

作者：Sam Witty, Kenta Takatsu, David Jensen, Vikash Mansinghka

摘要：潛在干擾因子（confounders）-影響介入選擇和結果的一些未觀察到的變量-可能會對因果效應的估計產生偏差。在某些情況下，這些干擾因子在不同的觀察中是相同的，例如，一所學校的所有學生除了單獨接受任何教育的干預外，還受到學校文化的影響。本文展示了如何對具有這種結構的潛在干擾因子進行建模，從而改進對因果效應的估計。主要創新點是分層貝葉斯模型、帶結構干擾因子的高斯過程（Gaussian processes with structured latent confounders, GP-SLC）和基于橢圓切片采樣（elliptical slice sampling）的蒙特卡羅推理（Monte Carlo inference）算法。GP-SLC提供個體治療效果的原則性貝葉斯不確定性估計，對與干擾因子、協變量、介入和結果相關的函數形式的假設最少。本文還證明，對于線性函數形式，考慮潛在干擾因子中的結構對于因果效應的漸近相容估計是充分的。最后，本文證明了GP-SLC與等級線性模型（ multi-level linear models）和貝葉斯加性回歸樹（Bayesian additive regression trees）等廣泛使用的因果推理技術相比具有競爭力或更高的精確度。基準數據集包括 Infant Health 和Development Program ，以及顯示溫度變化對整個新英格蘭全州能源消耗的影響的數據集。

網址：

4、Counterfactual Cross-Validation:Stable Model Selection Procedure for Causal Inference Models

作者：Yuta Saito, Shota Yasui

摘要：本文研究了conditional average treatment effect（CATE）預測中的模型選擇問題。與以往的研究工作不同，我們的重點是保持候選CATE預測器性能的等級順序，以便能夠準確和穩定地選擇模型。為此，我們分析了模型的性能排名問題，并制定了指導方針，以獲得更好的評價指標。然后，我們提出了一種新的度量方法，它可以高置信度地識別CATE預測器的性能排名。實驗評估表明，我們的度量方法在模型選擇和超參數調整任務上都優于現有的度量方法。

網址：

5、DeepMatch: Balancing Deep Covariate Representations for Causal Inference Using Adversarial Training

作者：Nathan Kallus

摘要：當豐富的協變量（covariates）和復雜的關系需要靈活的神經網絡建模時，我們研究了從觀測數據中進行因果推理時，如何平衡其協變量表示。在這種情況下，諸如傾向于加權和匹配/平衡之類的標準方法分別會因為未正確校正的傾向網絡和不合適的協變量表示而失敗。我們提出了一種基于權重和判別器網絡的對抗訓練的新方法，可以有效地解決這種方法上的差距。這是經過新的理論特征和基于合成與臨床數據的經驗結果證明的，這些結果表明在這種挑戰性的環境中如何解決因果分析。

網址：

6、Efficient Identification in Linear Structural Causal Models with Auxiliary Cutsets

作者：Daniel Kumor, Carlos Cinelli, Elias Bareinboim

摘要：我們提出了一種新的多項式時間（polynomial-time）算法來識別線性因果模型中的結構系數，它包含了以前最先進的方法，統一了幾種不同的識別方法。在這些結果的基礎上，我們開發了一種識別線性系統中總因果效應的程序。

網址：

【導讀】ICML(International Conference on Machine Learning)，即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會已于2020年7月13日至18日在線上舉行。據官方統計，ICML 2020共提交4990篇論文，接收論文1088篇，接收率為21.8%。與往年相比，接收率逐年走低。ICML官網公布了接受論文列表，小編發現基于Graph相關的paper依然很多，為此，上個月專知小編為大家整理了圖神經網絡相關的論文，這期小編繼續為大家奉上ICML 2020必讀的五篇圖神經網絡（GNN）相關論文-Part 2——貝葉斯GNN、連續GNN、Faster圖嵌入、深度GCN、圖Pooling、

ICML 2020 Accepted Paper: //proceedings.icml.cc/book/2020

ICML2020GNN_Part1、KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、

1. Bayesian Graph Neural Networks with Adaptive Connection Sampling

作者：Arman Hasanzadeh, Ehsan Hajiramezanali, Shahin Boluki, Mingyuan Zhou, Nick Duffifield, Krishna Narayanan, Xiaoning Qian

摘要：我們提出了一個用于圖神經網絡(GNNs)自適應連接采樣（connection sampling）的統一框架，該框架概括了現有的用于訓練GNN的隨機正則化方法。該框架不僅緩解了深層GNNs的過平滑和過擬合趨勢，而且使得GNNs在圖分析任務中的不確定性學習成為可能。與現有的隨機正則化方法那樣使用固定的采樣率或手動調整它們作為模型超參數不同，我們的自適應連接采樣可以與GNN模型參數以全局和局部的方式聯合訓練。具有自適應連接采樣的GNN訓練在數學上等價于訓練貝葉斯GNN的有效近似。在基準數據集上的消融實驗結果驗證了自適應學習采樣率是在半監督節點分類任務中提高GNNs性能的關鍵，使其不容易過平滑和過擬合，具有更穩健的預測能力。

網址：

2.Continuous Graph Neural Networks

作者：Louis-Pascal A. C. Xhonneux, Meng Qu, Jian Tang

摘要：本文建立在圖神經網絡與傳統動力系統之間的聯系之上。我們提出了連續圖神經網絡(Continuous Graph Neural Networks, CGNN)，由于CGNN可以看作是一種特定的離散化方案，它進一步推廣了現有的具有離散動力學的圖神經網絡。其核心思想是如何刻畫節點表示的連續動力學，即節點表示的導數。受現有的基于圖擴散的方法(如社會網絡上的PageRank模型和流行病模型)的啟發，我們將導數定義為當前節點表示、鄰居表示和節點初始值的組合。我們提出并分析了圖上的兩種可能的動力學--包括節點表示的每一維(也稱為特征通道)獨立改變或者彼此交互-這兩者都有理論上的合理性。所提出的連續圖神經網絡對過于過平滑具有較強的魯棒性，因此可以建立更深層次的網絡，從而能夠捕獲節點之間的長期依賴關系。在節點分類任務上的實驗結果證明了我們提出的方法在與基線模型競爭上的有效性。

網址：

3.Faster Graph Embeddings via Coarsening

作者：Matthew Fahrbach, Gramoz Goranci, Richard Peng, Sushant Sachdeva, Chi Wang

摘要：圖嵌入是一種普遍適用于機器學習任務的工具，如圖結構數據上的節點分類和連接預測。然而，即使我們只對相關頂點的一小部分感興趣，計算大規模圖嵌入的效率也是很低的。為了解決這個問題，我們提出了一種基于Schur補（Schur complements）的有效圖粗化方法，用于計算相關頂點的嵌入。我們證明了這些嵌入被不相關頂點上通過高斯消去法得到的Schur補圖精確地保存。由于計算Schur補的代價很高，我們給出了一個近似線性的時間算法，該算法在每次迭代中在相關頂點上生成一個粗化圖，該粗化圖在期望上與Schur補相匹配。我們在圖上進行的預測任務實驗表明，計算嵌入到粗化圖上，而不是整個圖上，在不犧牲精度的情況下，可以節省大量的時間。

網址：

4. Simple and Deep Graph Convolutional Networks

作者：Ming Chen, Zhewei Wei, Zengfeng Huang, Bolin Ding, Yaliang Li

摘要：圖卷積網絡(GCNS)是一種強大的圖結構數據深度學習方法。最近，GCNS及其變體在真實數據集上的各個應用領域都顯示出了優異的性能。盡管取得了成功，但由于過平滑的問題，目前的大多數GCN模型都很淺。本文研究了深圖卷積網絡的設計與分析問題。我們提出了GCNII模型，它是對普通GCN模型的擴展，使用了兩個簡單而有效的技術：初始殘差和恒等映射（Identity mapping）。我們提供了理論和實驗證據，證明這兩種技術有效地緩解了過平滑問題。我們的實驗表明，深度GCNII模型在各種半監督和全監督任務上的性能優于最先進的方法。

網址：

5. Spectral Clustering with Graph Neural Networks for Graph Pooling

作者：Filippo Maria Bianchi, Daniele Grattarola, Cesare Alippi

摘要：譜聚類(SC)是發現圖上強連接社區的一種流行的聚類技術。SC可以在圖神經網絡(GNN)中使用，以實現聚合屬于同一集群節點的池化操作。然而，Laplacian特征分解的代價很高，而且由于聚類結果是特定于圖的，因此基于SC的池化方法必須對每個新樣本執行新的優化。在本文中，我們提出了一種圖聚類方法來解決SC的這些局限性。我們建立了歸一化minCUT問題的連續松弛（continuous relaxation ）公式，并訓練GNN來計算最小化這一目標的聚類分配。我們的基于GNN的實現是可微的，不需要計算譜分解，并且學習了一個聚合函數，可以在樣本外的圖上快速評估。從提出的聚類方法出發，我們設計了一個圖池化算子，它克服了現有圖池化技術的一些重要局限性，并在多個監督和非監督任務中取得了最好的性能。

網址：

【導讀】ICML(International Conference on Machine Learning)，即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會將于2020年7月13日至18日在線上舉行。據官方統計，ICML 2020共提交4990篇論文，接收論文1088篇，接收率為21.8%。與往年相比，接收率逐年走低。在會議開始前夕，專知小編為大家整理了ICML 2020圖神經網絡（GNN）的六篇相關論文供參考——核GNN、特征變換、Haar 圖池化、無監督圖表示、譜聚類、自監督GCN。

ICML 2020 Accepted Papers //icml.cc/Conferences/2020/AcceptedPapersInitial

ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN

1. Convolutional Kernel Networks for Graph-Structured Data

作者：Dexiong Chen, Laurent Jacob, Julien Mairal

摘要：我們引入了一系列多層圖核，并在圖卷積神經網絡和核方法之間建立了新的聯系。我們的方法通過將圖表示為核特征映射序列將卷積核網絡推廣到圖結構數據，其中每個節點攜帶關于局部圖子結構的信息。一方面，核的觀點提供了一種無監督的、有表現力的、易于正規化的數據表示，這在樣本有限的情況下很有用。另一方面，我們的模型也可以在大規模數據上進行端到端的訓練，從而產生了新型的圖卷積神經網絡。我們的方法在幾個圖分類基準上取得了與之相當的性能，同時提供了簡單的模型解釋。

網址：

代碼鏈接：

2. GNN-FILM: Graph Neural Networks with Feature-Wise Linear Modulation 作者：Marc Brockschmidt

摘要：本文提出了一種新的基于特征線性調制（feature-wise linear modulation，FiLM）的圖神經網絡(GNN)。許多標準GNN變體僅通過每條邊的源的表示來計算“信息”，從而沿著圖的邊傳播信息。在GNN-FILE中，邊的目標節點的表示被附加地用于計算可以應用于所有傳入信息的變換，從而允許對傳遞的信息進行基于特征的調制。基于基線方法的重新實現，本文給出了在文獻中提到的三個任務上的不同GNN體系結構的實驗結果。所有方法的超參數都是通過廣泛的搜索找到的，產生了一些令人驚訝的結果：基線模型之間的差異比文獻報道的要小。盡管如此，GNN-FILE在分子圖的回歸任務上的表現優于基線方法，在其他任務上的表現也具有競爭性。

網址：

3. Haar Graph Pooling

作者：Yu Guang Wang, Ming Li, Zheng Ma, Guido Montufar, Xiaosheng Zhuang, Yanan Fan

摘要：深度圖神經網絡(GNNs)是用于圖分類和基于圖的回歸任務的有效模型。在這些任務中，圖池化是GNN適應不同大小和結構的輸入圖的關鍵因素。本文提出了一種新的基于壓縮Haar變換的圖池化操作-HaarPooling。HaarPooling實現了一系列池化操作；它是通過跟隨輸入圖的一系列聚類序列來計算的。HaarPooling層將給定的輸入圖變換為節點數較小、特征維數相同的輸出圖；壓縮Haar變換在Haar小波域中過濾出細節信息。通過這種方式，所有HaarPooling層一起將任何給定輸入圖的特征合成為大小一致的特征向量。這種變換提供了數據的稀疏表征，并保留了輸入圖的結構信息。使用標準圖卷積層和HaarPooling層實現的GNN在各種圖分類和回歸問題上實現了最先進的性能。

網址：

4. Interferometric Graph Transform: a Deep Unsupervised Graph Representation 作者：Edouard Oyallon

摘要：我們提出了Interferometric Graph Transform(IGT)，這是一類用于構建圖表示的新型深度無監督圖卷積神經網絡。我們的第一個貢獻是提出了一種從歐幾里德傅立葉變換的推廣得到的通用復數譜圖結構。基于一個新穎的貪婪凹目標，我們的學習表示既包括可區分的特征，也包括不變的特征。通過實驗可以得到，我們的學習過程利用了譜域的拓撲，這通常是譜方法的一個缺陷，特別是我們的方法可以恢復視覺任務的解析算子。我們在各種具有挑戰性的任務上測試了我們的算法，例如圖像分類(MNIST，CIFAR-10)、社區檢測(Authorship，Facebook graph)和3D骨架視頻中的動作識別(SBU，NTU)，在譜圖非監督環境下展示了一種新的技術水平。

網址：

5. Spectral Clustering with Graph Neural Networks for Graph Pooling

作者：Filippo Maria Bianchi, Daniele Grattarola, Cesare Alippi

摘要：譜聚類(SC)是發現圖上強連通社區的一種流行的聚類技術。SC可以在圖神經網絡(GNN)中使用，以實現聚合屬于同一簇的節點的池化操作。然而，Laplacian的特征分解代價很高，而且由于聚類結果是特定于圖的，因此基于SC的池化方法必須對每個新樣本執行新的優化。在本文中，我們提出了一種圖聚類方法來解決SC的這些局限性。我們建立了歸一化minCUT問題的連續松弛公式，并訓練GNN來計算最小化這一目標的簇分配。我們的基于GNN的實現是可微的，不需要計算譜分解，并且學習了一個聚類函數，可以在樣本外的圖上快速評估。從提出的聚類方法出發，我們設計了一個圖池化算子，它克服了現有圖池化技術的一些重要局限性，并在多個監督和非監督任務中取得了最好的性能。

網址：

6. When Does Self-Supervision Help Graph Convolutional Networks?

作者：Yuning You, Tianlong Chen, Zhangyang Wang, Yang Shen

摘要：自監督作為一種新興的技術已被用于訓練卷積神經網絡(CNNs)，以提高圖像表示學習的可傳遞性、泛化能力和魯棒性。然而，自監督對操作圖形數據的圖卷積網絡(GCNS)的介紹卻很少被探索。在這項研究中，我們首次將自監督納入GCNS的系統探索和評估。我們首先闡述了將自監督納入GCNS的三種機制，分析了預訓練&精調和自訓練的局限性，并進而將重點放在多任務學習上。此外，我們還提出了三種新的GCNS自監督學習任務，并進行了理論分析和數值比較。最后，我們進一步將多任務自監督融入到圖對抗性訓練中。研究結果表明，通過合理設計任務形式和合并機制，自監督有利于GCNS獲得更強的泛化能力和魯棒性。

網址：

代碼鏈接：

【導讀】作為世界數據挖掘領域的最高級別的學術會議，ACM SIGKDD（國際數據挖掘與知識發現大會，簡稱 KDD）每年都會吸引全球領域眾多專業人士參與。今年的 KDD大會計劃將于 2020 年 8 月 23 日 ~27 日在美國美國加利福尼亞州圣地亞哥舉行。上周，KDD 2020官方發布接收論文，共有1279篇論文提交到Research Track，共216篇被接收，接收率16.8%。近期一些Paper放出來了，為此，專知小編提前為大家整理了五篇KDD 2020 圖神經網絡（GNN）相關論文，供大家參考。——圖結構學習、多元時間序列預測、負采樣、多任務多視角圖表示學習、多興趣推薦

CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、

1. Graph Structure Learning for Robust Graph Neural Networks

作者：Wei Jin, Yao Ma, Xiaorui Liu, Xianfeng Tang, Suhang Wang, Jiliang Tang

摘要：圖神經網絡(GNNs)是圖表示學習的有力工具。但是，最近的研究表明，GNN容易受到精心設計的擾動（稱為對抗攻擊）的攻擊。對抗性攻擊很容易欺騙GNN來預測下游任務。對于對抗攻擊的脆弱性使人們越來越關注在安全關鍵型應用中應用GNN。因此，開發穩健的算法來防御對抗攻擊具有重要意義。防御對抗攻擊的一個自然想法是清理受干擾的圖。很明顯，真實世界的圖共享一些內在屬性。例如，許多現實世界的圖都是低秩和稀疏的，兩個相鄰節點的特征往往是相似的。事實上，我們發現對抗攻擊很可能會違背這些圖的性質。因此，在本文中，我們利用這些特性來防御針對圖的對抗攻擊。特別是，我們提出了一個通用框架Pro-GNN，該框架可以從受這些特性指導的擾動圖中聯合學習結構圖和魯棒圖神經網絡模型。在真實圖上的大量實驗表明，即使在圖受到嚴重干擾的情況下，我們所提出的框架也比現有的防御方法獲得了顯著更好的性能。我們將Pro-GNN的實現發布到我們的DeepRobust存儲庫，以進行對抗性攻擊和防御。

網址： //arxiv.org/pdf/2005.10203.pdf

代碼鏈接：

2. Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks

作者：Zonghan Wu, Shirui Pan, Guodong Long, Jing Jiang, Xiaojun Chang, Chengqi Zhang

摘要：多變量時間序列的建模長期以來一直吸引著來自經濟、金融和交通等不同領域的研究人員的關注。多變量時間序列預測背后的一個基本假設是其變量之間相互依賴，但現有方法未能充分利用變量對之間的潛在空間相關性。同時，近些年來，圖神經網絡(GNNs)在處理關系依賴方面表現出了很高的能力。GNN需要定義良好的圖結構來進行信息傳播，這意味著它們不能直接應用于事先不知道依賴關系的多變量時間序列。本文提出了一種專門針對多變量時間序列數據設計的通用圖神經網絡框架。該方法通過圖學習模塊自動提取變量間的單向關系，可以方便地集成變量屬性等外部知識。在此基礎上，提出了一種新的max-hop傳播層和一個dilated inception層來捕捉時間序列中的時間和空間依賴關系。圖學習、圖卷積和時間卷積模塊在端到端框架中聯合學習。實驗結果表明，我們提出的模型在4個基準數據集中的3個數據上優于最新的基線方法，并且在提供額外結構信息的兩個交通數據集上，與其他方法具有同等的性能。

網址：

3. Understanding Negative Sampling in Graph Representation Learning

作者：Zhen Yang, Ming Ding, Chang Zhou, Hongxia Yang, Jingren Zhou, Jie Tang

摘要：在最近的幾年中，對圖表示學習進行了廣泛的研究。盡管它有可能為各種網絡生成連續的嵌入，但是在大型節點集中得到有效高質量的表示仍然具有挑戰性。采樣是實現該性能目標的關鍵點。現有技術通常側重于正向節點對的采樣，而對負向采樣的策略探索不夠。為了彌補這一差距，我們從目標和風險兩個角度系統地分析了負采樣的作用，從理論上論證了負采樣在確定優化目標和結果方差方面與正采樣同等重要。據我們所知，我們是第一個推導該理論并量化負采樣分布應與其正采樣分布成正相關但亞線性相關的方法。在該理論的指導下，我們提出了MCNS，用自對比度近似法近似正分布，并通過Metropolis-Hastings加速負采樣。我們在5個數據集上評估了我們的方法，這些數據集涵蓋了19個實驗設置，涵蓋了廣泛的下游圖學習任務，包括鏈接預測，節點分類和個性化推薦。這些相對全面的實驗結果證明了其穩健性和優越性。

網址：

4. M2GRL: A Multi-task Multi-view Graph Representation Learning Framework for Web-scale Recommender Systems

作者：Menghan Wang, Yujie Lin, Guli Lin, Keping Yang, Xiao-ming Wu

摘要：將圖表示學習與多視圖數據(邊信息)相結合進行推薦是工業上的一種趨勢。現有的大多數方法可以歸類為多視圖表示融合，它們首先構建一個圖，然后將多視圖數據集成到圖中每個節點的單個緊湊表示中。這些方法在工程和算法方面都引起了人們的關注：1)多視圖數據在工業中是豐富而且有用的，并且可能超過單個矢量的容量；2)由于多視圖數據往往來自不同的分布，可能會引入歸納偏置（inductive bias）。在本文中，我們使用一種多視圖表示對齊方法來解決這個問題。特別地，我們提出了一個多任務多視角圖表示學習框架(M2GRL)來學習web級推薦系統中的多視角圖節點表示。M2GRL為每個單視圖數據構造一個圖，從多個圖中學習多個單獨的表示，并執行對齊以建立模型的交叉視圖關系。M2GRL選擇了一種多任務學習范式來聯合學習視圖內表示和交叉視圖關系。此外，M2GRL在訓練過程中利用同方差不確定性自適應地調整任務的損失權重。我們在淘寶部署了M2GRL，并對570億個實例進行了訓練。根據離線指標和在線A/B測試，M2GRL的性能明顯優于其他最先進的算法。對淘寶多樣性推薦的進一步研究表明，利用M2GRL產生的多種表征是有效的，對于不同側重點的各種工業推薦任務來說，M2GRL是一個很有前途的方向。

網址：

5. Controllable Multi-Interest Framework for Recommendation

作者：Yukuo Cen, Jianwei Zhang, Xu Zou, Chang Zhou, Hongxia Yang, Jie Tang

摘要：近年來，由于深度學習的快速發展，神經網絡在電子商務推薦系統中得到了廣泛的應用。我們將推薦系統形式化為一個序列推薦問題，目的是預測可能與用戶交互的下一個項目。最近的研究通常從用戶的行為序列中給出一個整體的嵌入。然而，統一的用戶嵌入不能反映用戶在一段時間內的多個興趣。本文提出了一種新穎的可控多興趣序列推薦框架，稱為ComiRec。我們的多興趣模塊從用戶行為序列中捕獲多個興趣，可用于從大規模項目集中檢索候選項目。然后將這些項目送入聚合模塊以獲得總體推薦。聚合模塊利用一個可控因素來平衡推薦的準確性和多樣性。我們在兩個真實的數據集Amazon和Taobao進行序列推薦實驗。實驗結果表明，我們的框架相對于最新模型取得了重大改進。我們的框架也已成功部署在離線阿里巴巴分布式云平臺上。

網址：

代碼鏈接：

【導讀】計算語言學協會（the Association for Computational Linguistics, ACL）年度會議作為頂級的國際會議，在計算語言學和自然語言處理領域一直備受關注。其接收的論文覆蓋了語義分析、文本挖掘、信息抽取、問答系統、機器翻譯、情感分析和意見挖掘等眾多自然語言處理領域的研究方向。今年，第58屆計算語言學協會（the Association for Computational Linguistics, ACL）年度會議將于2020年7月5日至10日在美國華盛頓西雅圖舉行。受COVID-19疫情影響，ACL 2020將全部改為線上舉行。為此，專知小編提前為大家整理了ACL 2020圖神經網絡（GNN）相關論文，讓大家先睹為快——事實驗證、法律文書、謠言檢測、自動摘要、情感分析。

WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、ICML2019GNN

1. Fine-grained Fact Verification with Kernel Graph Attention Network

作者：Zhenghao Liu, Chenyan Xiong, Maosong Sun, Zhiyuan Liu

摘要：事實驗證（Fact V erification）需要細粒度的自然語言推理能力來找到微妙的線索去識別句法和語義上正確但沒有強有力支持的聲明（well-supported claims）。本文提出了基于核方法的圖注意力網絡(KGAT)，該網絡使用基于核的注意力進行更細粒度的事實驗證。給定一個聲明和一組形成證據圖潛在證據的句子，KGAT在圖注意力網絡中引入了可以更好地衡量證據節點重要性的節點核，以及可以在圖中進行細粒度證據傳播的邊緣核，以實現更準確的事實驗證。KGAT達到了70.38%的FEVER得分，在FEVER上大大超過了現有的事實驗證模型（FEVER是事實驗證的大規模基準）。我們的分析表明，與點積注意力相比，基于核的注意力更多地集中在證據圖中的相關證據句子和有意義的線索上，這是KGAT有效性的主要來源。

網址：//arxiv.org/pdf/1910.09796.pdf

2. Distinguish Confusing Law Articles for Legal Judgment Prediction

作者：Nuo Xu, Pinghui Wang, Long Chen, Li Pan, Xiaoyan Wang, Junzhou Zhao

摘要：法律審判預測（LJP）是在給出案件事實描述文本的情況下，自動預測案件判決結果的任務，其在司法協助系統中具有良好的應用前景，為公眾提供方便的服務。實際上，由于適用于類似法律條款的法律案件很容易被誤判，經常會產生混淆的指控。在本文中，我們提出了一個端到端的模型--LADAN來解決LJP的任務。為了解決這一問題，現有的方法嚴重依賴領域專家，這阻礙了它在不同法律制度中的應用。為了區分混淆的指控，我們提出了一種新的圖神經網絡來自動學習混淆法律文章之間的細微差別，并設計了一種新的注意力機制，該機制充分利用學習到的差別從事實描述中提取令人信服的鑒別特征。在真實數據集上進行的實驗證明了我們的LADAN算法的優越性。

網址：

3. GCAN: Graph-aware Co-Attention Networks for Explainable Fake News Detection on Social Media

作者：Yi-Ju Lu, Cheng-Te Li

摘要：本文解決了在更現實的社交媒體場景下的假新聞檢測問題。給定源短文本推文和相應的沒有文本評論的轉發用戶序列，我們的目的是預測源推文是否是假的，并通過突出可疑轉發者的證據和他們關注的詞語來產生解釋。為了實現這一目標，我們提出了一種新的基于神經網絡的模型--圖感知協同注意網絡(GCAN)。在真實推文數據集上進行的廣泛實驗表明，GCAN的平均準確率比最先進的方法高出16%。此外，案例研究還表明，GCAN可以給出合理的解釋。

網址：

4. Heterogeneous Graph Neural Networks for Extractive Document Summarization

作者：Danqing Wang, Pengfei Liu, Yining Zheng, Xipeng Qiu, Xuanjing Huang

摘要：作為提取文檔摘要的關鍵步驟，跨句關系學習已經有了大量的研究方法。一種直觀的方法是將它們放入基于圖的神經網絡中，該網絡具有更復雜的結構來捕獲句間關系。本文提出了一種基于圖的異構神經網絡抽取摘要算法(HeterSUMGraph)，該算法除句子外，還包含不同粒度的語義節點。這些額外的結點起到句子之間的中介作用，豐富了句子之間的關系。此外，通過引入文檔節點，我們的圖結構可以靈活地從單文檔設置自然擴展到多文檔設置。據我們所知，我們是第一個將不同類型的節點引入到基于圖的神經網絡中進行提取文檔摘要的，我們還進行了全面的定性分析，以考察它們的好處。

網址：

代碼鏈接：

5. Relational Graph Attention Network for Aspect-based Sentiment Analysis

作者：Kai Wang, Weizhou Shen, Yunyi Yang, Xiaojun Quan, Rui Wang

摘要：Aspect級的情感分析旨在確定在線評論中對某一特定方面的情感極性。最近的大多數努力采用了基于注意力的神經網絡模型來隱式地將aspect與觀點詞聯系起來。然而，由于語言的復雜性和單句中多個aspect的存在，這些模型往往混淆了它們之間的聯系。在本文中，我們通過對語法信息進行有效的編碼來解決這個問題。首先，我們通過重塑和修剪常規依賴關系樹，定義了一個以目標方面為根的統一的面向aspect的依賴樹結構。然后，我們提出了一種關系圖注意力網絡(R-GAT)來編碼新的樹結構用于情感預測。我們在SemEval 2014和Twitter數據集上進行了廣泛的實驗，實驗結果證實，該方法可以更好地建立aspect和觀點詞之間的聯系，從而顯著提高了圖注意網絡(GAT)的性能。

網址：