亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

【導讀】人工智能頂級會議AAAI2021接收結果已經公布，本次AAAI 2021一共收到9034篇論文提交，其中有效審稿的只有7911篇，最終錄取的數量為1692篇，接收率為21.4%，相比去年的20.6%高0.8%，競爭越來越激烈。近期，所有paper list 放出，小編發現對比學習（Contrastive Learning）相關的投稿paper很多，這塊研究方向這幾年受到了學術界的廣泛關注，并且在CV、NLP等領域也應用頗多。

為此，這期小編為大家奉上AAAI 2021必讀的五篇對比學習相關論文——Aspect檢測、對比生成GCN、自監督對應性學習、梯度正則對比學習、多選視頻問答、

AAAI 2021 Accepted Papers : //aaai.org/Conferences/AAAI-21/wp-content/uploads/2020/12/AAAI-21_Accepted-Paper-List.Main_.Technical.Track_.pdf

ICLR2020CI、ICML2020CI

1. A Simple and Effective Self-Supervised Contrastive Learning Framework for Aspect Detection

作者：Tian Shi, Liuqing Li, Ping Wang, Chandan K. Reddy

摘要：無監督aspect檢測（Unsupervised aspect detection, UAD）的目的是自動提取可解釋的aspect，并從在線評論中識別aspect特定的片段（例如句子）。但是，最近的基于深度學習的主題模型，特別是基于aspect的自動編碼器，遇到了一些問題，例如提取嘈雜的aspect以及將模型發現的aspect映射到感興趣的aspect的情況很差。為了解決這些挑戰，在本文中，我們首先提出一種自監督的對比學習框架和一種基于注意力的模型，該模型具有用于UAD任務的新型平滑自注意（smooth self-attention, SSA）模塊，以便學習aspect和review segments的更好表示。其次，我們引入了高分辨率選擇性映射（high-resolution selective mapping, HRSMap）方法，以將模型發現的aspect有效地分配給感興趣的aspect。我們還建議使用知識蒸餾技術來進一步提高aspect檢測性能。在公開可用的基準用戶評論數據集上，我們的方法優于幾種最近的非監督和弱監督方法。實驗中aspect的解釋結果表明，提取的aspect有意義，覆蓋范圍廣，并且可以輕松映射到感興趣的aspect。消融研究和注意力權重可視化還證明了SSA和知識蒸餾方法的有效性。

網址：

2. Contrastive and Generative Graph Convolutional Networks for Graph-based Semi-Supervised Learning

作者：Sheng Wan, Shirui Pan, Jian Yang, Chen Gong

摘要：基于圖的半監督學習（SSL）旨在通過圖將少量標記數據的標簽轉移到其余大量未標記數據。作為最流行的基于圖的SSL方法之一，最近提出的圖卷積網絡（GCN）通過將神經網絡的聲音表達能力與圖結構相結合而取得了顯著進步。然而，現有的基于圖的方法不能直接解決SSL的核心問題，即缺乏監督，因此它們的性能仍然非常有限。為了解決這個問題，本文提出了一種新穎的基于GCN的SSL算法，通過利用數據相似性和圖結構來豐富監督信號。首先，通過設計一個半監督的對比損失，可以通過最大化相同數據的不同視圖或相同類數據之間的一致性來生成改進的節點表示。因此，豐富的未標記數據和稀缺而有價值的標記數據可以共同提供豐富的監督信息，以學習判別性節點表示形式，有助于改善后續的分類結果。其次，通過使用與輸入特征有關的圖生成損失，將數據特征與輸入圖形拓撲之間的潛在確定性關系提取為SSL的補充監督信號。與其他最新方法相比，在各種實際數據集上進行的大量實驗結果堅定地證明了我們算法的有效性。

網址：

3. Contrastive Transformation for Self-supervised Correspondence Learning

作者：Ning Wang, Wengang Zhou, Houqiang Li

摘要：在本文中，我們專注于使用未標記的視頻來進行視覺對應性自監督學習。我們的方法同時考慮了視頻內和視頻間表示關聯，以進行可靠的對應估計。視頻內學習通過幀對相似性在單個視頻內的各個幀之間轉換圖像內容。為了獲得實例級分離的判別表示，我們在視頻內分析的基礎上，構建了視頻間親和性，以促進跨不同視頻的對比轉換。通過強制視頻內和視頻間級別之間的轉換一致性，可以很好地保留細粒度的對應關系，并有效地增強實例級的特征辨別力。我們的簡單框架優于包括視頻目標跟蹤（VOT），視頻目標分割（VOS），姿勢關鍵點跟蹤等在內的可視任務的自監督通信方法。值得一提的是，與完全監督的親和力表示（例如ResNet）并執行與針對特定任務（例如VOT和VOS）設計的最新有監督算法相比，我們的方法也具有相應的競爭力。

網址：

4. Gradient Regularized Contrastive Learning for Continual Domain Adaptation

作者：Peng Su, Shixiang Tang, Peng Gao, Di Qiu, Ni Zhao, Xiaogang Wang

摘要：人類可以利用學習經驗來快速適應環境變化。但是，適應動態環境的能力較弱仍然是AI模型面臨的主要挑戰。為了更好地理解此問題，我們研究了連續域自適應問題，其中模型帶有標記的源域和一系列未標記的目標域。這個問題有兩個主要障礙：領域轉移和災難性遺忘。在這項工作中，我們提出了梯度正則化對比學習（Gradient Regularized Contrastive Learnin）來解決上述障礙。在我們方法的核心中，梯度正則化扮演兩個關鍵角色：（1）強制進行對比損失的梯度，不增加源域上的監督訓練損失，從而保持學習特征的判別力；（2）規范了新域上的梯度更新，而不會增加舊目標域上的分類損失，這使模型能夠適應傳入的目標域，同時保留先前觀察到的域的性能。因此，我們的方法可以通過標記的源域和未標記的目標域共同學習語義上的區別和領域不變的特征。與最新技術相比，在Digits，DomainNet和Office-Caltech基準測試中的實驗證明了我們方法的強大性能。

網址：

5. Self-supervised Pre-training and Contrastive Representation Learning for Multiple-choice Video QA

作者：Seonhoon Kim, Seohyeong Jeong, Eunbyul Kim, Inho Kang, Nojun Kwak

摘要：視頻問答（Video QA）要求對視頻和語言模態有深入的了解，才能回答給定的問題。在本文中，我們提出了一種新的針對多選視頻問答的訓練方案，該方案以自監督的預訓練階段和主要階段的監督對比學習作為輔助學習。在自監督的預訓練階段，我們將預測正確答案的原始問題格式轉換為預測相關問題的格式，以提供具有更廣泛上下文輸入的模型，而無需任何其他數據集或注釋。為了在主要階段進行對比學習，我們在與真實答案相對應的輸入中添加了掩碼噪聲，并將真實答案的原始輸入視為正樣本，而將其余答案視為負樣本。通過將正樣本映射到更接近被屏蔽的輸入，我們表明模型性能得到了改善。我們進一步采用局部對齊的注意力來更有效地專注于與給定的對應字幕句子特別相關的視頻幀。我們在與多選Video QA相關的基準數據集TVQA，TVQA +和DramaQA上評估了我們提出的模型。實驗結果表明，我們的模型在所有數據集上均達到了最先進的性能。我們還將通過進一步的分析來驗證我們的方法。

網址：

【導讀】機器學習頂會 NeurIPS 2020, 是人工智能領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。據官方統計，今年NeurIPS 2020 共收到論文投稿 9454 篇，接收 1900 篇（其中 oral 論文 105 篇、spotlight 論文 280 篇），論文接收率為 20.1%。NeurIPS 2020已經開完了，小編發現三維點云（3 D Point Cloud）相關的接受paper不少，近幾年點云分析在CV上出現了一系列工作，在NeurIPS上越來越多，也顯示出點云分析這個傳統任務近幾年非常火。

為此，這期小編為大家奉上NeurIPS 2020必讀的五篇三維點云（3 D Point Cloud）相關論文——時空點云表示、組上下文編碼、點云邊緣檢測、GCN局部全局點云表示、自監督少樣本點云學習

NeurIPS 2020 Accepted Papers : //proceedings.neurips.cc/paper/2020

NIPS2020OD、NIPS2020VRL、NIPS2020DA、NIPS2020CI、ICLR2020CI、ICML2020CI

1. CaSPR: Learning Canonical Spatiotemporal Point Cloud Representations

作者：Davis Rempe, Tolga Birdal, Yongheng Zhao, Zan Gojcic, Srinath Sridhar, Leonidas J. Guibas

摘要：我們提出了CaSPR，這是一種學習以目標為中心的動態移動或演化的典型時空點云表示方法。我們處理的目標是隨著時間進行信息聚合，并在過去的任何時空鄰域中查詢目標狀態。與以前的工作不同，CaSPR支持時空連續性的學習表示，對可變和不規則的時空采樣點云具有魯棒性，并且能夠泛化到對不可知的目標實例進行表示。我們的方法將問題分為兩個子任務。首先，我們通過將輸入點云序列映射到時空規范化的目標空間來顯式編碼時間信息。然后，我們利用這種規范化來學習使用神經常微分方程的時空潛在表示，以及使用標準連續化流（continuous normalizing flows）動態生成形狀的生成模型。我們證明了我們的方法在幾種應用中的有效性，包括形狀重建，相機姿態估計，連續時空序列重建以及從不規則或間歇采樣的觀測值進行對應估計。

代碼：

網址：

2. Group Contextual Encoding for 3D Point Clouds

作者：Xu Liu, Chengtao Li, Jian Wang, Jingbo Wang, Boxin Shi, Xiaodong He

摘要：全局上下文對于3D點云場景理解任務至關重要。在這項工作中，我們將最初為2D任務設計的上下文編碼層擴展到3D點云方案。編碼層在3D點云的特征空間中學習一組字典（code words）以表征全局語義上下文，然后基于這些字典，該方法學習全局上下文描述符以相應地對特征圖進行加權。此外，與2D場景相比，數據稀疏性成為3D點云場景中的主要問題，并且隨著字典數量的增加，上下文編碼的性能迅速飽和。為了減輕這個問題，我們進一步提出了一種組上下文（group contextual）編碼方法，該方法將通道劃分為組，然后對組劃分的特征向量執行編碼。此方法有助于學習3D點云的分組子空間中的全局上下文。我們在三個被廣泛研究的3D點云任務上評估了我們方法的有效性和可推廣性。實驗結果表明，當指標為[email protected]時所提出的方法在SUN-RGBD基準上mAP為3，性能明顯優于VoteNet；而在ScanNet上，指標為mAP@0.5時其mAP為6.57 。與PointNet ++的基線相比，該方法的準確率為86％，優于基線的1.5％。

代碼：

網址:

3. PIE-NET: Parametric Inference of Point Cloud Edges

作者：Xiaogang Wang, Yuelang Xu, Kai Xu, Andrea Tagliasacchi, Bin Zhou, Ali Mahdavi-Amiri, Hao Zhang

摘要：我們引入了一種端到端的可學習技術，能夠可靠地識別3D點云數據中的特征邊緣。我們將這些邊緣表示為參數曲線（即線，圓和B樣條曲線）的集合。因此，我們的深度神經網絡（稱為PIE-NET）經過訓練可進行邊的參數推斷。該網絡依賴于候選區域（region proposal）的體系結構，其中第一個模塊先統計proposal邊緣和拐角點的完整集合，第二個模塊對每個proposal進行排名以決定是否應考慮。我們通過消融研究在ABC數據集（最大的CAD模型的公共可用數據集）上訓練和評估我們的方法，并將我們的結果與傳統（非學習）處理通道以及最近基于深度學習的邊緣檢測器（ECNet）所產生的結果進行比較。我們的結果在數量和質量上都大大超過了現有技術，并且很好地推廣到了新穎的形狀類別上。

網址：

4. Rotation-Invariant Local-to-Global Representation Learning for 3D Point Cloud

作者：SEOHYUN KIM, JaeYoo Park, Bohyung Han

摘要：我們提出了一種用于3D點云數據的局部到全局表示學習算法，該算法適合于處理各種幾何變換，尤其是旋轉，而無需針對變換進行顯式的數據增強。我們的模型利用了基于圖卷積神經網絡的多級抽象，它構建了一個描述符層次結構，以自下而上的方式對輸入對象的旋轉不變形狀信息進行編碼。每個級別的描述符都是通過3D點的隨機采樣從圖神經網絡中獲得的，這對于使學習的表示形式對輸入數據的變化具有魯棒性是非常有效。我們提出的算法在旋轉增強型3D對象識別和分割基準測試中展現了最新技術，并通過綜合的ablative實驗進一步分析了其特性。

代碼：

網址：

5. Self-Supervised Few-Shot Learning on Point Clouds

作者：Charu Sharma, Manohar Kaul

摘要：大規模點云的實用性不斷提高，加上它們在機器人技術，形狀合成和自動駕駛等廣泛應用中的實用性，引起了業界和學術界的越來越多的關注。最近，在標記的點云上運行的深度神經網絡已在有監督學習任務（如分類和分割）上顯示出令人鼓舞的結果。然而，有監督學習導致對點云進行標注是一項非常繁瑣的任務。為了解決這個問題，我們提出了兩種新穎的自監督預訓練任務，它們使用cover-tree對點云的分層分區進行編碼，其中，點云子集位于cover-tree的每個層次的半徑不同的球中。此外，我們的自監督學習網絡僅限于在少樣本學習（FSL）設置中用于訓練下游網絡的支持集合上進行預訓練（包含稀缺的訓練示例）。最后，將經過全面訓練的自監督網絡的點嵌入輸入到下游任務的網絡。我們針對下游分類和細分任務對我們的方法進行了全面的經驗評估，結果表明，使用我們的自監督學習方法進行預訓練的監督方法顯著提高了最新方法的準確性。此外，我們的方法在下游分類任務中也優于以前的無監督方法。

網址：

【導讀】機器學習頂會 NeurIPS 2020, 是人工智能領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。據官方統計，今年NeurIPS 2020 共收到論文投稿 9454 篇，接收 1900 篇（其中 oral 論文 105 篇、spotlight 論文 280 篇），論文接收率為 20.1%。NeurIPS 2020已經開完了，小編發現目標檢測（Object Detection）相關的接受paper不少，目標檢測在NeurIPS上越來越多，也顯示出目標檢測這個傳統任務在當前還具有比較鮮活的生命力。

為此，這期小編為大家奉上NeurIPS 2020必讀的七篇目標檢測（Object Detection）相關論文——平均定位和分類Loss、對抗自步學習、細粒度動態、泛化Focal Loss、RelationNet++、少樣本目標檢測、弱監督目標檢測

NeurIPS 2020 Accepted Papers : //proceedings.neurips.cc/paper/2020

NIPS2020VRL、NIPS2020DA、NIPS2020CI、ICLR2020CI、ICML2020CI

1. A Ranking-based, Balanced Loss Function Unifying Classification and Localisation in Object Detection

作者：Kemal Oksuz, Baris Can Cam, Emre Akbas, Sinan Kalkan

摘要：我們提出了一個平均定位召回精度（average Localisation-Recall-Precision, aLRP），這是一種統一，有界，平衡和基于排名的損失函數，用于目標檢測中的分類和定位任務。aLRP擴展了平均召回率（LRP）性能指標，其idea來自于平均精確度（AP）損失如何將精確度擴展到基于排名的損失函數進行分類。aLRP具有以下明顯的優勢：（i）aLRP是分類和定位任務中第一個基于排名的損失函數。（ii）由于對兩個任務都使用了排名，因此aLRP自然可以對高精度分類實施高質量的定位。（iii）aLRP在正負樣本之間提供了可證明的平衡性。（iv）與最先進的檢測器的損失函數中平均具有6個超參數相比，aLRP損失只有一個超參數，我們在實驗中并未對其進行調整。在COCO數據集上，aLRP 損失改進了其基于排名的AP 損失，最多可增加5個AP點，在不增加測試時間的情況下AP可達到48.9，并且優于所有的先進的檢測器。

代碼：

網址：

2. Few-Cost Salient Object Detection with Adversarial-Paced Learning

作者：Dingwen Zhang, HaiBin Tian, Jungong Han

摘要：近年來，從給定圖像場景中檢測和分割顯著目標（salient objects）已引起了極大的關注。訓練現有深度顯著性檢測模型的根本挑戰是需要大量帶標注的數據。盡管收集大量的訓練數據變得既便宜又容易，但是從時間，勞動力和人的專業知識方面來說，對數據進行標注是一個昂貴的過程。為了解決這個問題，本文提出僅在少數訓練圖像上基于人工標注學習有效的顯著性目標檢測模型，從而大大減輕訓練模型中的人工勞動。為此，我們將該任務命名為“成本最低的顯著性目標檢測”，并提出了一種基于對抗性學習（APL）的框架，以加強其學習場景。本質上，APL源自自主學習（self-paced learning, SPL）機制，與學習正則化的啟發式設計不同，它通過數據驅動的對抗性學習機制來推斷強大的學習速度。對四個廣泛使用的基準數據集進行的綜合實驗表明，該方法可以僅用1k人工注釋訓練圖像有效地處理了現有的有監督的深度顯著性目標檢測模型。

代碼：

網址：

3. Fine-Grained Dynamic Head for Object Detection

作者：Lin Song, Yanwei Li, Zhengkai Jiang, Zeming Li, Hongbin Sun, Jian Sun, Nanning Zheng

摘要：特征金字塔網絡（FPN）提出了一種優異的方法，可以通過執行實例級分配來減輕目標表觀中的比例差異。然而，這種策略忽略了實例中不同子區域的獨特特征。為此，我們提出了一種細粒度的動態頭（dynamic head），可以針對每種情況從不同的比例有條件地選擇FPN特征的像素級組合，從而進一步釋放了多比例特征表示的能力。此外，我們設計了具有新激活函數的空間門，以通過空間稀疏卷積顯著降低計算復雜性。大量實驗證明了該方法在幾種最新檢測基準上的有效性和效率。

代碼：

網址：

4. Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Detection

作者：Xiang Li, Wenhai Wang, Lijun Wu, Shuo Chen, Xiaolin Hu, Jun Li, Jinhui Tang, Jian Yang

摘要：一步法（One-stage）檢測器基本上將目標檢測公式化為密集的分類和定位（即邊界框回歸）。通常通過Focal Loss 來優化分類，并且通常在狄拉克（Dirac delta）分布下了解其位置。一步法檢測器的最新趨勢是引入單個預測分支來估計定位質量，其中預測質量有助于分類以提高檢測性能。本文研究了以上三個基本元素的表示形式：質量估計，分類和定位。在現有實踐中發現了兩個問題，包括（1）訓練和推理之間質量估計和分類的用法不一致，以及（2）用于定位的不靈活的狄拉克分布。為了解決這些問題，我們為這些元素設計了新的表示形式。具體來說，我們將質量估計合并到類預測向量中以形成聯合表示，并使用向量表示框位置的任意分布。改進的表示法消除了不一致的風險，并準確地描述了實際數據中的靈活分布，但這些表示中包含連續標簽，這超出了Focal Loss的范圍。然后，我們提出 Generalized Focal Loss（GFL），將Focal Loss從離散形式推廣到連續版本，以實現成功的優化。在COCO測試開發中，GFL使用ResNet-101主干網絡在AP上達到了45.0％，以更高或相當的推理速度超過了最先進的SAPD（43.5％）和A TSS（43.6％）。

網址：

5. RelationNet++: Bridging Visual Representations for Object Detection via Transformer Decoder

作者：Cheng Chi, Fangyun Wei, Han Hu

摘要：現有的目標檢測框架通常建立在目標表示的單一格式上，即RetinaNet和Faster R-CNN中的錨點/建議矩形框，FCOS和RepPoints中的中心點以及CornerNet中的角點。盡管這些不同的表示形式通常會驅動框架在不同方面表現良好，例如更好的分類或更好的定位，但是由于異構或非均一性，通常很難將這些表示形式組合到單個框架中以充分利用每種優勢。本文提出了一種基于注意力的解碼器模塊，與Transformer中的模塊類似，以端到端的方式將其他表示形式橋接到基于單個表示形式格式的典型目標檢測器中。其他表示充當一組key實例，以增強vanilla檢測器中的主要query表示特征。提出了用于有效計算解碼器模塊的新技術，包括key采樣方法和共享位置嵌入方法。我們將提出的模塊稱為橋接視覺表示（bridging visual representations, BVR）。并且我們證明了其在將其他表示形式橋接到流行的目標檢測框架（包括RetinaNet，Faster R-CNN，FCOS和A TSS）中的廣泛有效性，在這些方面在 AP實現了約1.5到3.0 的改進。特別是，我們將具有強大主干的最新框架在AP上改進了約2.0 ，在COCO測試開發中AP達到了52.7 A。我們將生成的網絡名為RelationNet ++。

代碼：

網址：

6. Restoring Negative Information in Few-Shot Object Detection

作者：Yukuan Yang, Fangyun Wei, Miaojing Shi, Guoqi Li

摘要：少樣本學習成為深度學習領域的新挑戰：與訓練帶有大量標記數據的深度神經網絡（DNN）的常規方法不同，它要求在帶有少量標注的新類別上推廣DNN。少樣本學習的最新進展主要集中在圖像分類上，而在本文中，我們著重于目標檢測。少樣本目標檢測的最初探索趨向于通過使用圖像中相對于某些物體類別的正proposals而拋棄該類別的負 proposals來模擬分類場景。負樣本，尤其是難樣本，對于少樣本目標檢測中的嵌入空間學習至關重要。在本文中，我們通過引入一個新的基于負和正表觀的度量學習框架以及具有負和正表觀的新推理方案，來恢復少樣本目標檢測中的負信息。我們基于最近很少使用的pipeline RepMet構建我們的工作，該模型帶有幾個新模塊，可以對負面信息進行編碼，以進行訓練和測試。在ImageNet-LOC和PASCAL VOC上進行的大量實驗表明，我們的方法極大地改進了最新的少樣本目標檢測解決方案。

代碼：

網址：

7. UWSOD: Toward Fully-Supervised-Level Capacity Weakly Supervised Object Detection

作者：Yunhang Shen, Rongrong Ji, Zhiwei Chen, Yongjian Wu, Feiyue Huang

摘要：弱監督目標檢測（WSOD）由于具有極大的靈活性，可以利用僅具有圖像級標注的大規模數據集來進行檢測器訓練，因此受到了廣泛的研究關注。盡管近年來有了很大的進步，但是WSOD的性能仍然受到限制，遠遠低于有監督的目標檢測（FSOD）。由于大多數WSOD方法依賴于object proposal算法來生成候選區域，并且還面臨著諸如質量低下的預測邊界框和大規模變化之類的挑戰。在本文中，我們提出了一個統一的WSOD框架（稱為UWSOD），以構建僅包含圖像級標簽的大容量通用檢測模型，該模型是獨立的，不需要外部模塊或其他監督。為此，我們利用了三個重要的組件，即object proposal生成，邊界框微調和尺度不變特征。首先，我們提出一個基于錨點的自監督的proposa生成器來假設目標位置，該生成器由UWSOD創建的監督進行端到端的訓練，以進行目標分類和回歸。其次，我們通過逐步選擇高可信度object proposal作為正樣本，開發了逐步的邊界框微調，以精煉檢測分數和坐標，從而引導了預測邊界框的質量。第三，我們構造了一個多速率重采樣金字塔以聚合多尺度上下文信息，這是處理WSOD中尺度變化的第一個網絡內特征層次結構。在PASCAL VOC和MS COCO上進行的大量實驗表明，所提出的UWSOD使用最新的WSOD方法可獲得競爭性結果，而無需外部模塊或額外的監督。此外，具有類不可知的ground-truth邊界框的UWSOD的上限性能接近Faster R-CNN，這表明UWSOD具有完全受監督級別的能力。

代碼：

網址：

【導讀】機器學習頂會 NeurIPS 2020, 是人工智能領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。據官方統計，今年NeurIPS 2020 共收到論文投稿 9454 篇，接收 1900 篇（其中 oral 論文 105 篇、spotlight 論文 280 篇），論文接收率為 20.1%。NeurIPS 2020已經開完會，小編發現元學習（Meta Learning）相關的接受paper不少，元學習在CV、NLP等各個領域的應用也比較火熱，值得研究者們細心學習。

為此，這期小編為大家奉上NeurIPS 2020必讀的五篇元學習（Meta Learning）相關論文——少樣本視覺推理、持續元學習、異構元學習、元強化學習、元變換網絡學習

NeurIPS 2020 Accepted Papers : //proceedings.neurips.cc/paper/2020

NIPS2020VRL、NIPS2020DA、NIPS2020CI、ICLR2020CI、ICML2020CI

1. Few-shot Visual Reasoning with Meta-analogical Contrastive Learning

作者：Youngsung Kim, Jinwoo Shin, Eunho Yang, Sung Ju Hwang

摘要：盡管人類可以通過僅觀察幾個樣本來解決需要邏輯推理的視覺難題，但它需要對大量樣本進行訓練，以使用最新的深度推理模型來在同一任務上獲得相似的性能。在這項工作中，我們提出通過類比推理來解決這樣的少樣本抽象視覺推理問題，并且這是人類具有的識別兩組數據之間結構或關系相似性的獨特能力。具體來說，我們構造了兩個不同問題實例的類比和非模擬訓練對。后者是通過對原始問題（以前的問題）進行擾動或改組來創建的。然后，我們通過強制類比元素盡可能相似，同時最小化非類比元素之間的相似性，來提取成對的兩個域中元素之間的結構關系。這種類比性的對比學習可以有效地學習給定抽象推理任務的關系表示。我們在RAVEN數據集上驗證了我們的方法，該方法的性能優于最新方法，并且在缺乏訓練數據時獲得了更大的收益。我們進一步對具有不同屬性的相同任務對我們的對比學習模型進行元學習，并表明它可以推廣到具有未知屬性的相同視覺推理問題。

網址：

2. La-MAML: Look-ahead Meta Learning for Continual Learning

作者：Gunshi Gupta, Karmesh Yadav, Liam Paull

摘要：持續學習（continual learning）問題涉及訓練模型，然而這些模型的能力有限，無法在一組順序到達的未知數量的任務上表現良好。雖然元學習在減少新舊任務之間的干擾方面顯示出巨大的潛力，但當前的訓練過程往往很慢或離線，并且對許多超參數敏感。在這項工作中，我們提出了Look-ahead MAML（La-MAML），這是一種基于快速優化的元學習算法，用于在線持續學習，并有帶少量的情節記憶。在元學習更新中對每個參數的學習率進行調制，使我們能夠與以前有關超梯度和元下降的工作建立聯系。與傳統的基于先驗的方法相比，該方法提供了一種更靈活，更有效的方法來減輕災難性遺忘問題。La-MAML的性能優于其他基replay，基于先驗和基于元學習的方法，并且可在現實世界中的視覺分類基準上持續學習。

網址：

3. Meta-learning from Tasks with Heterogeneous Attribute Spaces

作者：Tomoharu Iwata, Atsutoshi Kumagai

摘要：我們提出了一種異構元學習方法，該方法在具有各種屬性空間的任務上訓練模型，從而可以解決在給定標記實例的情況下屬性空間與訓練任務不同的未知任務（unseen tasks）。盡管已經提出了許多元學習方法，但是它們假定所有訓練任務和目標任務共享相同的屬性空間，并且當任務之間的屬性大小不同時，它們將不適用。我們的模型使用推理網絡從幾個標記實例中推斷每個屬性和每個響應的潛在表示。然后，使用預測網絡推斷的表示來預測未標記實例的響應。即使屬性和響應的大小在各個任務之間都不同，屬性和響應表示也使我們能夠基于屬性和響應的特定于任務的屬性進行預測。在我們使用合成數據集和OpenML中的59個數據集進行的實驗中，我們證明了在使用具有異構屬性空間的任務訓練后，我們提出的方法可以預測新任務中給定標記實例的響應。

網址：

4. Model-based Adversarial Meta-Reinforcement Learning

作者：Zichuan Lin, Garrett Thomas, Guangwen Yang, Tengyu Ma

摘要：元強化學習（meta-RL）旨在從多個訓練任務中有效地學習適應不可知測試任務的能力。盡管取得了成功，但已知現有的meta-RL算法對任務分配的變化很敏感。當測試任務分配與訓練任務分配不同時，性能可能會大大降低。為了解決這個問題，本文提出了基于模型的對抗性元強化學習（AdMRL），旨在最大程度地降低最差情況的次優差距（最優回報與算法在自適應后獲得的回報之間的差異），并使用基于模型的方法來處理一系列任務中的所有任務。我們提出了一個極小極大目標，并通過在學習固定任務的動力學模型與尋找當前模型的對抗任務（在該任務中，模型誘導的策略最大程度次優）之間交替進行優化。假設任務已參數化，我們通過隱函數定理推導了次最優性相對于任務參數的梯度公式，并展示了如何通過共軛梯度法和新穎的方法有效地實現梯度估計器--REINFORCE估算器。我們在幾個連續的控制基準上評估了我們的方法，并證明了它在所有任務的最壞情況下的性能，對分發任務的概括能力以及在訓練和測試時間樣本效率方面相對于現有技術的有效性。

網址：

5. Node Classification on Graphs with Few-Shot Novel Labels via Meta Transformed Network Embedding

作者：Lin Lan, Pinghui Wang, Xuefeng Du, Kaikai Song, Jing Tao, Xiaohong Guan

摘要：我們研究了具有少量新穎標簽的圖節點分類問題，它具有兩個獨特的特性：（1）圖中出現了新穎標簽；（2）新穎標簽僅具有幾個用于訓練分類器的代表性節點。對這個問題的研究具有指導意義，并且與許多應用相對應，例如對在線社交網絡中只有幾個用戶的新組建的推薦。為了解決這個問題，我們提出了一種新穎的元變換網絡嵌入框架（MetaTNE），該框架由三個模塊組成：（1）一個結構模塊根據圖結構為每個節點提供潛在的表示。（2）元學習模塊以元學習的方式捕獲圖結構和節點標簽之間的關系作為先驗知識。此外，我們引入了一種嵌入轉換函數，以彌補元學習直接使用的不足。從本質上講，可以將元學習的先驗知識用于促進少樣本新穎標簽的學習。（3）優化模塊采用簡單而有效的調度策略來訓練上述兩個模塊，并在圖結構學習和元學習之間取得平衡。在四個真實數據集上進行的實驗表明，MetaTNE相對于最新方法具有巨大的改進。

網址：

【導讀】機器學習頂會 NeurIPS 2020, 是人工智能領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。據官方統計，今年NeurIPS 2020 共收到論文投稿 9454 篇，接收 1900 篇（其中 oral 論文 105 篇、spotlight 論文 280 篇），論文接收率為 20.1%。近期，所有paper list 放出，小編發現因果推理（Causal Inference）相關的接受paper很多，這塊研究方向這幾年受到了學術界的廣泛關注，并且在CV、NLP等領域也開始應用起來。

為此，這期小編為大家奉上NeurIPS 2020必讀的六篇因果推理（Causal Inference）相關論文——Covid-19傳播因果分析、反事實概率方法、因果圖發現、因果模仿學習、弱監督語義分割、不確定性因果效應

NeurIPS 2020 Accepted Papers : //neurips.cc/Conferences/2020/AcceptedPapersInitial

ICLR2020CI、ICML2020CI

1. Causal analysis of Covid-19 spread in Germany

作者：Atalanti A. Mastakouri, Bernhard Sch?lkopf

摘要：在這項工作中，我們研究了自大流行開始以來，德國各地區在Covid-19傳播方面的因果關系，并考慮了不同聯邦州實施的限制政策。本文提出并證明了時間序列數據因果特征選擇方法的新定理，該定理對潛在混雜因素具有魯棒性，并將其應用于Covid-19病例編號。我們報告了病毒在德國傳播的發現和限制措施的因果影響，討論了各種政策在控制傳播中的作用。由于我們的結果是基于相當有限的目標時間序列(僅是報告的病例數)，因此在解釋它們時應謹慎行事。然而，我們發現如此有限的數據似乎包含了因果信號。這表明，隨著獲得更多數據，我們的因果方法可能有助于對影響Covid-19發展的政治干預措施進行有意義的因果分析，從而也有助于制定合理的、以數據為驅動的方法來選擇干預措施。

網址：

2. Algorithmic recourse under imperfect causal knowledge: a probabilistic approach

作者：Amir-Hossein Karimi, Julius von Kügelgen, Bernhard Sch?lkopf, Isabel Valera

摘要：最近的工作已經討論了反事實解釋（counterfactual explanations）的局限性，以為算法追索權（algorithmic recourse）推薦行動，并認為需要考慮特征之間的因果關系。但是，在實踐中，真正的潛在結構因果模型通常是未知的。在這項工作中，我們首先表明，它是不可能保證追索權（recourse）沒有獲得真正的結構方程。為了解決這一局限性，我們提出了兩種概率方法來選擇在有限的因果知識(例如：僅因果圖)下以高概率實現追索的最優行動。第一個模型捕捉了加高斯噪聲下結構方程的不確定性，并使用貝葉斯模型平均估計反事實分布。第二種方法通過計算追索權行為對類似于尋求追索權的平均影響，消除了結構方程上的任何假設，從而產生了一種基于亞群體的新型干預（subpopulation-based interventional notion）追索權概念。然后我們推導了一個基于梯度的程序來選擇最優的追索權行動，并且經驗地表明，在不完全因果知識下，所提出的方法比非概率基線下的建議更可靠。

網址：

3. CASTLE: Regularization via Auxiliary Causal Graph Discovery

作者：Trent Kyono, Yao Zhang, Mihaela van der Schaar

摘要：正則化改進了監督模型對樣本外數據的泛化。先前的研究表明，在因果方向(由原因產生的結果)上的預測比在反因果方向上的預測能產生更低的測試誤差。然而，現有的正則化方法不知道因果關系。我們引入因果結構學習(CASTLE)正則化，并提出通過共同學習變量之間的因果關系來對神經網絡進行正則化。CASTLE學習了因果有向無環圖(DAG)作為嵌入在神經網絡輸入層的鄰接矩陣，從而促進了最佳預測器的發現。此外，CASTLE只有效地重構具有因果鄰接的因果DAG中的特征，而基于重構的正則化器則次最優地重構所有輸入特征。我們為這個方法提供了一個理論泛化邊界，并在大量合成和真實的公開數據集上進行實驗，證明與其他流行的基準規則相比CASTLE始終導致更好的樣本外預測。

網址：

4. Causal Imitation Learning with Unobserved Confounders

作者：Junzhe Zhang, Daniel Kumor, Elias Bareinboim

摘要：兒童學習的一種常見方式就是模仿成年人。模仿學習的重點是學習策略與適當的表現，該策略具有由專家產生的演示的適當性能，并具有未指定的性能度量和未觀察到的獎勵信號。模仿學習的流行方法首先是直接模仿專家的行為策略(行為克隆)，或者學習優先觀察專家軌跡的獎勵函數(逆強化學習)。然而，這些方法依賴于這樣一種假設，即專家用來確定其行動的協變量得到了充分觀察。在本文中，我們放松這一假設，在學習者和專家的感官輸入不同的情況下研究模仿學習。首先，我們提供了一個完整的(既必要又充分的)非參數的圖形標準，用于確定模仿的可行性，該標準由有關潛在環境的示范數據和定性假設的組合，以因果模型的形式表示。然后我們表明，當這樣一個標準不成立時，模仿仍然可以利用專家軌跡的定量知識。最后，我們開發了一個從專家軌跡學習模仿政策的有效程序。

網址：

5. Causal Intervention for Weakly-Supervised Semantic Segmentation

作者：Dong Zhang, Hanwang Zhang, Jinhui Tang, Xiansheng Hua, Qianru Sun

摘要：我們提出了一個因果推理框架來改進弱監督語義分割。具體來說，我們的目標是通過僅使用圖像級標簽(WSSS中最關鍵的一步)來生成更好的像素級偽圖像。我們將偽掩碼（pseudo-masks）的邊界不明確的原因歸因于混淆的上下文。例如，“馬”和“人”的正確圖像級別分類可能不僅是由于每個實例的識別，還包括它們的共同作用,而且在他們共現的背景下,使模型檢驗（如：CAM）難以區分界限。受此啟發，我們提出一個結構因果模型來分析圖像、上下文和類別標簽之間的因果關系。在此基礎上，我們提出了一種新的方法:上下文調整(CONTA)，以消除圖像級分類中的混淆偏差，從而為后續的分割模型提供更好的偽掩碼（pseudo-masks）作為ground-truth。在PASCAL VOC 2012和MS-COCO上，我們展示了CONTA將各種流行的WSSS方法提升到新的狀態。

代碼：

網址：

6. Identifying Causal-Effect Inference Failure with Uncertainty-Aware Models

作者：Andrew Jesson, S?ren Mindermann, Uri Shalit, Yarin Gal

摘要：為個人推薦最佳的行動是個人級別因果效應估計的主要應用。在諸如醫療保健等對安全至關重要的領域中，經常需要此應用程序，在這些領域中，對不確定性進行評估并與決策者進行交流至關重要。我們介紹了一種實用的方法，將不確定性估計集成到一類先進的神經網絡方法用于個體水平的因果估計。我們的方法使我們能夠優雅地處理高維數據中常見的“無重疊”情況，在這種情況下，因果效應方法的標準應用失敗了。此外，我們的方法允許我們處理協變量變換，即訓練和測試分布不同的情況，這在系統實際部署時很常見。我們表明，當這種協變量變化發生時，正確的建模不確定性可以防止我們給出過度自信和潛在的有害建議。我們用一系列最先進的模型來演示我們的方法。在協變量轉移和缺乏重疊的情況下，我們的 uncertainty-equipped方法可以在預測不可信時向決策者發出警告，同時性能優于使用傾向評分來識別缺乏重疊的標準方法。

網址：

【導讀】機器學習頂會 NeurIPS 2020, 是人工智能領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。據官方統計，今年NeurIPS 2020 共收到論文投稿 9454 篇，接收 1900 篇（其中 oral 論文 105 篇、spotlight 論文 280 篇），論文接收率為 20.1%。近期，所有paper list 放出，小編發現**對比學習（Contrastive Learning）**相關的投稿paper很多，這塊研究方向這幾年受到了學術界的廣泛關注，并且在CV、NLP等領域也應用頗多。

為此，這期小編為大家奉上NeurIPS 2020必讀的七篇對比學習相關論文——對抗自監督對比學習、局部對比學習、難樣本對比學習、多標簽對比預測編碼、自步對比學習、有監督對比學習

NeurIPS 2020 Accepted Papers://neurips.cc/Conferences/2020/AcceptedPapersInitial

1. Adversarial Self-Supervised Contrastive Learning

作者： Minseon Kim, Jihoon Tack, Sung Ju Hwang

摘要： 現有的對抗性學習方法大多使用類別標簽來生成導致錯誤預測的對抗性樣本，然后使用這些樣本來增強模型的訓練，以提高魯棒性。雖然最近的一些工作提出了利用未標記數據的半監督對抗性學習方法，但它們仍然需要類別標簽。然而，我們真的需要類別標簽來進行反向的深度神經網絡的健壯訓練嗎？本文提出了一種新的針對未標記數據的對抗性攻擊，使得該模型混淆了擾動數據樣本的實例級身份。此外，我們還提出了一種自監督對比學習（Contrastive Learning）框架來對抗性地訓練未標記數據的魯棒神經網絡，其目的是最大化數據樣本的隨機擴充與其實例對抗性擾動之間的相似度。我們在多個基準數據集上驗證了我們的方法-魯棒對比學習（RoCL），在這些數據集上，它獲得了與最新的有監督對抗性學習方法相當的魯棒準確率，并且顯著地提高了對黑盒和不可見類型攻擊的魯棒性。此外，與單獨使用自監督學習相比，RoCL進一步結合有監督對抗性損失進行聯合微調，獲得了更高的魯棒精度。值得注意的是，RoCL在穩健的遷移學習方面也顯示出令人印象深刻的結果。

網址：

2. Contrastive learning of global and local features for medical image segmentation with limited annotations

作者： Krishna Chaitanya, Ertunc Erdil, Neerav Karani, Ender Konukoglu

摘要： 有監督深度學習成功的一個關鍵要求是一個大的標記數據集——這是醫學圖像分析中難以滿足的條件。自監督學習（SSL）可以在這方面提供幫助，因為它提供了一種用未標記的數據預訓練神經網絡的策略，然后用有限的樣本標注對下游任務進行微調。對比學習是SSL的一種特殊變體，是一種學習圖像級表征的強大技術。在這項工作中，我們提出了一種策略，通過利用領域內一些特點，在標注有限的半監督場景下來擴展volumetric 醫療圖像分割的對比學習框架。具體地，我們提出了：（1）新穎的對比策略，它利用volumetric 醫學圖像之間的結構相似性（領域特定線索）；（2）對比損失的局部信息來學習對每個像素分割有用的局部區域的獨特表示（問題特定線索）。我們在三個磁共振成像（MRI）數據集上進行了廣泛的評估。在有限的標注環境下，與其他的自監督和半監督學習技術相比，本文提出的方法有了很大的改進。當與簡單的數據增強技術相結合時，該方法僅使用兩個標記的MRI體積用于訓練，達到基準性能的8%以內，相當于用于訓練基準的訓練數據ACDC的4%。

網址：

3. LoCo: Local Contrastive Representation Learning

作者： Yuwen Xiong, Mengye Ren, Raquel Urtasun

摘要： 深度神經網絡通常執行端到端反向傳播來學習權重，該過程在跨層的權重更新步驟中創建同步約束（synchronization constraints），并且這種約束在生物學上是不可信的。無監督對比表示學習的最新進展指出一個問題，即學習算法是否也可以是局部的，即下層的更新不直接依賴于上層的計算。雖然Greedy InfoMax分別學習每個塊的局部目標，但我們發現，在最新的無監督對比學習算法中，可能是由于貪婪的目標以及梯度隔離，會一直損害readout的準確性。在這項工作中，我們發現，通過重疊局部塊堆疊在一起，我們有效地增加了解碼器的深度，并允許較高的塊隱式地向較低的塊發送反饋。這種簡單的設計首次縮小了局部學習算法和端到端對比學習算法之間的性能差距。除了標準的ImageNet實驗，我們還展示了復雜下游任務的結果，例如直接使用readout功能進行對象檢測和實例分割。

網址：

4. Hard Negative Mixing for Contrastive Learning

作者： Yannis Kalantidis, Mert Bulent Sariyildiz, Noe Pion, Philippe Weinzaepfel, Diane Larlus

摘要： 對比學習已成為計算機視覺中自監督學習方法的重要組成部分。通過學習將同一圖像的兩個增強版本相互靠近地圖像嵌入，并將不同圖像的嵌入分開，可以訓練高度可遷移的視覺表示。最近的研究表明，大量的數據增強和大量的負樣本集對于學習這樣的表征都是至關重要的。同時，無論是在圖像層面還是在特征層面，數據混合策略都通過合成新的示例來改進監督和半監督學習，迫使網絡學習更健壯的特征。在這篇文章中，我們認為對比學習的一個重要方面，即hard negatives的影響，到目前為止被忽視了。為了獲得更有意義的負樣本，目前最流行的對比自監督學習方法要么大幅增加batch sizes大小，要么保留非常大的內存庫；然而，增加內存需求會導致性能回報遞減。因此，我們從更深入地研究一個表現最好的框架開始，并展示出證據，為了促進更好、更快的學習，需要更難的難樣本（harder negatives）。基于這些觀察結果，并受到數據混合策略成功的激勵，我們提出了特征級別的難例混合策略，該策略可以用最小的計算開銷在運行中進行計算。我們在線性分類、目標檢測和實例分割方面對我們的方法進行了詳盡的改進，并表明使用我們的難例混合過程提高了通過最先進的自監督學習方法學習的視覺表示的質量。

代碼：

網址：

5. Multi-label Contrastive Predictive Coding

作者： Jiaming Song, Stefano Ermon

摘要： 變量互信息（mutual information, MI）估計器廣泛應用于對比預測編碼（CPC）等無監督表示學習方法中。MI的下界可以從多類分類問題中得到，其中critic試圖區分從潛在聯合分布中提取的正樣本和從合適的建議分布中提取的（m?1）個負樣本。使用這種方法，MI估計值超過log m，因此有效下界可能會嚴重低估，除非m非常大。為了克服這一局限性，我們引入了一種新的基于多標簽分類問題的估計器，其中critic需要同時聯合識別多個正樣本。我們證明了在使用相同數量的負樣本的情況下，多標簽CPC能夠超過log m界，同時仍然是互信息的有效下界。我們證明了所提出的方法能夠帶來更好的互信息估計，在無監督表示學習中獲得經驗上的改進，并且在13個任務中超過了最先進的10個知識提取方法。

網址：

6. Self-paced Contrastive Learning with Hybrid Memory for Domain Adaptive Object Re-ID

作者： Yixiao Ge, Feng Zhu, Dapeng Chen, Rui Zhao, Hongsheng Li

摘要： 域自適應目標Re-ID旨在將學習到的知識從已標記的源域轉移到未標記的目標域，以解決開放類（open-class）的重識別問題。雖然現有的基于偽標簽的方法已經取得了很大的成功，但是由于域的鴻溝和聚類性能的不理想，它們并沒有充分利用所有有價值的信息。為了解決這些問題，我們提出了一種新的具有混合記憶的自適應對比學習框架。混合存儲器動態地生成用于學習特征表示的源域類級、目標域簇級和未聚類實例級監督信號。與傳統的對比學習策略不同，該框架聯合區分了源域類、目標域簇和未聚類實例。最重要的是，所提出的自適應方法逐漸產生更可靠的簇來提煉混合記憶和學習目標，這被證明是我們方法的關鍵。我們的方法在目標 Re-ID的多域適配任務上的性能優于現有技術，甚至在源域上不需要任何額外的標注就能提高性能。在Market1501和MSMT17數據上，我們的無監督目標Re-ID的通用版本分別比最先進的算法高出16.7%和7.9%。

代碼：

網址：

7. Supervised Contrastive Learning

作者： Prannay Khosla, Piotr Teterwak, Chen Wang, Aaron Sarna, Yonglong Tian, Phillip Isola, Aaron Maschinot, Ce Liu, Dilip Krishnan

摘要： 交叉熵是圖像分類模型監督訓練中應用最廣泛的損失函數。在本文中，我們提出了一種新的訓練方法，該方法在不同的體系結構和數據增強的監督學習任務中始終優于交叉熵。我們修正了批量對比損失，它最近被證明在自監督環境下學習強大的表示是非常有效的。因此，我們能夠比交叉熵更有效地利用標簽信息。屬于同一類的點簇在嵌入空間中被拉在一起，同時推開來自不同類的樣本簇。除此之外，我們還利用了大的batch sizes和標準化嵌入等關鍵因素，這些因素已被證明有利于自監督學習。在ResNet-50和ResNet-200上，我們的性能都比交叉熵高出1%以上，在使用 AutoAugment數據增強的方法中創造了78.8%的新技術水平。在校準和準確度方面，這一損失也顯示出在標準基準上對自然損壞的穩健性有明顯的好處。與交叉熵相比，我們的監督對比損失對諸如優化器或數據增強等超參數設置更穩定。

網址：

【導讀】ICML(International Conference on Machine Learning)，即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會已于2020年7月13日至18日在線上舉行。據官方統計，ICML 2020共提交4990篇論文，接收論文1088篇，接收率為21.8%。與往年相比，接收率逐年走低。小編發現基于域自適應（Domain Adaptation）相關的paper也不少，域自適應及其在不同方式的轉換和應用等等都是這幾年比較火的topic，受到了很多人的關注。

為此，這期小編繼續為大家奉上ICML 2020必讀的六篇域自適應（Domain Adaptation）相關論文——連續域自適應、多源域自適應、無監督域自適應、少樣本域自適應、開放集域自適應

ICML 2020 Accepted Paper: //proceedings.icml.cc/book/2020

ICML2020ML、ICML2020CL、ICML2020CI、ICML2020GNN_Part2、ICML2020GNN_Part1

1、Continuously Indexed Domain Adaptation

作者：Hao Wang, Hao He, Dina Katabi

摘要：現有的域自適應集中于在具有分類索引的領域之間（例如，在數據集A和B之間）傳遞知識。然而，許多任務涉及連續索引的域。例如，在醫療應用中，人們經常需要在不同年齡的患者之間進行疾病分析和預測，而年齡是連續領域的指標。這樣的任務對于現有的域自適應方法是有挑戰性的，因為它們忽略了領域之間的潛在關系。在本文中，我們第一個提出了連續索引域自適應的方法。該方法將傳統的對抗性適應與新穎的鑒別器相結合，該鑒別器對編碼條件下的域索引分布進行建模。我們的理論分析證明了利用域索引在連續域范圍內生成不變特征的意義。我們的實驗結果表明，我們的方法在綜合醫學數據集和實際醫學數據集上均優于最先進的域自適應方法。

代碼鏈接：

網址：

2、Domain Aggregation Networks for Multi-Source Domain Adaptation

作者：Junfeng Wen, Russell Greiner, Dale Schuurmans

摘要：在許多實際應用中，我們希望利用多個源數據集為不同但相關的目標數據集建立模型。盡管最近在經驗上取得了成功，但大多數現有的研究都是采用特別的方法來組合多種來源，從而導致理論與實踐之間的差距。本文提出了一種基于域差異的有限樣本泛化邊界，并據此提出了一種理論上合理的優化方法。我們的算法，Domain AggRegation Network（DARN），能夠自動、動態地平衡包含更多數據以增加有效樣本量和排除無關數據以避免訓練過程中的負面影響。我們發現，DARN在多個實際任務（包括數字/對象識別和情感分析）上性能明顯優于現有的最新技術。

網址：

3、Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation

作者：Jian Liang, Dapeng Hu, Jiashi Feng

摘要：無監督域自適應（UDA）的目的是利用從標記的源數據集中學習的知識來解決新的未標記域中的相似任務。以前的UDA方法通常需要在學習適應模型時訪問源數據，這使得它們對于分散的私有數據來說風險很大，效率低下。這項工作解決了一個只有經過訓練的源模型可用的新環境，并研究了如何在沒有源數據的情況下有效地利用這種模型來解決UDA問題。我們提出了一個簡單而通用的表示學習框架，稱為源假設遷移（SHOT）。SHOT凍結了源模型的分類器模塊（假設），通過利用信息最大化和自監督偽標記將目標域的表示隱式地與源假設對齊，從而學習了特定于目標的特征提取模塊。為了驗證它的通用性，我們對SHOT在各種適應情況下進行了評估，包括閉集、部分集和開集域適配。實驗表明，SHOT在多個域自適應基準中產生了最先進的結果。

代碼鏈接：

網址：

4、Few-shot Domain Adaptation by Causal Mechanism Transfer

作者：Takeshi Teshima, Issei Sato, Masashi Sugiyama

摘要：我們研究將少樣本自監督域自適應方法應用于回歸類問題，其中只有少量的已標記的目標域數據和大量的已標記源域數據可用。目前的許多域適應方法的轉移條件都是基于參數化分布偏移或明顯的分布相似性，例如相同的條件或很小的分布差異。然而，這些假設排除了在復雜的遷移環境或者明顯不同的分布中適應的可能性。為了克服這個問題，我們提出了機制遷移（mechanism transfer），這是一種元分布場景，其中數據生成機制在域之間是不變的。這種遷移假設可以適應非參數化偏移所導致的明顯的分布差異，同時也為域自適應學習提供一個堅實的統計基礎。本文以因果模型中的結構方程為例，提出了一種新的域自適應學習方法，該方法在理論和實驗上都表明了良好的可用性。我們提出的方法可以看做是第一次嘗試利用結構因果模型來進行域自適應學習。

代碼鏈接:

網址：

5、Margin-aware Adversarial Domain Adaptation with Optimal Transport

作者：Sofien Dhouib, Ievgen Redko, Carole Lartizien

摘要：本文對于無監督域適應學習提出了一種新的理論分析方法，涉及大邊際分離，對抗性學習和最優傳輸。我們提出這種分析方法一般化了之前通過對目標邊界違規率進行限定的工作，結果表明出對目標域類別進行分離質量控制優于對誤分類率進行限定。該邊界還強調了源域上的邊際分離對自適應的好處，并引入了基于最優傳輸（OT）的域間距離，該距離與其他方法不同之處在于其依賴于具體的任務。從目前所獲得的結果看，我們得到了一個新的域自適應解決方案，該方案引入了一種新的基于淺OT的對抗方法，并且在一些現實世界中的分類任務上優于其他域自適應方法。

代碼鏈接：

網址：

6、Progressive Graph Learning for Open-Set Domain Adaptation

作者：Yadan Luo, Zijian Wang, Zi Huang, Mahsa Baktashmotlagh

摘要：域偏移是計算機視覺識別中的一個基本問題，通常在源數據和目標數據遵循不同的分布時出現。現有的域適應方法都是在閉集環境下工作的，即假設源數據和目標數據共享完全相同的對象。在這篇論文中，我們解決了一個開放域在遷移時所面臨的現實問題：目標域中所包含的一些樣本類別在源域中并不存在。具體來說，本文提出了一種端到端的漸進式（PGL）學習框架，該框架集成了一個已訓練過的圖神經網絡來抑制潛在的條件轉移，并采用對抗性學習來縮小源域和目標域之間的分布差異。與目前的開放域自適應方法相比，我們的方法能夠保證更加接近目標誤差的上限。在三個公共基準數據集上的大量實驗證明，我們的方法在開放域適應方面的性能明顯優于目前的其他方法。

網址：

【導讀】ICML(International Conference on Machine Learning)，即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會已于2020年7月13日至18日在線上舉行。據官方統計，ICML 2020共提交4990篇論文，接收論文1088篇，接收率為21.8%。與往年相比，接收率逐年走低。小編發現基于元學習（Meta Learning）相關的paper也不少，元學習及其在不同場景的應用等等都是今年比較火的topic，受到了很多人的關注。

為此，這期小編繼續為大家奉上ICML 2020必讀的六篇元學習（Meta Learning）相關論文——少樣本關系抽取、元遷移學習、MAML 強化學習、Batch Normalization、特征可解釋

ICML 2020 Accepted Paper: //proceedings.icml.cc/book/2020

ICML2020CL、ICML2020CI、ICML2020GNN_Part2、ICML2020GNN_Part1

1、Few-shot Relation Extraction via Bayesian Meta-learning on Relation Graphs

作者：Meng Qu, Tianyu Gao, Louis-Pascal A. C. Xhonneux, Jian Tang

摘要：本文研究的少樣本關系抽取，其目的是通過對句子中的一對實體進行訓練，并在每個關系中添加少量的標注示例來預測其關系。為了更有效地推廣到新的關系，本文研究了不同關系之間的關系，并提出利用全局關系圖。我們提出了一種新的貝葉斯元學習方法來有效地學習關系原型向量（prototype vectors）的后驗分布，其中原型向量的初始先驗是通過全局關系圖上的圖神經網絡來參數化得到的。此外，為了有效地優化原型向量的后驗分布，我們提出使用與MAML算法相關但能夠處理原型向量不確定性的隨機梯度Langevin 動力學。整個框架可以以端到端的方式進行高效的優化。在兩個基準數據集上的實驗證明了我們提出的方法在少樣本和零樣本設置下相對于具有競爭性的基準模型的有效性。

網址：

2、Learning Attentive Meta-Transfer

作者：Jaesik Y oon, Gautam Singh, Sungjin Ahn

摘要：當任務隨時間變化時，元遷移學習（meta-transfer learning）試圖通過元學習和遷移學習來提高學習新任務的效率。雖然標準的注意力（attention）在各種環境中都是有效的，但由于正在學習的任務是動態的，上下文的數量可以大大減少，因此但我們質疑它在改善元遷移學習方面的有效性。在本文中，利用最近提出的元遷移學習模型--Sequential Neural Processes(SNP)，我們首先從經驗上證明，在神經過程（ Neural Processes）的推斷函數中觀察到了類似的欠擬合問題。然而，我們進一步證明，與元學習環境不同，標準注意機制在元遷移環境中并不有效。為了解決這一問題，我們提出了一種新的注意機制--遞歸記憶重建(Recurrent Memory Reconstructionm, RMR)，并證明了提供一個不斷更新和重建且具有交互作用的虛構情境對于實現有效的元遷移學習注意力至關重要。此外，將RMR引入到SNP中，我們提出了注意序列神經過程RMR(ASNP-RMR)，并在各種任務中證明了ASNP-RMR的性能明顯優于基線模型。

網址：

3、Meta-learning with Stochastic Linear Bandits

作者：Leonardo Cella, Alessandro Lazaric, Massimiliano Pontil

摘要：我們研究了隨機線性bandits任務背景下的元學習過程。我們的目標是選擇一種學習算法，該算法在從任務分布中抽樣的一類bandits任務中平均表現良好。受最近關于學習到學習線性回歸的工作的啟發，我們考慮了一類bandits算法，它實現了著名的OFUL算法的正則化版本，其中正則化是到偏差向量的歐幾里得距離的平方。我們首先從遺憾最小化（regret minimization）的角度研究了有偏差的OFUL算法的好處。然后，我們提出了兩種策略來估計學習到學習環境中的偏差。理論和實驗都表明，當任務數量增加，任務分配方差較小時，與孤立的學習任務相比，我們的策略具有明顯的優勢。

網址：

4、On the Global Optimality of Model-Agnostic Meta-Learning: Reinforcement Learning and Supervised Learning

作者：Lingxiao Wang, Qi Cai, Zhuoyan Yang, Zhaoran Wang

摘要：模型無關的元學習(MAML)將元學習描述為一個雙層優化問題，內層基于共享先驗求解每個子任務，外層通過優化所有子任務的綜合性能來搜索最優共享先驗。該方法盡管在經驗上取得了成功，但由于元目標(外層目標)的非凸性，對于MAML的理論上的了解仍然很少，特別是在其全局最優性方面。為了彌合這一理論與實際之間的差距，我們刻畫了MAML在強化學習和監督學習中所獲得的駐點（ stationary points）的最優性差距，其中內層和外層問題都是通過一階優化方法來解決的。特別地，我們的刻畫將這些駐點的最優性間隙與(I)內部目標的函數幾何和(Ii)函數逼近器(包括線性模型和神經網絡)的表示能力聯系起來。據我們所知，我們的分析首次建立了具有非凸元目標（meta-objectives）的MAML的全局最優性。

網址：

5、TASKNORM: Rethinking Batch Normalization for Meta-Learning

作者：John Bronskill, Jonathan Gordon, James Requeima, Sebastian Nowozin, Richard E. Turner

摘要：當前用于圖像分類的元學習方法依賴于日益深入的網絡來實現最先進的性能，使得批歸一化成為元學習通道的重要組成部分。然而，元學習設置的分層性質帶來了幾個挑戰，這些挑戰可能會使傳統的批歸一化無效，因此需要在此設置中重新考慮歸一化。我們評估了一系列用于元學習場景的批歸一化方法，并開發了一種新的方法，我們稱之為TASKNORM。在14個數據集上的實驗表明，無論是基于梯度的元學習方法還是無梯度的元學習方法，批歸一化的選擇都對分類精度和訓練時間都有很大的影響。重要的是，TASKNORM被發現可以持續提高性能。最后，我們提供了一組歸一化的最佳實踐，這些最佳實踐使得可以公平比較元學習算法。

網址：

6、Unraveling Meta-Learning: Understanding Feature Representations for Few-Shot Tasks

作者：Micah Goldblum, Steven Reich, Liam Fowl, Renkun Ni, Valeriia Cherepanova, Tom Goldstein

摘要：元學習算法產生的特征提取器在少樣本分類方面達到了最先進的性能。雖然文獻中有豐富的元學習方法，但人們對產生的特征提取器為什么表現得如此出色卻知之甚少。我們對元學習的基本機制以及使用元學習訓練的模型和經典訓練的模型之間的區別有了更好的理解。在這樣做的過程中，我們引入并驗證了幾個關于為什么元學習模型表現更好的假設。此外，我們還開發了一種正則化算法，它提高了少樣本分類下標準訓練示例的性能。在許多情況下，我們的實驗表現優于元學習，同時運行速度要快一個數量級。

網址：