亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

【導讀】機器學習頂會 NeurIPS 2020, 是人工智能領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。據官方統計，今年NeurIPS 2020 共收到論文投稿 9454 篇，接收 1900 篇（其中 oral 論文 105 篇、spotlight 論文 280 篇），論文接收率為 20.1%。NeurIPS 2020已經開完了，小編發現三維點云（3 D Point Cloud）相關的接受paper不少，近幾年點云分析在CV上出現了一系列工作，在NeurIPS上越來越多，也顯示出點云分析這個傳統任務近幾年非常火。

為此，這期小編為大家奉上NeurIPS 2020必讀的五篇三維點云（3 D Point Cloud）相關論文——時空點云表示、組上下文編碼、點云邊緣檢測、GCN局部全局點云表示、自監督少樣本點云學習

NeurIPS 2020 Accepted Papers : //proceedings.neurips.cc/paper/2020

NIPS2020OD、NIPS2020VRL、NIPS2020DA、NIPS2020CI、ICLR2020CI、ICML2020CI

1. CaSPR: Learning Canonical Spatiotemporal Point Cloud Representations

作者：Davis Rempe, Tolga Birdal, Yongheng Zhao, Zan Gojcic, Srinath Sridhar, Leonidas J. Guibas

摘要：我們提出了CaSPR，這是一種學習以目標為中心的動態移動或演化的典型時空點云表示方法。我們處理的目標是隨著時間進行信息聚合，并在過去的任何時空鄰域中查詢目標狀態。與以前的工作不同，CaSPR支持時空連續性的學習表示，對可變和不規則的時空采樣點云具有魯棒性，并且能夠泛化到對不可知的目標實例進行表示。我們的方法將問題分為兩個子任務。首先，我們通過將輸入點云序列映射到時空規范化的目標空間來顯式編碼時間信息。然后，我們利用這種規范化來學習使用神經常微分方程的時空潛在表示，以及使用標準連續化流（continuous normalizing flows）動態生成形狀的生成模型。我們證明了我們的方法在幾種應用中的有效性，包括形狀重建，相機姿態估計，連續時空序列重建以及從不規則或間歇采樣的觀測值進行對應估計。

代碼：

網址：

2. Group Contextual Encoding for 3D Point Clouds

作者：Xu Liu, Chengtao Li, Jian Wang, Jingbo Wang, Boxin Shi, Xiaodong He

摘要：全局上下文對于3D點云場景理解任務至關重要。在這項工作中，我們將最初為2D任務設計的上下文編碼層擴展到3D點云方案。編碼層在3D點云的特征空間中學習一組字典（code words）以表征全局語義上下文，然后基于這些字典，該方法學習全局上下文描述符以相應地對特征圖進行加權。此外，與2D場景相比，數據稀疏性成為3D點云場景中的主要問題，并且隨著字典數量的增加，上下文編碼的性能迅速飽和。為了減輕這個問題，我們進一步提出了一種組上下文（group contextual）編碼方法，該方法將通道劃分為組，然后對組劃分的特征向量執行編碼。此方法有助于學習3D點云的分組子空間中的全局上下文。我們在三個被廣泛研究的3D點云任務上評估了我們方法的有效性和可推廣性。實驗結果表明，當指標為[email protected]時所提出的方法在SUN-RGBD基準上mAP為3，性能明顯優于VoteNet；而在ScanNet上，指標為mAP@0.5時其mAP為6.57 。與PointNet ++的基線相比，該方法的準確率為86％，優于基線的1.5％。

代碼：

網址:

3. PIE-NET: Parametric Inference of Point Cloud Edges

作者：Xiaogang Wang, Yuelang Xu, Kai Xu, Andrea Tagliasacchi, Bin Zhou, Ali Mahdavi-Amiri, Hao Zhang

摘要：我們引入了一種端到端的可學習技術，能夠可靠地識別3D點云數據中的特征邊緣。我們將這些邊緣表示為參數曲線（即線，圓和B樣條曲線）的集合。因此，我們的深度神經網絡（稱為PIE-NET）經過訓練可進行邊的參數推斷。該網絡依賴于候選區域（region proposal）的體系結構，其中第一個模塊先統計proposal邊緣和拐角點的完整集合，第二個模塊對每個proposal進行排名以決定是否應考慮。我們通過消融研究在ABC數據集（最大的CAD模型的公共可用數據集）上訓練和評估我們的方法，并將我們的結果與傳統（非學習）處理通道以及最近基于深度學習的邊緣檢測器（ECNet）所產生的結果進行比較。我們的結果在數量和質量上都大大超過了現有技術，并且很好地推廣到了新穎的形狀類別上。

網址：

4. Rotation-Invariant Local-to-Global Representation Learning for 3D Point Cloud

作者：SEOHYUN KIM, JaeYoo Park, Bohyung Han

摘要：我們提出了一種用于3D點云數據的局部到全局表示學習算法，該算法適合于處理各種幾何變換，尤其是旋轉，而無需針對變換進行顯式的數據增強。我們的模型利用了基于圖卷積神經網絡的多級抽象，它構建了一個描述符層次結構，以自下而上的方式對輸入對象的旋轉不變形狀信息進行編碼。每個級別的描述符都是通過3D點的隨機采樣從圖神經網絡中獲得的，這對于使學習的表示形式對輸入數據的變化具有魯棒性是非常有效。我們提出的算法在旋轉增強型3D對象識別和分割基準測試中展現了最新技術，并通過綜合的ablative實驗進一步分析了其特性。

代碼：

網址：

5. Self-Supervised Few-Shot Learning on Point Clouds

作者：Charu Sharma, Manohar Kaul

摘要：大規模點云的實用性不斷提高，加上它們在機器人技術，形狀合成和自動駕駛等廣泛應用中的實用性，引起了業界和學術界的越來越多的關注。最近，在標記的點云上運行的深度神經網絡已在有監督學習任務（如分類和分割）上顯示出令人鼓舞的結果。然而，有監督學習導致對點云進行標注是一項非常繁瑣的任務。為了解決這個問題，我們提出了兩種新穎的自監督預訓練任務，它們使用cover-tree對點云的分層分區進行編碼，其中，點云子集位于cover-tree的每個層次的半徑不同的球中。此外，我們的自監督學習網絡僅限于在少樣本學習（FSL）設置中用于訓練下游網絡的支持集合上進行預訓練（包含稀缺的訓練示例）。最后，將經過全面訓練的自監督網絡的點嵌入輸入到下游任務的網絡。我們針對下游分類和細分任務對我們的方法進行了全面的經驗評估，結果表明，使用我們的自監督學習方法進行預訓練的監督方法顯著提高了最新方法的準確性。此外，我們的方法在下游分類任務中也優于以前的無監督方法。

網址：

【導讀】機器學習頂會 NeurIPS 2020, 是人工智能領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。據官方統計，今年NeurIPS 2020 共收到論文投稿 9454 篇，接收 1900 篇（其中 oral 論文 105 篇、spotlight 論文 280 篇），論文接收率為 20.1%。NeurIPS 2020已經開完了，小編發現目標檢測（Object Detection）相關的接受paper不少，目標檢測在NeurIPS上越來越多，也顯示出目標檢測這個傳統任務在當前還具有比較鮮活的生命力。

為此，這期小編為大家奉上NeurIPS 2020必讀的七篇目標檢測（Object Detection）相關論文——平均定位和分類Loss、對抗自步學習、細粒度動態、泛化Focal Loss、RelationNet++、少樣本目標檢測、弱監督目標檢測

NeurIPS 2020 Accepted Papers : //proceedings.neurips.cc/paper/2020

NIPS2020VRL、NIPS2020DA、NIPS2020CI、ICLR2020CI、ICML2020CI

1. A Ranking-based, Balanced Loss Function Unifying Classification and Localisation in Object Detection

作者：Kemal Oksuz, Baris Can Cam, Emre Akbas, Sinan Kalkan

摘要：我們提出了一個平均定位召回精度（average Localisation-Recall-Precision, aLRP），這是一種統一，有界，平衡和基于排名的損失函數，用于目標檢測中的分類和定位任務。aLRP擴展了平均召回率（LRP）性能指標，其idea來自于平均精確度（AP）損失如何將精確度擴展到基于排名的損失函數進行分類。aLRP具有以下明顯的優勢：（i）aLRP是分類和定位任務中第一個基于排名的損失函數。（ii）由于對兩個任務都使用了排名，因此aLRP自然可以對高精度分類實施高質量的定位。（iii）aLRP在正負樣本之間提供了可證明的平衡性。（iv）與最先進的檢測器的損失函數中平均具有6個超參數相比，aLRP損失只有一個超參數，我們在實驗中并未對其進行調整。在COCO數據集上，aLRP 損失改進了其基于排名的AP 損失，最多可增加5個AP點，在不增加測試時間的情況下AP可達到48.9，并且優于所有的先進的檢測器。

代碼：

網址：

2. Few-Cost Salient Object Detection with Adversarial-Paced Learning

作者：Dingwen Zhang, HaiBin Tian, Jungong Han

摘要：近年來，從給定圖像場景中檢測和分割顯著目標（salient objects）已引起了極大的關注。訓練現有深度顯著性檢測模型的根本挑戰是需要大量帶標注的數據。盡管收集大量的訓練數據變得既便宜又容易，但是從時間，勞動力和人的專業知識方面來說，對數據進行標注是一個昂貴的過程。為了解決這個問題，本文提出僅在少數訓練圖像上基于人工標注學習有效的顯著性目標檢測模型，從而大大減輕訓練模型中的人工勞動。為此，我們將該任務命名為“成本最低的顯著性目標檢測”，并提出了一種基于對抗性學習（APL）的框架，以加強其學習場景。本質上，APL源自自主學習（self-paced learning, SPL）機制，與學習正則化的啟發式設計不同，它通過數據驅動的對抗性學習機制來推斷強大的學習速度。對四個廣泛使用的基準數據集進行的綜合實驗表明，該方法可以僅用1k人工注釋訓練圖像有效地處理了現有的有監督的深度顯著性目標檢測模型。

代碼：

網址：

3. Fine-Grained Dynamic Head for Object Detection

作者：Lin Song, Yanwei Li, Zhengkai Jiang, Zeming Li, Hongbin Sun, Jian Sun, Nanning Zheng

摘要：特征金字塔網絡（FPN）提出了一種優異的方法，可以通過執行實例級分配來減輕目標表觀中的比例差異。然而，這種策略忽略了實例中不同子區域的獨特特征。為此，我們提出了一種細粒度的動態頭（dynamic head），可以針對每種情況從不同的比例有條件地選擇FPN特征的像素級組合，從而進一步釋放了多比例特征表示的能力。此外，我們設計了具有新激活函數的空間門，以通過空間稀疏卷積顯著降低計算復雜性。大量實驗證明了該方法在幾種最新檢測基準上的有效性和效率。

代碼：

網址：

4. Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Detection

作者：Xiang Li, Wenhai Wang, Lijun Wu, Shuo Chen, Xiaolin Hu, Jun Li, Jinhui Tang, Jian Yang

摘要：一步法（One-stage）檢測器基本上將目標檢測公式化為密集的分類和定位（即邊界框回歸）。通常通過Focal Loss 來優化分類，并且通常在狄拉克（Dirac delta）分布下了解其位置。一步法檢測器的最新趨勢是引入單個預測分支來估計定位質量，其中預測質量有助于分類以提高檢測性能。本文研究了以上三個基本元素的表示形式：質量估計，分類和定位。在現有實踐中發現了兩個問題，包括（1）訓練和推理之間質量估計和分類的用法不一致，以及（2）用于定位的不靈活的狄拉克分布。為了解決這些問題，我們為這些元素設計了新的表示形式。具體來說，我們將質量估計合并到類預測向量中以形成聯合表示，并使用向量表示框位置的任意分布。改進的表示法消除了不一致的風險，并準確地描述了實際數據中的靈活分布，但這些表示中包含連續標簽，這超出了Focal Loss的范圍。然后，我們提出 Generalized Focal Loss（GFL），將Focal Loss從離散形式推廣到連續版本，以實現成功的優化。在COCO測試開發中，GFL使用ResNet-101主干網絡在AP上達到了45.0％，以更高或相當的推理速度超過了最先進的SAPD（43.5％）和A TSS（43.6％）。

網址：

5. RelationNet++: Bridging Visual Representations for Object Detection via Transformer Decoder

作者：Cheng Chi, Fangyun Wei, Han Hu

摘要：現有的目標檢測框架通常建立在目標表示的單一格式上，即RetinaNet和Faster R-CNN中的錨點/建議矩形框，FCOS和RepPoints中的中心點以及CornerNet中的角點。盡管這些不同的表示形式通常會驅動框架在不同方面表現良好，例如更好的分類或更好的定位，但是由于異構或非均一性，通常很難將這些表示形式組合到單個框架中以充分利用每種優勢。本文提出了一種基于注意力的解碼器模塊，與Transformer中的模塊類似，以端到端的方式將其他表示形式橋接到基于單個表示形式格式的典型目標檢測器中。其他表示充當一組key實例，以增強vanilla檢測器中的主要query表示特征。提出了用于有效計算解碼器模塊的新技術，包括key采樣方法和共享位置嵌入方法。我們將提出的模塊稱為橋接視覺表示（bridging visual representations, BVR）。并且我們證明了其在將其他表示形式橋接到流行的目標檢測框架（包括RetinaNet，Faster R-CNN，FCOS和A TSS）中的廣泛有效性，在這些方面在 AP實現了約1.5到3.0 的改進。特別是，我們將具有強大主干的最新框架在AP上改進了約2.0 ，在COCO測試開發中AP達到了52.7 A。我們將生成的網絡名為RelationNet ++。

代碼：

網址：

6. Restoring Negative Information in Few-Shot Object Detection

作者：Yukuan Yang, Fangyun Wei, Miaojing Shi, Guoqi Li

摘要：少樣本學習成為深度學習領域的新挑戰：與訓練帶有大量標記數據的深度神經網絡（DNN）的常規方法不同，它要求在帶有少量標注的新類別上推廣DNN。少樣本學習的最新進展主要集中在圖像分類上，而在本文中，我們著重于目標檢測。少樣本目標檢測的最初探索趨向于通過使用圖像中相對于某些物體類別的正proposals而拋棄該類別的負 proposals來模擬分類場景。負樣本，尤其是難樣本，對于少樣本目標檢測中的嵌入空間學習至關重要。在本文中，我們通過引入一個新的基于負和正表觀的度量學習框架以及具有負和正表觀的新推理方案，來恢復少樣本目標檢測中的負信息。我們基于最近很少使用的pipeline RepMet構建我們的工作，該模型帶有幾個新模塊，可以對負面信息進行編碼，以進行訓練和測試。在ImageNet-LOC和PASCAL VOC上進行的大量實驗表明，我們的方法極大地改進了最新的少樣本目標檢測解決方案。

代碼：

網址：

7. UWSOD: Toward Fully-Supervised-Level Capacity Weakly Supervised Object Detection

作者：Yunhang Shen, Rongrong Ji, Zhiwei Chen, Yongjian Wu, Feiyue Huang

摘要：弱監督目標檢測（WSOD）由于具有極大的靈活性，可以利用僅具有圖像級標注的大規模數據集來進行檢測器訓練，因此受到了廣泛的研究關注。盡管近年來有了很大的進步，但是WSOD的性能仍然受到限制，遠遠低于有監督的目標檢測（FSOD）。由于大多數WSOD方法依賴于object proposal算法來生成候選區域，并且還面臨著諸如質量低下的預測邊界框和大規模變化之類的挑戰。在本文中，我們提出了一個統一的WSOD框架（稱為UWSOD），以構建僅包含圖像級標簽的大容量通用檢測模型，該模型是獨立的，不需要外部模塊或其他監督。為此，我們利用了三個重要的組件，即object proposal生成，邊界框微調和尺度不變特征。首先，我們提出一個基于錨點的自監督的proposa生成器來假設目標位置，該生成器由UWSOD創建的監督進行端到端的訓練，以進行目標分類和回歸。其次，我們通過逐步選擇高可信度object proposal作為正樣本，開發了逐步的邊界框微調，以精煉檢測分數和坐標，從而引導了預測邊界框的質量。第三，我們構造了一個多速率重采樣金字塔以聚合多尺度上下文信息，這是處理WSOD中尺度變化的第一個網絡內特征層次結構。在PASCAL VOC和MS COCO上進行的大量實驗表明，所提出的UWSOD使用最新的WSOD方法可獲得競爭性結果，而無需外部模塊或額外的監督。此外，具有類不可知的ground-truth邊界框的UWSOD的上限性能接近Faster R-CNN，這表明UWSOD具有完全受監督級別的能力。

代碼：

網址：

【導讀】機器學習頂會 NeurIPS 2020, 是人工智能領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。據官方統計，今年NeurIPS 2020 共收到論文投稿 9454 篇，接收 1900 篇（其中 oral 論文 105 篇、spotlight 論文 280 篇），論文接收率為 20.1%。近期，NeurIPS 2020快開會了，小編發現域自適應（Domain Adaptation）相關的接受paper很多，這塊研究方向近幾年一直很火，并且各個CV和NLP的域自適應任務也非常多。

為此，這期小編為大家奉上NeurIPS 2020必讀的六篇域自適應（Domain Adaptation）相關論文——One-shot 無監督域自適應、圖模型、啟發式域自適應、自監督、多源域自適應

NeurIPS 2020 Accepted Papers : //proceedings.neurips.cc/paper/2020

NIPS2020CI、ICLR2020CI、ICML2020CI

1. Adversarial Style Mining for One-Shot Unsupervised Domain Adaptation

作者：Yawei Luo, Ping Liu, Tao Guan, Junqing Yu, Yi Yang

摘要：我們針對One-Shot無監督域自適應的問題。與傳統的無監督域適應不同，它假定學習適應時只能使用一個未標記的目標樣本。這種設置是現實的，但更具挑戰性，在這種情況下，傳統的自適應方法由于缺少未標記的目標數據而容易失敗。為此，我們提出了一種新穎的對抗式風格挖掘方法，該方法將風格遷移模塊和特定于任務模塊組合成對抗的方式。具體來說，風格遷移模塊會根據當前的學習狀態，迭代搜索One-Shot目標樣本周圍的較難的風格化圖像，從而使任務模型探索在不可知的目標領域中難以解決的潛在風格，從而增強了數據稀缺情況下的適應性能。對抗學習框架使風格遷移模塊和特定于任務模塊在競爭中彼此受益。在跨域分類和分割基準方面的大量實驗證明，ASM在具有挑戰性的One-Shot設置下達到了最新的自適應性能。

網址：

2. Domain Adaptation as a Problem of Inference on Graphical Models

作者：Kun Zhang, Mingming Gong, Petar Stojanov, Biwei Huang, QINGSONG LIU, Clark Glymour

摘要：本文涉及數據驅動的無監督域自適應，在這種情況下，事先不知道跨域的聯合分布如何變化，即數據分布的哪些因素或模塊保持不變或跨域變化。為了研究具有多個源域的域自適應方法，我們提出使用圖模型作為一種緊湊（compact）的方式來編碼聯合分布的變化屬性，該屬性可以從數據中學習，然后將域自適應視為一個關于圖模型的貝葉斯推斷問題。這種圖模型區分了分布的恒定和變化模塊，并指定了跨域變化的特性，這是變化模塊的先驗知識，目的是得出目標域中目標變量Y的后驗。這提供了域自適應的端到端框架，可以將關于聯合分布如何變化的其他知識（如果可用）直接合并以改善圖表示。我們討論如何將基于因果關系的域適應置于此保護之下。和真實數據的實驗結果證明了所提出的域適應框架的功效。

代碼：

網址：

3. Heuristic Domain Adaptation

作者：shuhao cui, Xuan Jin, Shuhui Wang, Yuan He, Qingming Huang

摘要：在視覺域自適應（DA）中，將特定于域的特征與不依賴于域的表示形式分開是一個病態（ill-posed）問題。現有方法采用不同的先驗方法或直接最小化域差異來解決此問題，這在處理實際情況時缺乏靈活性。另一個研究方向是將特定域的信息表示為逐步遷移的過程，這在準確刪除特定域的屬性方面往往不是最佳選擇。在本文中，我們從啟發式搜索的角度解決了域不變和域特定信息的建模問題。我們將現有的特征標識為啟發式表示形式，從而導致更大的域差異。在啟發式表示的指導下，我們制定了一個具有良好理論依據的啟發式域自適應（HDA）原則框架。為了執行HDA，在學習過程中，將域不變和域特定表示之間的余弦相似性評分和獨立性度量放入初始和最終狀態的約束中。類似于啟發式搜索的最終條件，我們進一步推導出一個約束，以強制約束啟發式網絡輸出的最終范圍較小。因此，我們提出了啟發式域自適應網絡（HDAN），該網絡明確學習了具有上述約束的域不變和域特定表示。大量實驗表明，HDAN在無監督DA，多源DA和半監督DA方面已超過了最新技術。

代碼：

網址：

4. Transferable Calibration with Lower Bias and Variance in Domain Adaptation

作者：Ximei Wang, Mingsheng Long, Jianmin Wang, Michael Jordan

摘要：域自適應（DA）可以將學習器從標記的源域轉移到未標記的目標域。盡管已經取得了顯著的進步，但大多數現有的DA方法都專注于提高推理的目標精度。如何估計DA模型的預測不確定性對于安全重要型場景中的決策至關重要，但其仍然是研究的邊界。在本文中，我們研究了DA校準（Calibration）中的開放性問題，該問題是由于域轉移和缺少目標標簽共存所造成的，這一問題極具挑戰性。我們首先揭示了DA模型以經過良好校準的概率為代價來學習更高的精度的困境。基于這一發現，我們提出了可遷移校準（TransCal），以在統一的無超參數優化框架中以較低的偏差和方差實現更準確的校準。作為常規的post-hoc 校準方法，TransCal可以輕松地應用于重新校準現有的DA方法。從理論上和經驗上都證明了其有效性。

網址：

5. Universal Domain Adaptation through Self-Supervision

作者：Kuniaki Saito, Donghyun Kim, Stan Sclaroff, Kate Saenko

摘要：傳統上，無監督域自適應方法假定所有源類別都存在于目標域中。實際上，對于兩個域之間的類別重疊知之甚少。雖然某些方法使用部分或開放類別來解決目標設置，但它們假定特定設置是先驗的。我們提出了一種更通用的域自適應框架，該框架可以處理任意類別轉換，稱為通過熵優化（DANCE）的域自適應鄰域聚類。DANCE結合了兩種新穎的思想：首先，由于我們不能完全依靠源類別來學習針對目標的判別性特征，因此我們提出了一種新穎的鄰域聚類技術，以一種自監督的方式來學習目標域的結構。其次，我們使用基于熵的特征對齊和拒絕來將目標特征與源對齊，或基于它們的熵將它們拒絕為未知類別。我們通過廣泛的實驗表明，在開放集，開放部分和部分域適應設置中，DANCE的性能均優于基線。

代碼：

網址：

6. Your Classifier can Secretly Suffice Multi-Source Domain Adaptation

作者：Naveen Venkat, Jogendra Nath Kundu, Durgesh Singh, Ambareesh Revanur, R. Venkatesh Babu

摘要：多源域適應（MSDA）解決在域轉移（domain-shift）下將任務知識從多個標記的源域轉移到未標記的目標域。現有方法旨在使用輔助分布對齊目標來最小化該域偏移。在這項工作中，我們提出了與MSDA不同的觀點，我們觀察到了深度模型以在標簽監督下隱式對齊域。因此，我們旨在利用隱式對齊方式而無需其他訓練目標來進行適應。為此，我們使用偽標記的目標樣本并在偽標記上執行分類器協議，此過程稱為自監督隱式比對（SImpA1）。我們發現，即使在源域之間的類別轉換下，SImpAl仍然可以輕松工作。此外，我們提出了分類器一致性作為確定訓練收斂的線索，從而產生了一種簡單的訓練算法。我們在五個基準上對我們的方法進行了全面的評估，并對方法的每個組成部分進行了詳細的分析。

網址：

【導讀】機器學習頂會 NeurIPS 2020, 是人工智能領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。據官方統計，今年NeurIPS 2020 共收到論文投稿 9454 篇，接收 1900 篇（其中 oral 論文 105 篇、spotlight 論文 280 篇），論文接收率為 20.1%。近期，所有paper list 放出，小編發現**對比學習（Contrastive Learning）**相關的投稿paper很多，這塊研究方向這幾年受到了學術界的廣泛關注，并且在CV、NLP等領域也應用頗多。

為此，這期小編為大家奉上NeurIPS 2020必讀的七篇對比學習相關論文——對抗自監督對比學習、局部對比學習、難樣本對比學習、多標簽對比預測編碼、自步對比學習、有監督對比學習

NeurIPS 2020 Accepted Papers://neurips.cc/Conferences/2020/AcceptedPapersInitial

1. Adversarial Self-Supervised Contrastive Learning

作者： Minseon Kim, Jihoon Tack, Sung Ju Hwang

摘要： 現有的對抗性學習方法大多使用類別標簽來生成導致錯誤預測的對抗性樣本，然后使用這些樣本來增強模型的訓練，以提高魯棒性。雖然最近的一些工作提出了利用未標記數據的半監督對抗性學習方法，但它們仍然需要類別標簽。然而，我們真的需要類別標簽來進行反向的深度神經網絡的健壯訓練嗎？本文提出了一種新的針對未標記數據的對抗性攻擊，使得該模型混淆了擾動數據樣本的實例級身份。此外，我們還提出了一種自監督對比學習（Contrastive Learning）框架來對抗性地訓練未標記數據的魯棒神經網絡，其目的是最大化數據樣本的隨機擴充與其實例對抗性擾動之間的相似度。我們在多個基準數據集上驗證了我們的方法-魯棒對比學習（RoCL），在這些數據集上，它獲得了與最新的有監督對抗性學習方法相當的魯棒準確率，并且顯著地提高了對黑盒和不可見類型攻擊的魯棒性。此外，與單獨使用自監督學習相比，RoCL進一步結合有監督對抗性損失進行聯合微調，獲得了更高的魯棒精度。值得注意的是，RoCL在穩健的遷移學習方面也顯示出令人印象深刻的結果。

網址：

2. Contrastive learning of global and local features for medical image segmentation with limited annotations

作者： Krishna Chaitanya, Ertunc Erdil, Neerav Karani, Ender Konukoglu

摘要： 有監督深度學習成功的一個關鍵要求是一個大的標記數據集——這是醫學圖像分析中難以滿足的條件。自監督學習（SSL）可以在這方面提供幫助，因為它提供了一種用未標記的數據預訓練神經網絡的策略，然后用有限的樣本標注對下游任務進行微調。對比學習是SSL的一種特殊變體，是一種學習圖像級表征的強大技術。在這項工作中，我們提出了一種策略，通過利用領域內一些特點，在標注有限的半監督場景下來擴展volumetric 醫療圖像分割的對比學習框架。具體地，我們提出了：（1）新穎的對比策略，它利用volumetric 醫學圖像之間的結構相似性（領域特定線索）；（2）對比損失的局部信息來學習對每個像素分割有用的局部區域的獨特表示（問題特定線索）。我們在三個磁共振成像（MRI）數據集上進行了廣泛的評估。在有限的標注環境下，與其他的自監督和半監督學習技術相比，本文提出的方法有了很大的改進。當與簡單的數據增強技術相結合時，該方法僅使用兩個標記的MRI體積用于訓練，達到基準性能的8%以內，相當于用于訓練基準的訓練數據ACDC的4%。

網址：

3. LoCo: Local Contrastive Representation Learning

作者： Yuwen Xiong, Mengye Ren, Raquel Urtasun

摘要： 深度神經網絡通常執行端到端反向傳播來學習權重，該過程在跨層的權重更新步驟中創建同步約束（synchronization constraints），并且這種約束在生物學上是不可信的。無監督對比表示學習的最新進展指出一個問題，即學習算法是否也可以是局部的，即下層的更新不直接依賴于上層的計算。雖然Greedy InfoMax分別學習每個塊的局部目標，但我們發現，在最新的無監督對比學習算法中，可能是由于貪婪的目標以及梯度隔離，會一直損害readout的準確性。在這項工作中，我們發現，通過重疊局部塊堆疊在一起，我們有效地增加了解碼器的深度，并允許較高的塊隱式地向較低的塊發送反饋。這種簡單的設計首次縮小了局部學習算法和端到端對比學習算法之間的性能差距。除了標準的ImageNet實驗，我們還展示了復雜下游任務的結果，例如直接使用readout功能進行對象檢測和實例分割。

網址：

4. Hard Negative Mixing for Contrastive Learning

作者： Yannis Kalantidis, Mert Bulent Sariyildiz, Noe Pion, Philippe Weinzaepfel, Diane Larlus

摘要： 對比學習已成為計算機視覺中自監督學習方法的重要組成部分。通過學習將同一圖像的兩個增強版本相互靠近地圖像嵌入，并將不同圖像的嵌入分開，可以訓練高度可遷移的視覺表示。最近的研究表明，大量的數據增強和大量的負樣本集對于學習這樣的表征都是至關重要的。同時，無論是在圖像層面還是在特征層面，數據混合策略都通過合成新的示例來改進監督和半監督學習，迫使網絡學習更健壯的特征。在這篇文章中，我們認為對比學習的一個重要方面，即hard negatives的影響，到目前為止被忽視了。為了獲得更有意義的負樣本，目前最流行的對比自監督學習方法要么大幅增加batch sizes大小，要么保留非常大的內存庫；然而，增加內存需求會導致性能回報遞減。因此，我們從更深入地研究一個表現最好的框架開始，并展示出證據，為了促進更好、更快的學習，需要更難的難樣本（harder negatives）。基于這些觀察結果，并受到數據混合策略成功的激勵，我們提出了特征級別的難例混合策略，該策略可以用最小的計算開銷在運行中進行計算。我們在線性分類、目標檢測和實例分割方面對我們的方法進行了詳盡的改進，并表明使用我們的難例混合過程提高了通過最先進的自監督學習方法學習的視覺表示的質量。

代碼：

網址：

5. Multi-label Contrastive Predictive Coding

作者： Jiaming Song, Stefano Ermon

摘要： 變量互信息（mutual information, MI）估計器廣泛應用于對比預測編碼（CPC）等無監督表示學習方法中。MI的下界可以從多類分類問題中得到，其中critic試圖區分從潛在聯合分布中提取的正樣本和從合適的建議分布中提取的（m?1）個負樣本。使用這種方法，MI估計值超過log m，因此有效下界可能會嚴重低估，除非m非常大。為了克服這一局限性，我們引入了一種新的基于多標簽分類問題的估計器，其中critic需要同時聯合識別多個正樣本。我們證明了在使用相同數量的負樣本的情況下，多標簽CPC能夠超過log m界，同時仍然是互信息的有效下界。我們證明了所提出的方法能夠帶來更好的互信息估計，在無監督表示學習中獲得經驗上的改進，并且在13個任務中超過了最先進的10個知識提取方法。

網址：

6. Self-paced Contrastive Learning with Hybrid Memory for Domain Adaptive Object Re-ID

作者： Yixiao Ge, Feng Zhu, Dapeng Chen, Rui Zhao, Hongsheng Li

摘要： 域自適應目標Re-ID旨在將學習到的知識從已標記的源域轉移到未標記的目標域，以解決開放類（open-class）的重識別問題。雖然現有的基于偽標簽的方法已經取得了很大的成功，但是由于域的鴻溝和聚類性能的不理想，它們并沒有充分利用所有有價值的信息。為了解決這些問題，我們提出了一種新的具有混合記憶的自適應對比學習框架。混合存儲器動態地生成用于學習特征表示的源域類級、目標域簇級和未聚類實例級監督信號。與傳統的對比學習策略不同，該框架聯合區分了源域類、目標域簇和未聚類實例。最重要的是，所提出的自適應方法逐漸產生更可靠的簇來提煉混合記憶和學習目標，這被證明是我們方法的關鍵。我們的方法在目標 Re-ID的多域適配任務上的性能優于現有技術，甚至在源域上不需要任何額外的標注就能提高性能。在Market1501和MSMT17數據上，我們的無監督目標Re-ID的通用版本分別比最先進的算法高出16.7%和7.9%。

代碼：

網址：

7. Supervised Contrastive Learning

作者： Prannay Khosla, Piotr Teterwak, Chen Wang, Aaron Sarna, Yonglong Tian, Phillip Isola, Aaron Maschinot, Ce Liu, Dilip Krishnan

摘要： 交叉熵是圖像分類模型監督訓練中應用最廣泛的損失函數。在本文中，我們提出了一種新的訓練方法，該方法在不同的體系結構和數據增強的監督學習任務中始終優于交叉熵。我們修正了批量對比損失，它最近被證明在自監督環境下學習強大的表示是非常有效的。因此，我們能夠比交叉熵更有效地利用標簽信息。屬于同一類的點簇在嵌入空間中被拉在一起，同時推開來自不同類的樣本簇。除此之外，我們還利用了大的batch sizes和標準化嵌入等關鍵因素，這些因素已被證明有利于自監督學習。在ResNet-50和ResNet-200上，我們的性能都比交叉熵高出1%以上，在使用 AutoAugment數據增強的方法中創造了78.8%的新技術水平。在校準和準確度方面，這一損失也顯示出在標準基準上對自然損壞的穩健性有明顯的好處。與交叉熵相比，我們的監督對比損失對諸如優化器或數據增強等超參數設置更穩定。

網址：

【導讀】ICML(International Conference on Machine Learning)，即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會已于2020年7月13日至18日在線上舉行。據官方統計，ICML 2020共提交4990篇論文，接收論文1088篇，接收率為21.8%。與往年相比，接收率逐年走低。小編發現基于元學習（Meta Learning）相關的paper也不少，元學習及其在不同場景的應用等等都是今年比較火的topic，受到了很多人的關注。

為此，這期小編繼續為大家奉上ICML 2020必讀的六篇元學習（Meta Learning）相關論文——少樣本關系抽取、元遷移學習、MAML 強化學習、Batch Normalization、特征可解釋

ICML 2020 Accepted Paper: //proceedings.icml.cc/book/2020

ICML2020CL、ICML2020CI、ICML2020GNN_Part2、ICML2020GNN_Part1

1、Few-shot Relation Extraction via Bayesian Meta-learning on Relation Graphs

作者：Meng Qu, Tianyu Gao, Louis-Pascal A. C. Xhonneux, Jian Tang

摘要：本文研究的少樣本關系抽取，其目的是通過對句子中的一對實體進行訓練，并在每個關系中添加少量的標注示例來預測其關系。為了更有效地推廣到新的關系，本文研究了不同關系之間的關系，并提出利用全局關系圖。我們提出了一種新的貝葉斯元學習方法來有效地學習關系原型向量（prototype vectors）的后驗分布，其中原型向量的初始先驗是通過全局關系圖上的圖神經網絡來參數化得到的。此外，為了有效地優化原型向量的后驗分布，我們提出使用與MAML算法相關但能夠處理原型向量不確定性的隨機梯度Langevin 動力學。整個框架可以以端到端的方式進行高效的優化。在兩個基準數據集上的實驗證明了我們提出的方法在少樣本和零樣本設置下相對于具有競爭性的基準模型的有效性。

網址：

2、Learning Attentive Meta-Transfer

作者：Jaesik Y oon, Gautam Singh, Sungjin Ahn

摘要：當任務隨時間變化時，元遷移學習（meta-transfer learning）試圖通過元學習和遷移學習來提高學習新任務的效率。雖然標準的注意力（attention）在各種環境中都是有效的，但由于正在學習的任務是動態的，上下文的數量可以大大減少，因此但我們質疑它在改善元遷移學習方面的有效性。在本文中，利用最近提出的元遷移學習模型--Sequential Neural Processes(SNP)，我們首先從經驗上證明，在神經過程（ Neural Processes）的推斷函數中觀察到了類似的欠擬合問題。然而，我們進一步證明，與元學習環境不同，標準注意機制在元遷移環境中并不有效。為了解決這一問題，我們提出了一種新的注意機制--遞歸記憶重建(Recurrent Memory Reconstructionm, RMR)，并證明了提供一個不斷更新和重建且具有交互作用的虛構情境對于實現有效的元遷移學習注意力至關重要。此外，將RMR引入到SNP中，我們提出了注意序列神經過程RMR(ASNP-RMR)，并在各種任務中證明了ASNP-RMR的性能明顯優于基線模型。

網址：

3、Meta-learning with Stochastic Linear Bandits

作者：Leonardo Cella, Alessandro Lazaric, Massimiliano Pontil

摘要：我們研究了隨機線性bandits任務背景下的元學習過程。我們的目標是選擇一種學習算法，該算法在從任務分布中抽樣的一類bandits任務中平均表現良好。受最近關于學習到學習線性回歸的工作的啟發，我們考慮了一類bandits算法，它實現了著名的OFUL算法的正則化版本，其中正則化是到偏差向量的歐幾里得距離的平方。我們首先從遺憾最小化（regret minimization）的角度研究了有偏差的OFUL算法的好處。然后，我們提出了兩種策略來估計學習到學習環境中的偏差。理論和實驗都表明，當任務數量增加，任務分配方差較小時，與孤立的學習任務相比，我們的策略具有明顯的優勢。

網址：

4、On the Global Optimality of Model-Agnostic Meta-Learning: Reinforcement Learning and Supervised Learning

作者：Lingxiao Wang, Qi Cai, Zhuoyan Yang, Zhaoran Wang

摘要：模型無關的元學習(MAML)將元學習描述為一個雙層優化問題，內層基于共享先驗求解每個子任務，外層通過優化所有子任務的綜合性能來搜索最優共享先驗。該方法盡管在經驗上取得了成功，但由于元目標(外層目標)的非凸性，對于MAML的理論上的了解仍然很少，特別是在其全局最優性方面。為了彌合這一理論與實際之間的差距，我們刻畫了MAML在強化學習和監督學習中所獲得的駐點（ stationary points）的最優性差距，其中內層和外層問題都是通過一階優化方法來解決的。特別地，我們的刻畫將這些駐點的最優性間隙與(I)內部目標的函數幾何和(Ii)函數逼近器(包括線性模型和神經網絡)的表示能力聯系起來。據我們所知，我們的分析首次建立了具有非凸元目標（meta-objectives）的MAML的全局最優性。

網址：

5、TASKNORM: Rethinking Batch Normalization for Meta-Learning

作者：John Bronskill, Jonathan Gordon, James Requeima, Sebastian Nowozin, Richard E. Turner

摘要：當前用于圖像分類的元學習方法依賴于日益深入的網絡來實現最先進的性能，使得批歸一化成為元學習通道的重要組成部分。然而，元學習設置的分層性質帶來了幾個挑戰，這些挑戰可能會使傳統的批歸一化無效，因此需要在此設置中重新考慮歸一化。我們評估了一系列用于元學習場景的批歸一化方法，并開發了一種新的方法，我們稱之為TASKNORM。在14個數據集上的實驗表明，無論是基于梯度的元學習方法還是無梯度的元學習方法，批歸一化的選擇都對分類精度和訓練時間都有很大的影響。重要的是，TASKNORM被發現可以持續提高性能。最后，我們提供了一組歸一化的最佳實踐，這些最佳實踐使得可以公平比較元學習算法。

網址：

6、Unraveling Meta-Learning: Understanding Feature Representations for Few-Shot Tasks

作者：Micah Goldblum, Steven Reich, Liam Fowl, Renkun Ni, Valeriia Cherepanova, Tom Goldstein

摘要：元學習算法產生的特征提取器在少樣本分類方面達到了最先進的性能。雖然文獻中有豐富的元學習方法，但人們對產生的特征提取器為什么表現得如此出色卻知之甚少。我們對元學習的基本機制以及使用元學習訓練的模型和經典訓練的模型之間的區別有了更好的理解。在這樣做的過程中，我們引入并驗證了幾個關于為什么元學習模型表現更好的假設。此外，我們還開發了一種正則化算法，它提高了少樣本分類下標準訓練示例的性能。在許多情況下，我們的實驗表現優于元學習，同時運行速度要快一個數量級。

網址：

【導讀】ICML(International Conference on Machine Learning)，即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會已于2020年7月13日至18日在線上舉行。據官方統計，ICML 2020共提交4990篇論文，接收論文1088篇，接收率為21.8%。與往年相比，接收率逐年走低。小編發現基于對比學習（Contrastive Learning）相關的paper也不少，對比學習、自監督學習等等都是今年比較火的topic，受到了很多人的關注。

為此，這期小編繼續為大家奉上ICML 2020必讀的六篇對比學習（Contrastive Learning）相關論文——SimCLR、對比多視角圖學習、對比強化學習、CPC、分解GAN、

ICML 2020 Accepted Paper: //proceedings.icml.cc/book/2020

ICML2020CI、ICML2020GNN_Part2、ICML2020GNN_Part1

1、A Simple Framework for Contrastive Learning of Visual Representations

作者：Ting Chen、Simon Kornblith、Mohammad Norouzi、Geoffrey Hinton

摘要：本文提出了SimCLR：一種簡單的視覺表示的對比學習（contrastive learning）框架。我們簡化了最近提出的對比自監督學習算法，并且不需要專門的體系結構或存儲庫。為了理解什么使對比預測任務能夠學習有用的表示，我們系統地研究了我們框架的主要組成部分。我們表明：(1)數據增強部分在定義有效的預測任務中起著關鍵作用；(2)在表示和對比損失之間引入可學習的非線性變換大大提高了學習表示的質量；(3)與監督學習相比，對比學習受益于更大的batch和更多的訓練。結合這些發現，我們能夠在ImageNet上顯著優于以往的自監督和半監督學習方法。在通過SimCLR學習得到的自監督表示上訓練的線性分類器達到了76.5%的TOP-1準確率，比以前的技術相對提高了7%，與監督ResNet-50的性能相當。當只對1%的標簽進行微調時，我們達到了85.8%的TOP-5準確率，在標簽減少100倍的情況下表現優于AlexNet。

代碼：

網址：

2、Contrastive Multi-View Representation Learning on Graphs

作者：Kaveh Hassani、Amir Hosein Khasahmadi

摘要：我們介紹了一種通過對比圖的結構視圖來學習節點級和圖級表示的自監督方法。我們表明，與視覺表示學習不同的是，將視圖數增加到兩個以上或對比多尺度編碼并不能提高性能，并且通過對比來自一階鄰居的編碼和圖擴散（ graph diffusion）可以獲得最佳性能。在線性評估協議下，我們的模型在8個節點和圖分類基準上有8個取得了最新結果。例如，在CORA(節點)和Reddit-Binary(圖)分類基準上，我們達到了86.8%和84.5%的準確率，比以前的技術水平分別提高了5.5%和2.4%。與監督基線相比，我們的方法在8個基準中有4個表現優于它們。

網址：

3、CURL: Contrastive Unsupervised Representations for Reinforcement Learning

作者：Michael Laskin、Aravind Srinivas、Pieter Abbeel

摘要：我們提出了CURL—用于強化學習的對比無監督表示法。CURL使用對比學習從原始像素中提取高層特征，并在提取的特征之上執行非策略控制。在DeepMind Control Suite和Atari Games的復雜任務上，無論是基于模型的方法還是非模型的方法，CURL的表現都優于之前基于像素的方法，在100K環境和交互步驟基準下分別顯示1.9倍和1.2倍的性能提升。在DeepMind Control Suite上，CURL是第一個幾乎與使用基于狀態特征的方法的采樣效率相當的基于圖像的算法。

代碼：

網址：

4、Data-Efficient Image Recognition with Contrastive Predictive Coding

作者：Olivier J. Hénaff、Aravind Srinivas、Jeffrey De Fauw、Ali Razavi、Carl Doersch、S. M. Ali Eslami、Aaron van den Oord

摘要：人類觀察者從少數幾個例子中可以學會識別新的圖像類別，但使用人造圖像做到這一點仍然是一個挑戰。我們假設通過表示使數據有效識別成為可能，這些表示使自然信號的可變性更加可預測。因此，我們重新改進了對比預測編碼，這是學習這種表示的一個無監督目標。此新實現產生的特征可以支持ImageNet數據集上的最新線性分類準確性。當使用深度神經網絡作為非線性分類的輸入時，這種表示允許我們使用比直接在圖像像素上訓練的分類器少2-5倍的標簽。最后，這種無監督表示大大改善了對Pascal VOC數據集上的目標檢測的遷移學習，超過了全監督預訓練的ImageNet分類器。

網址：

5、InfoGAN-CR and ModelCentrality: Self-supervised Model Training and Selection for Disentangling GANs

作者：Zinan Lin、Kiran K. Thekumparampil、Giulia Fanti1Sewoong Oh

摘要：分解（disentangled）的生成模型將潛在向量映射到目標空間，同時強制學習的潛在子集是可解釋的，并且與目標分布的不同屬性相關聯。最近的進展主要是基于變分自編碼器(VAE)的方法，而訓練分離的生成式對抗網絡(GANS)仍然是具有挑戰性的。在這項工作中，我們證明了分離的GAN面臨的主要挑戰可以通過使用自監督來緩解。我們的主要貢獻有兩個：第一，我們設計了一種新的具有自監督功能的分離GANs訓練方法。我們提出了對比正則化（contrastive regularizer）算法，它的靈感來自于一個自然的分解概念：latent traversal。這比最先進的基于VAE和GAN的方法獲得了更高的分離分數。其次，我們提出了一種稱為ModelCentrality的無監督模型選擇方案，它使用生成的合成樣本來計算模型集合的medoid(多維中值推廣)。令人驚訝的是，這種無監督的ModelCentrality能夠選擇比使用現有的監督超參數選擇技術訓練的模型性能更好的模型。將對比正則化和ModelCentrality相結合，在不需要有監督超參數選擇的情況下，大幅度地獲得了最先進的分離分數。

網址：

6、Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere

作者：Tongzhou Wang、Phillip Isola

摘要：對比表示學習在實踐中取得了顯著的成功。在這項工作中，我們確定了與對比損失相關的兩個關鍵性質：(1)正對特征的對齊方式（緊密度）和(2)超球面上(歸一化)特征誘導分布的均勻性。我們證明，漸近地，對比損失優化了這些屬性，并分析了它們對下游任務的積極影響。根據經驗，我們引入了一個可優化的指標來量化每個屬性。在標準視覺和語言數據集上的大量實驗證實了指標與下游任務性能之間的強烈一致性。直接針對這兩個指標進行優化可以使下游任務的表現比對比學習更好或更高。

代碼：

網址：

【導讀】ICML(International Conference on Machine Learning)，即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會已于2020年7月13日至18日在線上舉行。據官方統計，ICML 2020共提交4990篇論文，接收論文1088篇，接收率為21.8%。與往年相比，接收率逐年走低。小編發現基于因果推理（Causal Inference）相關的paper很多，因果推理，以及反事實等相關理論方法在CV、NLP都開始有相關的應用了，這個前沿的方法受到了很多人的關注。

為此，這期小編繼續為大家奉上ICML 2020必讀的六篇因果推理（Causal Inference）相關論文——隱私攻擊、因果效應估計、分層貝葉斯模型、反事實交叉驗證、協變量表示

ICML 2020 Accepted Paper: //proceedings.icml.cc/book/2020

ICML2020GNN_Part1、KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、

1、Alleviating Privacy Attacks via Causal Learning

作者：Shruti Tople, Amit Sharma, Aditya V. Nori

摘要：機器學習模型，特別是深度神經網絡，已經被證明容易受到隱私攻擊，例如成員關系推理（membership inference），在這種情況下，對手可以檢測到數據點是否被用于訓練黑盒模型。當模型用于預測不可知數據分布時，這樣的隱私風險就會加劇。為了減輕隱私攻擊，我們展示了基于輸入特征和結果之間因果關系預測模型的好處。我們首先表明，使用因果結構學習的模型可以更好地推廣到不可知數據（unseen data），特別是在與訓練分布具有不同分布的數據上。基于這一性質，我們建立了因果關系和隱私之間的理論聯系：與關聯模型相比，因果模型提供了更強的區分隱私保證，并且對成員關系推理攻擊具有更強的魯棒性。在模擬的Bayesian networks和colored-MNIST數據集上的實驗表明，在不同的測試分布和樣本大小情況下，關聯模型的攻擊準確率高達80%，而因果模型的攻擊準確率接近隨機猜測。

網址：

2、Causal Effect Estimation and Optimal Dose Suggestions in Mobile Health International Conference on Machine Learning

作者：Liangyu Zhu, Wenbin Lu, Rui Song

摘要：在這篇文章中，我們提出了新的結構性嵌套模型（nested models）來估計基于移動健康數據的持續治療的因果效應（causal effects）。為了找到優化患者預期短期結果的治療方案，我們將加權lag-K advantage定義為價值函數。然后將最優干預方案為使價值函數最大化的方案。我們的方法對數據生成過程施加了最小的假設。對估計的參數進行統計推斷。模擬研究和在Ohio type 1 diabetes 數據集的應用表明，我們的方法可以為移動健康數據的劑量建議提供有意義的見解。

網址：

3、Causal Inference using Gaussian Processes with Structured Latent Confounders

作者：Sam Witty, Kenta Takatsu, David Jensen, Vikash Mansinghka

摘要：潛在干擾因子（confounders）-影響介入選擇和結果的一些未觀察到的變量-可能會對因果效應的估計產生偏差。在某些情況下，這些干擾因子在不同的觀察中是相同的，例如，一所學校的所有學生除了單獨接受任何教育的干預外，還受到學校文化的影響。本文展示了如何對具有這種結構的潛在干擾因子進行建模，從而改進對因果效應的估計。主要創新點是分層貝葉斯模型、帶結構干擾因子的高斯過程（Gaussian processes with structured latent confounders, GP-SLC）和基于橢圓切片采樣（elliptical slice sampling）的蒙特卡羅推理（Monte Carlo inference）算法。GP-SLC提供個體治療效果的原則性貝葉斯不確定性估計，對與干擾因子、協變量、介入和結果相關的函數形式的假設最少。本文還證明，對于線性函數形式，考慮潛在干擾因子中的結構對于因果效應的漸近相容估計是充分的。最后，本文證明了GP-SLC與等級線性模型（ multi-level linear models）和貝葉斯加性回歸樹（Bayesian additive regression trees）等廣泛使用的因果推理技術相比具有競爭力或更高的精確度。基準數據集包括 Infant Health 和Development Program ，以及顯示溫度變化對整個新英格蘭全州能源消耗的影響的數據集。

網址：

4、Counterfactual Cross-Validation:Stable Model Selection Procedure for Causal Inference Models

作者：Yuta Saito, Shota Yasui

摘要：本文研究了conditional average treatment effect（CATE）預測中的模型選擇問題。與以往的研究工作不同，我們的重點是保持候選CATE預測器性能的等級順序，以便能夠準確和穩定地選擇模型。為此，我們分析了模型的性能排名問題，并制定了指導方針，以獲得更好的評價指標。然后，我們提出了一種新的度量方法，它可以高置信度地識別CATE預測器的性能排名。實驗評估表明，我們的度量方法在模型選擇和超參數調整任務上都優于現有的度量方法。

網址：

5、DeepMatch: Balancing Deep Covariate Representations for Causal Inference Using Adversarial Training

作者：Nathan Kallus

摘要：當豐富的協變量（covariates）和復雜的關系需要靈活的神經網絡建模時，我們研究了從觀測數據中進行因果推理時，如何平衡其協變量表示。在這種情況下，諸如傾向于加權和匹配/平衡之類的標準方法分別會因為未正確校正的傾向網絡和不合適的協變量表示而失敗。我們提出了一種基于權重和判別器網絡的對抗訓練的新方法，可以有效地解決這種方法上的差距。這是經過新的理論特征和基于合成與臨床數據的經驗結果證明的，這些結果表明在這種挑戰性的環境中如何解決因果分析。

網址：

6、Efficient Identification in Linear Structural Causal Models with Auxiliary Cutsets

作者：Daniel Kumor, Carlos Cinelli, Elias Bareinboim

摘要：我們提出了一種新的多項式時間（polynomial-time）算法來識別線性因果模型中的結構系數，它包含了以前最先進的方法，統一了幾種不同的識別方法。在這些結果的基礎上，我們開發了一種識別線性系統中總因果效應的程序。

網址：

【導讀】IJCAI（國際人工智能聯合會議，International Joint Conferences on Artificial Intelligence）作為人工智能領域最頂級的國際學術會議之一，IJCAI 的舉辦自然備受矚目。第29屆國際人工智能聯合會議和第17屆環太平洋國際人工智能會議原定于2020年7月11日在日本橫濱召開，但由于疫情影響，將延期半年，至 2021年1月召開。近期，IJCAI 2020 論文集已經放出來。在 4717 份有效投稿中，最終僅有 592 篇被接收，接收率為 12.6%，這也是 IJCAI 史上最低的接收率。我們發現在今年的IJCAI 2020會議上圖神經網絡相關的論文非常多，今天小編專門整理最新6篇圖神經網絡（GNN）應用在自然語言處理上的相關論文——AMR-to-text生成、Path GCN、圖互注意力網絡、常識知識、有向超圖GCN

IJCAI 2020 Accepted Paper: //www.ijcai.org/Proceedings/2020/

IJCAI2020GNN_Part1、ICML2020GNN_Part1、KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、

1、Better AMR-To-Text Generation with Graph Structure Reconstruction 作者：Tianming Wang, Xiaojun Wan, Shaowei Yao

摘要：AMR-to-text 生成是一項艱巨的任務，它需要從基于圖的語義表示中生成文本。最近的研究將這一任務看作是圖到序列的學習問題，并使用各種圖神經網絡來建模圖結構。在本文中，我們提出了一種新的方法，在重構輸入圖結構的同時，從AMR圖中生成文本。我們的模型使用圖注意力機制來聚合信息以對輸入進行編碼。此外，通過優化兩個簡單而有效的輔助重構目標：鏈接預測目標(需要預測節點之間的語義關系)和距離預測目標(需要預測節點之間的距離)，能夠學習到更好的節點表示。在兩個基準數據集上的實驗結果表明，我們提出的模型在強基線上有很大的改善，并達到了新的技術水平。

網址：

2、Multi-hop Reading Comprehension across Documents with Path-based Graph Convolutional Network

作者：Zeyun Tang, Y ongliang Shen, Xinyin Ma, Wei Xu, Jiale Yu, Weiming Lu

摘要：跨多個文檔的多跳（Multi-hop ）閱讀理解近年來備受關注。在本文中，我們提出了一種新的方法來解決這個多跳閱讀理解問題。受人類推理過程的啟發，我們從支持文檔（supporting documents）中構造了一個基于路徑的推理圖。該推理圖結合了基于圖的方法和基于路徑的方法的思想，更適合于多跳推理。同時，我們提出了GATED-RGCN在基于路徑的推理圖上積累證據，GATED-RGCN包含了一種新的問題感知門控機制，以規范跨文檔傳播信息的有用性，并在推理過程中添加問題信息。我們在WikiHop數據集上對我們的方法進行了評估，與以前發布的方法相比，我們的方法達到了最先進的準確性。特別值得一提的是，我們的集成模型比人類的表現高出4.2%。

網址：

3、The Graph-based Mutual Attentive Network for Automatic Diagnosis

作者：Quan Yuan, Jun Chen, Chao Lu, Haifeng Huang 摘要：自動診斷一直存在缺乏可靠語料庫來訓練可信預測模型的問題。此外，以往的基于深度學習的診斷模型大多采用序列學習技術(CNN或RNN)，難以提取關鍵醫療實體之間的復雜結構信息（如圖結構）。本文提出基于真實醫院的高標準電子病歷文檔建立的診斷模型，以提高模型的準確性和可信度。同時，我們將圖卷積網絡引入到該模型中，緩解了稀疏特征的問題，便于提取用于診斷的結構信息。此外，我們還提出了mutual注意網絡來增強輸入的表示，以獲得更好的模型性能。我們在真實電子病歷文檔（ EMR documents）上進行實驗，結果表明與以往基于序列學習的診斷模型相比，該模型具有更高的準確性。我們提出的模型已被集成到中國數百家初級衛生保健機構的信息系統中，以協助醫生進行診斷。

網址：

4、TransOMCS: From Linguistic Graphs to Commonsense Knowledge

作者：Hongming Zhang, Daniel Khashabi, Yangqiu Song, Dan Roth

摘要：常識知識獲取是人工智能的關鍵問題。傳統獲取常識知識的方法通常需要昂貴的人工注釋并且費力，在大范圍內是不可行的。本文探索了一種從語言圖中挖掘常識知識的實用方法，目的是將從語言模式中獲得的廉價知識轉化為昂貴的常識知識。其結果是將大規模的選擇偏好知識資源ASER[Zhang et al., 2020]轉換為TransOMCS，其表示與ConceptNet[Liu and Singh，2004]相同，但比ConceptNet大兩個數量級。實驗結果表明，語言知識可以轉化為常識知識，并且該方法在數量、新穎性和質量方面都是有效的。

代碼：

網址：

5、Two-Phase Hypergraph Based Reasoning with Dynamic Relations for Multi-Hop KBQA

作者：Jiale Han, Bo Cheng, Xu Wang

摘要：多跳知識庫問答(KBQA)旨在通過跨多個三元組的推理來尋找事實問題的答案。值得注意的是，當人類執行多跳推理時，傾向于在不同的跳中集中于特定的關系，并精確定位由該關系連接的一組實體。與利用成對連接來模擬人類執行多跳推理不同，超圖卷積網絡(HGCN)可以通過利用超邊連接兩個以上的節點。然而，HGCN是針對無向圖的，沒有考慮信息傳遞的方向。為了適應具有方向性的知識圖，我們引入了有向HGCN(Directed-HGCN, DHGCN)。受人類逐跳推理的啟發，我們提出了一種基于DHGCN的可解釋KBQA模型，即基于動態關系的兩階段超圖推理，該模型顯式更新關系信息，動態關注不同跳點的不同關系。此外，該模型逐跳預測關系以生成中間關系路徑。我們在兩個廣泛使用的多跳KBQA數據集上進行了大量的實驗，以證明該模型的有效性。

網址：