亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

【導讀】第九屆國際學習表征大會（ICLR 2021）是深度學習領域的國際頂級會議，ICLR 2021一共有2997論文有效提交，大會最終接收860篇論文，其中 Oral 53 篇、Spotlight 114 篇，大會將于5月4-8日于線上舉辦。ICLR 采用公開評審（Open Review ）機制。所有提交的論文都會公開，并且接受所有同行的評審及提問，任何學者都可或匿名或實名地評價論文。而在初審公開之后，論文作者也能夠對論文進行調整和修改以及進行Rebuttal。近期，小編發現對比學習（Contrastive Learning）相關的接受paper非常多，對比學習這幾年方法的研究，特別是難樣本的選取機制以及在CV、NLP、DM上應用也非常廣，也是當前比較火的topic。

為此，這期小編為大家奉上ICLR 2021必讀的六篇對比學習相關論文——稠密文本檢索、對比擾動學習、難樣本對比學習、變換不變性、GAN增強

ICLR 2021 Accepted Papers : //openreview.net/group?id=ICLR.cc/2021/Conference

AAAI2021QA、AAAI2021CI、AAAI2021CL、ICLR2020CI、ICML2020CI

1. Approximate Nearest Neighbor Negative Contrastive Learning for Dense Text Retrieval

作者：Lee Xiong, Chenyan Xiong, Ye Li, Kwok-Fung Tang, Jialin Liu, Paul N. Bennett, Junaid Ahmed, Arnold Overwikj

摘要：在稠密的表示空間中進行文本檢索一般效果還不錯。然而，端到端的學習稠密檢索（DR）通常比不上基于單詞的稀疏檢索。在本文中，我們首先從理論上說明稠密檢索的學習瓶頸是對局部采樣的非信息性負數進行控制，這會導致梯度范數減小，隨機梯度方差大，學習收斂速度慢。然后，我們提出“近似最近鄰居負對比學習”（Approximate nearest neighbor Negative Contrastive Learning, ANCE），這是一種使用異步更新的ANN索引從整個語料庫中全局選擇難訓練否定詞的學習機制。我們的實驗證明了ANCE在網絡搜索，問答以及商業搜索環境中的有效性，還表明ANCE點積檢索幾乎與基于BERT的級聯IR管道的準確性相匹配，而效率卻高出100倍。我們還從經驗上驗證了我們的理論，即使用ANCE進行負采樣可以更好地近似基于oracle梯度范數的重要性采樣，從而提高了隨機訓練的收斂性。

圖片 網址：

**2. Contrastive Learning with Adversarial Perturbations for Conditional Text Generation **

作者：Seanie Lee, Dong Bok Lee, Sung Ju Hwang

摘要：最近，具有Transformer結構的序列到序列（seq2seq）模型在各種條件文本生成任務（例如機器翻譯）上都取得了卓越的性能。但是，大多數訓練中，每個步驟都使用給定的 ground truth 標簽，而在訓練過程中沒有顯示其錯誤生成的詞（tokens），這不利于將其推廣到未知的輸入上，這就是所謂的“曝光偏差”問題。在這項工作中，我們建議通過將正對與負對進行對比來緩解條件文本生成問題，從而使模型暴露于輸入的各種有效或不正確的擾動下，以提高通用性。但是，使用簡單的對比學習框架（使用隨機的非目標序列作為否定示例）來訓練模型是次優的，因為它們很容易與正確的輸出區分開，尤其是在使用大型文本語料庫進行預訓練的模型中。同樣，生成肯定的示例需要特定于域的增強啟發方法，這些啟發方法可能不會在不同的域中泛化。為了解決這個問題，我們提出了一種方法來生成正樣本和負樣本，用于seq2seq模型的對比學習。具體而言，我們通過在輸入序列中添加較小的擾動以最小化其條件可能性來生成否定示例，并通過在施加較大的擾動的同時將其強制具有較高的條件可能性來生成正示例。使用我們的方法生成的這種“難”正負對可以指導模型更好地區分正確的輸出和錯誤的輸出。實驗表明，我們提出的方法在三個文本生成任務（機器翻譯，文本摘要和問題生成）上顯著提高了seq2seq的泛化能力。

圖片 網址：

3. Contrastive Learning with Hard Negative Samples

作者：Joshua David Robinson, Ching-Yao Chuang, Suvrit Sra, Stefanie Jegelka

摘要：我們考慮這樣一個問題：如何為對比學習采樣較好的負例？我們認為，與度量學習一樣，學習對比表示得益于難否定樣本（即難以與錨點區分開的點）。使用難負樣本的主要挑戰在于，對比方法必須保持不受監督，這使得采用現有的使用真實相似性信息的負采樣策略不可行。因此，我們提出了一種新的無監督方法來選擇難負樣本，用戶可以在其中控制難負樣本的數量。這種采樣的局限性導致表示會緊密地聚類每個類，并將不同的類推到盡可能遠的距離。所提出的方法提高了跨多種模式的下游性能，僅需要執行少量額外的代碼行即可，并且不會產生計算開銷。

圖片 網址：

**4. Improving Transformation Invariance in Contrastive Representation Learning **

作者：Adam Foster, Rattana Pukdee, Tom Rainforth

摘要：我們提出了一些方法來增強通過對比學習獲得的表示的不變性。盡管現有的方法在學習表示形式時會隱含地引起一定程度的不變性，但我們希望在編碼過程中更直接地強制不變性。為此，我們首先介紹一個對比學習的訓練目標，該目標使用一種新穎的正則化器來控制表示如何在變換下發生變化。我們顯示，以此目標訓練的表示在下游任務上表現更好，并且在測試時對引入有損的變換器更魯棒。其次，我們提出了一種更改測試時間表示方式的方法，該方法是引入一種特征平均方法，將原始輸入的多次轉換中的編碼進行組合，這會帶來全面的性能提升。最后，我們介紹了新穎的Spirograph數據集，以在具有多個下游任務的可微分生成過程的背景下探索我們的想法，表明我們的學習不變性技術非常有益。

圖片 網址：

**5. Training GANs with Stronger Augmentations via Contrastive Discriminator **

作者：Jongheon Jeong, Jinwoo Shin

摘要：生成式對抗網絡（GAN）中的最新工作正在積極地重新審視各種數據增強技術，以防止判別器過度擬合。但是，還不清楚哪些增強可以真正改善GAN，特別是如何在訓練中應用更多的增強方式。在本文中，我們提出了一種新穎的方法來解決這些問題，將最新的對比表示學習方案整合到判別器中，即被稱為ContraD。這種“融合”使鑒別人員可以進行更強大的擴增，而不會造成災難性的遺忘，從而可以顯著改善GAN訓練。甚至更好的是，我們觀察到對比學習本身也受益于GAN訓練，即保持真實樣本與假樣本之間的區別性特征，表明這兩個方式具有很強的連貫性：良好的對比表示對GAN判別器也有好處，反之亦然。我們的實驗結果表明，與其他最近使用數據增強的技術相比，具有ContraD的GAN一直在提高FID分數，就線性評估而言，仍然在判別器中保持高度鑒別性。最后，作為副產品，我們證明了以無監督方式（無標簽）訓練的GAN可以利用ContraD的學習功能，通過簡單的潛在采樣來誘導許多條件生成模型。

圖片 網址：

6. What Should Not Be Contrastive in Contrastive Learning

作者：Tete Xiao, Xiaolong Wang, Alexei A Efros, Trevor Darrell

摘要：最近的自監督對比方法已經能夠通過學習不依賴于不同的數據擴充來產生令人印象深刻的可轉移視覺表示。但是，這些方法隱式地假設了一組特定的表示不變性（例如，顏色不變性），并且當下游任務違反該假設時（例如，區分紅色和黃色的汽車），效果可能會很差。我們引入了一個對比性學習框架，該框架不需要特定的，與任務相關的不變性的先驗知識。我們的模型通過構建單獨的嵌入空間來學習捕獲視覺表示的變化和不變因素，每個嵌入空間除了一個擴充之外，其他所有空間都不變。我們使用具有共享主干的多頭網絡，該主干可以捕獲每個擴充中的信息，并且其性能要優于下游任務的所有基準。我們進一步發現，在我們研究的所有任務（包括粗粒度，細粒度和few-shot分類任務）以及各種數據損壞中，不變空間和變化空間的串聯效果最佳。

圖片 網址：

【導讀】人工智能頂級會議AAAI2021接收結果已經公布，本次AAAI 2021一共收到9034篇論文提交，其中有效審稿的只有7911篇，最終錄取的數量為1692篇，接收率為21.4%，相比去年的20.6%高0.8%，競爭越來越激烈。近期，所有paper list 放出，小編發現基于序列推薦（Sequential Recommendation，SR）相關的接受paper還不少，序列推薦這幾年比如時序性行為分析、冷啟動序列推薦、線上實時推理機制等等一些列前沿的方法和應用受到了很多人的關注，也是當前比較火的topic。

為此，這期小編為大家奉上AAAI 2021必讀的五篇序列推薦相關論文——用戶自適應推理、冷啟動序列推薦、動態記憶注意力網絡、自注意力輔助信息融合、預訓練用戶表示學習

AAAI 2021 Accepted Papers : //aaai.org/Conferences/AAAI-21/wp-content/uploads/2020/12/AAAI-21_Accepted-Paper-List.Main_.Technical.Track_.pdf

AAAI2021QA、AAAI2021CI、AAAI2021CL、ICLR2020CI、ICML2020CI

1. A User-Adaptive Layer Selection Framework for Very Deep Sequential Recommender Models

作者：Lei Chen, Fajie Yuan, Jiaxi Yang, Xiang Ao, Chengming Li, Min Yang

摘要：序列推薦系統（SRS）已成為最近的研究熱點。由于需要吸引用戶的動態興趣，因此與標準協同過濾方法相比，基于序列神經網絡的推薦器模型通常需要堆疊更多的隱藏層（例如，最多100層）。但是，將非常深的推薦模型部署到生產環境中時，高網絡延遲已成為主要障礙。在本文中，我們認為，在推理階段將所有用戶均等對待的經典預測框架在運行時間上效率低下，并且準確性不夠理想。為了解決這個問題，我們提出了SkipRec，這是一種自適應推理框架，通過學習在每個用戶基礎（per-user basis）上跳過不活躍的隱藏層。具體來說，我們設計了一個策略網絡來自動確定應保留哪些層以及允許跳過哪些層，從而實現特定于用戶的決策。為得出最佳的跳過策略，我們建議使用gumbel softmax和強化學習來解決反向傳播期間的不可微問題。我們在三個真實世界的推薦數據集上進行了廣泛的實驗，并證明SkipRec可以在相當短的推理時間內獲得可比或更高的準確性。

網址：

2. Cold-start Sequential Recommendation via Meta Learner

作者：Yujia Zheng, Siyi Liu, Zekun Li, Shu Wu

摘要：本文探索了序列推薦的元學習，以緩解項目的冷啟動問題。序列推薦旨在根據歷史行為序列來捕獲用戶的動態偏好，并充當大多數在線推薦方案的關鍵組成部分。但是，大多數以前的方法都很難推薦冷啟動商品。由于在序列推薦任務的設置中通常沒有輔助信息，因此當僅用戶-商品交互可用時，無法應用先前的冷啟動方法。因此，我們提出了一種基于元學習的冷啟動序列推薦框架Mecos，以緩解序列推薦中的商品冷啟動問題。這項任務并非易事，因為它的目標是在新穎而富挑戰性的背景下解決一個重要問題。Mecos有效地從有限的交互中提取用戶的偏好，并學習將目標冷啟動商品與潛在用戶進行匹配。此外，我們的框架可以與基于神經網絡的模型輕松集成。在三個真實的數據集上進行的廣泛實驗證明了Mecos的優越性，與最先進的基準方法相比，HR @ 10的平均提升高達99％，91％和70％。

圖片 網址：

3. Dynamic Memory Based Attention Network for Sequential Recommendation

作者：Qiaoyu Tan, Jianwei Zhang, Ninghao Liu, Xiao Huang, Hongxia Yang, Jingren Zhou, Xia Hu

摘要：在各種在線服務中，序列推薦已變得越來越重要。它旨在根據用戶的歷史交互來建模其動態偏好，并預測其下一個商品。實際系統上累積的用戶行為記錄可能會很長，這些豐富的數據帶來了跟蹤用戶實際興趣的機會。先前的工作主要集中在根據相對近期的行為上提出建議。但是，可能無法有效地利用總體序列數據，因為早期交互可能會影響用戶當前的選擇。此外，由于實際系統需要較短的響應時間，因此無法承擔在為每個用戶執行推理時掃描整個行為序列。為了彌合差距，我們提出了一種新穎的長序列推薦模型，稱為基于動態記憶的注意力網絡（DMAN）。它將整個長期行為序列劃分為一系列子序列，然后訓練模型并維護一組記憶塊（memory blocks），以維護用戶的長期利益。為了提高記憶保真度，DMAN通過最大程度地減少輔助重建損失，將每個用戶的長期興趣動態地抽象到其自己的記憶塊中。基于動態記憶，可以明確提取用戶的短期和長期興趣，并將其組合起來以進行有效的聯合推薦。在四個基準數據集的實驗結果表明，我們的模型在捕獲與各種最新序列模型的長期依賴關系方面具有優勢。

圖片 網址：

4. Non-invasive Self-attention for Side Information Fusion in Sequential Recommendation

作者：Chang Liu, Xiaoguang Li, Guohao Cai, Zhenhua Dong, Lifeng Shang, Hong Zhu

摘要：序列推薦系統旨在根據用戶的歷史行為來模擬他們不斷發展的興趣，從而制定與時間相關的自定義推薦。與傳統模型相比，CNN和RNN等深度學習方法在推薦任務方面取得了顯著進步。最近，由于BERT框架在處理序列數據中的自注意力機制，其也成為一種有前途的方法。但是，原始BERT框架的局限性在于它僅考慮自然語言 tokens的一種輸入來源。在BERT框架下利用各種類型的信息仍然是一個懸而未決的問題。盡管如此，從直覺上講，利用其他輔助信息（例如商品類別或標簽）來獲得更全面的描述和更好的建議。在我們的試驗性實驗中，我們發現了一些簡單的方法，它們直接將各種輔助信息融合到商品嵌入中，通常帶來的影響很小甚至是負面的。因此，在本文中，我們提出了NOninVasive自注意力機制（NOV A），以在BERT框架下有效利用輔助信息。NOVA利用輔助信息來產生更好的注意力分布，而不是直接更改商品嵌入，可能導致信息的不堪重負。我們在公共和商業數據集上都驗證了NOVA-BERT模型，并且我們的方法可以以可忽略的計算開銷穩定地勝過最新模型。

圖片 網址：

5. U-BERT: Pre-training User Representations for Improved Recommendation

作者：Zhaopeng Qiu, Xian Wu, Jingyue Gao, Wei Fan

摘要：學習用戶表示對于推薦系統來說是一項關鍵任務，因為它可以對個性化服務的用戶偏好進行編碼。通常從行為數據（例如單擊交互和評論）中學習用戶表示。但是，對于不太流行的領域，行為數據不足以學習精確的用戶表示。為了解決這個問題，自然的想法是利用內容豐富的領域來補充用戶表示。受到BERT在NLP中的最新成功的啟發，我們提出了一種新穎的基于預訓練和微調的方法U-BERT。與典型的BERT應用程序不同，U-BERT是為推薦而定制的，并在預訓練和微調中使用了不同的框架。在預訓練中，U-BERT專注于內容豐富的領域，并引入了用戶編碼器和評論編碼器來對用戶的行為進行建模。提出了兩種預訓練策略來學習一般的用戶表示形式。在微調中，U-BERT專注于目標內容不足的領域。除了從預訓練階段繼承的用戶和評論編碼器之外，U-BERT還引入了項目編碼器來對項目表示進行建模。此外，提出了一個評論匹配層，以捕獲用戶和商品評論之間的更多語義交互。最后，U-BERT結合了用戶表示，項目表示和審閱交互信息以提高推薦性能。在來自不同領域的六個基準數據集的實驗證明了U-BERT的最新性能。

圖片 網址：

【導讀】人工智能頂級會議AAAI2021接收結果已經公布，本次AAAI 2021一共收到9034篇論文提交，其中有效審稿的只有7911篇，最終錄取的數量為1692篇，接收率為21.4%，相比去年的20.6%高0.8%，競爭越來越激烈。近期，所有paper list 放出，小編發現基于問答（Question Answering，QA）相關的接受paper很多，常識問答、知識問答、對話問答等等一些列前沿的方法和應用受到了很多人的關注，也是當前比較火的topic。

為此，這期小編為大家奉上AAAI 2021必讀的七篇問答相關論文——知識增強的常識問答、零樣本常識問答、對話問答、對偶問答、場景問答

AAAI 2021 Accepted Papers : //aaai.org/Conferences/AAAI-21/wp-content/uploads/2020/12/AAAI-21_Accepted-Paper-List.Main_.Technical.Track_.pdf

AAAI2021CI、AAAI2021CL、ICLR2020CI、ICML2020CI

1. Benchmarking Knowledge-Enhanced Commonsense Question Answering via Knowledge-to-Text Transformation

作者：Ning Bian, Xianpei Han, Bo Chen, Le Sun

摘要：人類的一項基本能力是在語言理解和問題解答中利用常識知識。近年來，已經提出了許多知識增強的常識問答（CQA）方法。但是，目前尚不清楚：（1）利用CQA的外部知識能走多遠？（2）當前的CQA模型已開發了多少知識潛能？（3）未來CQA最有希望的方向是什么？為了回答這些問題，我們通過使用簡單有效的知識到文本轉換框架對多個標準CQA數據集進行廣泛的實驗來對知識增強的CQA進行基準測試。實驗表明：（1）我們的知識文本框架是有效的，并且在CQA數據集上達到了最先進的性能，為CQA提供了簡單而強大的知識增強基線；（2）知識的潛力仍遠未在CQA中得到充分利用-從當前模型到具有黃金知識的模型之間存在巨大的性能差距；（3）上下文相關知識選擇，異構知識開發和常識性語言模型是后續CQA的方向。

圖片 網址：

2. Dynamic Neuro-Symbolic Knowledge Graph Construction for Zero-shot Commonsense Question Answering

作者：Antoine Bosselut, Ronan Le Bras, Yejin Choi

摘要：理解故事敘述（Understanding narratives）需要推理有關隱含的世界知識的知識，這些知識與文本中描述情況的原因，結果和狀態有關。這個挑戰的核心是如何按需訪問上下文相關的知識并對其進行推理。在本文中，我們通過將任務轉換為對動態生成的常識知識圖的推理，并提出了對零樣本常識問答的初步研究。與以往依賴于從靜態知識圖中檢索現有知識的知識集成研究相反，我們的研究需要常識性知識集成，而在現有知識庫中通常不存在與上下文相關的知識。因此，我們提出了一種新穎的方法，該方法使用生成的神經常識知識模型按需生成上下文相關的符號知識結構。在兩個數據集上的實驗結果證明了我們的神經符號方法對于動態構建知識圖進行推理有著不錯的效果。另外，我們的方法在預訓練的語言模型和原始知識模型上均取得了顯著的性能提升，同時為預測提供了可解釋的推理路徑。

圖片 網址：

3. Knowledge-driven Data Construction for Zero-shot Evaluation in Commonsense Question Answering

作者：Kaixin Ma, Filip Ilievski, Jonathan Francis, Yonatan Bisk, Eric Nyberg, Alessandro Oltramari

摘要：預訓練神經語言建模的最新發展已使得常識問答基準模型的準確性有了很大的提升。但是，人們越來越擔心在不學習利用外部知識或執行一般語義推理的情況下，模型僅僅適合特定任務。相比之下，零樣本評估可以更可靠地衡量模型的一般推理能力。在本文中，我們針對常識性任務的零樣本問題提出了一種新穎的神經符號框架。在一組假設的指導下，該框架研究如何將各種現有的知識資源轉換成對預訓練模型最有效的形式，另外，我們會改變語言模型，訓練制度，知識來源和數據生成策略的集合，并衡量它們在各項任務中的影響。在先前工作的基礎上，我們設計并比較了四種受約束的干擾采樣策略，使用來自五個外部知識資源的數據提供了五個常識性問答任務的實驗結果。實驗表明，雖然單個知識圖更適合于特定任務，但全局知識圖可為不同任務帶來一致的幫助。此外，我們發現保留任務的結構以及生成公平而翔實的問題都有助于語言模型更有效地學習。

圖片 網址：

4. Reinforced History Backtracking for Conversational Question Answering

作者：Minghui Qiu, Xinjing Huang, Cen Chen, Feng Ji, Chen Qu, Wei Wei, Jun Huang, Yin Zhang

摘要：在多輪對話中建模上下文歷史記錄已成為邁向更好理解問答系統中用戶查詢的關鍵步驟。為了利用上下文歷史信息，大多數現有研究將整個上下文視為輸入，這將不可避免地面臨以下兩個挑戰。首先，對悠久的歷史進行建模可能會很昂貴，因為它需要更多的計算資源。其次，較長的上下文歷史記錄包含許多不相關的信息，這使得很難對與用戶查詢有關的適當信息進行建模。為了緩解這些問題，本文提出了一種基于強化學習的方法來捕獲和回溯相關的對話歷史，以提高模型性能。我們的方法試圖利用模型性能的隱式反饋自動回溯歷史信息，進一步考慮立即和延遲的獎勵，以指導強化的回溯政策。在大型對話式問答數據集上進行的大量實驗表明，所提出的方法可以緩解由較長的上下文歷史引起的問題。同時，實驗表明該方法比其他模型具有更好的性能。

圖片 網址：

5. What the role is vs. What plays the role: Semi-supervised Event Argument Extraction via Dual Question Answering

作者：Yang Zhou, Yubo Chen, Jun Zhao, Yin Wu, Jiexin Xu, Jinlong Li

摘要：事件論點提取（Event argument extraction）是事件提取中的一項基本任務，在資源匱乏的情況下尤其具有挑戰性。我們從兩個方面解決了資源匱乏情況下現有研究中的問題。從模型的角度來看，現有的方法總是擔心參數共享不足，并且沒有考慮角色的語義，這不利于處理稀疏數據。從數據的角度來看，大多數現有方法都專注于數據生成和數據增強。但是，這些方法嚴重依賴于外部資源，這比創建未標記的數據更費力。在本文中，我們提出了一種新穎的框架DualQA，該框架將事件論點提取任務建模為問題回答，以緩解數據稀疏問題，并利用事件論點識別的雙重性（即“起什么作用”）作為事件角色識別，即詢問“角色是什么”，以相互促進。在兩個數據集上的實驗結果證明了我們方法的有效性，特別是在資源極少的情況下。

圖片 網址：

6. TSQA: Tabular Scenario Based Question Answering

作者：Xiao Li, Yawei Sun, Gong Cheng

摘要：基于場景的問題解答（SQA）引起了越來越多的研究興趣。與經過深入研究的機器閱讀理解（MRC）相比，SQA是一項更具挑戰性的任務：一個場景不僅可以包含用于閱讀的文本段落，還可以包含諸如表的結構化數據，即基于表格的場景問答（TSQA）。TSQA的AI應用程序（例如在高中考試中回答多項選擇題）要求綜合多個單元格中的數據，并將表格與文本和領域知識相結合以推斷出答案。為了支持這項任務的研究，我們構建了GeoTSQA。該數據集包含1k個實際問題，這些問題由地理領域中的表格情境所關聯。為了解決該任務，我們使用TTGen（一種新穎的表到文本生成器）擴展了最新的MRC方法。它從各種合成的表格數據生成句子，并向下游MRC方法提供最有用的句子。它的句子排序模型融合了場景，問題和領域知識中的信息。在GeoTSQA上，我們的方法優于各種強大的基線方法。

圖片 網址：

7. Unanswerable Question Correction in Question Answering over Personal Knowledge Base

作者：An-Zi Yen, Hen-Hsen Huang, Hsin-Hsi Chen

摘要：在本文中，我們旨在構建一個問答系統，使人們可以通過個人知識庫查詢過去的經歷。以前有關知識庫問答的工作著重于尋找可回答問題的答案。但是，在現實世界的應用程序中，人們經常混淆事實，并提出那些知識庫無法回答的問題。這項工作提出了一個由問題回答模型和問題產生模型組成的新穎系統。它不僅可以回答可疑問題，還可以在必要時糾正無法解決的問題。我們的問題回答模型可以識別與個人知識庫狀態不符的問題，并提出可以構成可行問題的事實。然后，通過問題生成模型將事實轉換為可回答的問題。為提煉問題，我們提出了一種基于強化學習（RL）和問題編輯機制的問題生成模型。實驗結果表明，我們提出的系統可以有效地糾正個人知識庫問答中無法回答的問題。

圖片 網址：

【導讀】人工智能頂級會議AAAI2021接收結果已經公布，本次AAAI 2021一共收到9034篇論文提交，其中有效審稿的只有7911篇，最終錄取的數量為1692篇，接收率為21.4%，相比去年的20.6%高0.8%，競爭越來越激烈。近期，所有paper list 放出，小編發現基于3D視覺目標學習（3D Object Learning）相關的接受paper很多，3D視覺，比如點云分析、3D目標檢測和分類等等一些列前沿的方法和應用受到了很多人的關注，也是當前比較火的topic。

為此，這期小編為大家奉上AAAI 2021必讀的五篇3D視覺目標學習相關論文——增量式3D目標學習、幾何解糾纏表示、魯棒3D形狀表示、3D點云檢測、高性能基于Voxel 3D目標檢測

AAAI 2021 Accepted Papers : //aaai.org/Conferences/AAAI-21/wp-content/uploads/2020/12/AAAI-21_Accepted-Paper-List.Main_.Technical.Track_.pdf

AAAI2021CI、AAAI2021CL、ICLR2020CI、ICML2020CI

1. I3DOL: Incremental 3D Object Learning without Catastrophic Forgetting

作者：Jiahua Dong, Yang Cong, Gan Sun, Bingtao Ma, Lichen Wang

摘要：3D目標分類在學術研究和工業應用中引起了人們的關注。但是，當面對常見的現實場景時，大多數現有方法都需要訪問過去3D目標類的訓練數據：新的3D目標類按順序到達。此外，由于3D點云數據的不規則和冗余幾何結構，對于過去學習的已知類（即災難性遺忘），先進方法的性能會大大降低。為了解決這些挑戰，我們提出了一種新的增量式3D目標學習（即I3DOL）模型，這是不斷學習新類別的3D目標的首次探索。具體來說，自適應幾何質心模塊被設計用來構造可區分的局部幾何結構，從而可以更好地表征3D目標的不規則點云表示。然后，為防止冗余幾何信息帶來的災難性遺忘，我們開發了一種幾何感知注意力機制來量化局部幾何結構的貢獻，并探索對類別增量學習具有高貢獻的獨特3D幾何特征。同時，提出了一種分數公平性補償策略，通過在驗證階段補償新類的偏向預測，進一步減輕了過去和新類3D目標之間數據不平衡所導致的災難性遺忘。在3D代表性數據集上進行的實驗驗證了I3DOL框架的優越性。

圖片 網址：

2. Learning Geometry-Disentangled Representation for Complementary Understanding of 3D Object Point Cloud

作者：Mutian Xu, Junhao Zhang, Zhipeng Zhou, Mingye Xu, Xiaojuan Qi, Yu Qiao

網址：在2D圖像處理中，一些嘗試將圖像分解為高頻和低頻分量，分別描述邊緣和平滑部分。類似地，3D目標的輪廓和平坦區域（例如椅子的邊界和座椅區域）描述了不同但互補的幾何形狀。但是，這樣的研究在以前的深層網絡中丟失了，這些深層網絡通過直接平等地對待所有點或局部面來理解點云。為了解決這個問題，我們提出了幾何分離注意力網絡（GDANet）。GDANet引入了Geometry-Disentangle模塊，可將點云動態分解為3D目標的輪廓和平坦部分，分別由清晰而柔和的變化分量表示。然后，GDANet利用Sharp-Gentle Complementary Attention模塊，該模塊將銳利和柔和變化成分的特征視為兩個整體表示，并在將它們分別與原始點云特征融合時給予了不同的關注。通過這種方式，我們的方法從兩個不同的解纏組件中捕獲并完善了整體和互補的3D幾何語義，以補充局部信息。關于3D目標分類和細分基準的大量實驗表明，GDANet使用更少的參數即可實現最新技術。

圖片 網址：

3. Learning Local Neighboring Structure for Robust 3D Shape Representation

作者：Zhongpai Gao, Junchi Yan, Guangtao Zhai, Juyong Zhang, Yiyan Yang, Xiaokang Yang

摘要：網格（Mesh）是用于3D形狀的強大數據結構。3D網格的表示學習在許多計算機視覺和圖形應用中很重要。卷積神經網絡（CNN）在結構化數據（例如圖像）方面的最新成功表明，將CNN的洞察力應用于3D形狀具有重要意義。但是，由于每個節點的鄰居都是無序的，因此3D形狀數據是不規則的。已經開發出了用于3D形狀的各種圖神經網絡以克服圖中的節點不一致問題，例如：具有各向同性過濾器或預定義局部坐標系。但是，各向同性過濾器或預定義的局部坐標系會限制表示能力。在本文中，我們提出了一種局部結構感知anisotropic卷積運算（LSA-Conv），該算法根據局部鄰近結構為每個節點學習自適應加權矩陣，并執行共享anisotropic濾波器。實際上，可學習的加權矩陣類似于隨機合成器中的注意力矩陣-一種用于自然語言處理（NLP）的新型Transformer模型。全面的實驗表明，與最新方法相比，我們的模型在3D形狀重建中產生了顯著改善。

圖片 網址：

4. PC-RGNN: Point Cloud Completion and Graph Neural Network for 3D Object Detection

作者：Yanan Zhang, Di Huang, Yunhong Wang

摘要：基于LiDAR的3D目標檢測是自動駕駛的一項重要任務，當前的方法遭受著遙遠和被遮擋目標的稀疏和部分點云的困擾。在本文中，我們提出了一種新穎的兩階段方法，即PC-RGNN，它通過兩個特定的解決方案來應對此類挑戰。一方面，我們引入了點云完成模塊，以恢復密集點和保留原始結構的整個視圖的高質量建議。另一方面，設計了一個神經網絡模塊，該模塊通過局部全局注意力機制以及基于多尺度圖的上下文聚合來全面捕獲點之間的關系，從而大大增強了編碼特征。在KITTI基準上進行的大量實驗表明，所提出的方法以顯著優勢超越了之前的最新基準。

圖片 網址：

5. Voxel R-CNN: Towards High Performance Voxel-based 3D Object Detection

作者：Jiajun Deng, Shaoshuai Shi, Peiwei Li, Wengang Zhou, Yanyong Zhang, Houqiang Li

摘要：3D目標檢測的最新進展在很大程度上取決于如何表示3D數據，即，基于體素（voxel-based）或基于點的表示。許多現有的高性能3D檢測器都是基于點的，因為這種結構可以更好地保留精確的點位置。但是，由于無序存儲，點級特征能會導致較高的計算開銷。相反，基于voxel的結構更適合特征提取，但由于輸入數據被劃分為網格，因此通常產生較低的精度。在本文中，我們采取了略有不同的觀點-我們發現原始點的精確定位對于高性能3D目標檢測不是必需的，并且粗體素粒度還可以提供足夠的檢測精度。牢記這一觀點，我們設計了一個簡單但有效的基于voxel的框架，名為Voxel R-CNN。通過在兩階段方法中充分利用體素特征，我們的方法可與基于點的最新模型實現可比的檢測精度，但計算成本卻很小。Voxel R-CNN由3D骨干網絡，2D鳥瞰（bird-eye-view, BEV）候選區域網絡和檢測頭組成。設計了體素RoI池以直接從體素特征中提取RoI特征，以進行進一步優化。在廣泛使用的KITTI數據集和最新的Waymo Open數據集上進行了廣泛的實驗。我們的結果表明，與現有的基于體素的方法相比，Voxel R-CNN在保持實時幀處理速率的同時，在NVIDIA RTX 2080 Ti GPU上以25 FPS的速度提供了更高的檢測精度。該代碼將很快發布。

網址：

【導讀】人工智能頂級會議AAAI2021接收結果已經公布，本次AAAI 2021一共收到9034篇論文提交，其中有效審稿的只有7911篇，最終錄取的數量為1692篇，接收率為21.4%，相比去年的20.6%高0.8%，競爭越來越激烈。近期，所有paper list 放出，小編發現基于視頻理解（Video Understanding）相關的接受paper很多，視頻理解，比如視頻分割、視頻分類以及視頻描述生成等等一些列前沿的方法和應用受到了很多人的關注。

為此，這期小編為大家奉上AAAI 2021必讀的六篇視頻理解相關論文——視頻實例分割、無監督視頻目標分割、粗到細視頻描述生成、時空圖神經網絡視頻目標分割、視頻情感分析

AAAI 2021 Accepted Papers : //aaai.org/Conferences/AAAI-21/wp-content/uploads/2020/12/AAAI-21_Accepted-Paper-List.Main_.Technical.Track_.pdf

AAAI2021CI、AAAI2021CL、ICLR2020CI、ICML2020CI

1. CompFeat: Comprehensive Feature Aggregation for Video Instance Segmentatio

作者：Yang Fu, Linjie Yang, Ding Liu, Thomas S. Huang, Humphrey Shi

摘要：視頻實例分割是一項復雜的任務，我們需要針對任何給定視頻對每個目標進行檢測，分割和跟蹤。先前的方法僅將單幀特征用于目標的檢測，分割和跟蹤，并且當遇到諸如運動模糊和劇烈的外觀變化之類情形，它們在視頻場景中會遭受損失。為了消除僅通過使用單幀特征引入的歧義，我們提出了一種新穎的綜合特征聚合方法（comprehensive feature aggregation, CompFeat），以利用時間和空間上下文信息在幀級和目標級完善特征。我們使用新的注意力機制精心設計了聚合過程，該機制會顯著提高學習特征的判別力。通過合并特征相似性和空間相似性，我們通過siamese設計進一步提高了模型的跟蹤能力。在YouTubeVIS數據集上進行的實驗驗證了我們提出的CompFeat的有效性。

圖片 代碼：

.

網址：

2. F2Net: Learning to Focus on the Foreground for Unsupervised Video Object Segmentation

作者：Daizong Liu, Dongdong Yu, Changhu Wang, Pan Zhou

摘要：盡管基于深度學習的方法在無監督的視頻目標分割中取得了很大的進步，但是仍然不能很好地處理困難的場景（例如，視覺相似性，遮擋和外觀變化）。為了緩解這些問題，我們提出了一種新穎的Focus on Foreground Network（F2Net），該框架深入研究了前景目標的幀間細節，從而有效地提高了分割性能。具體來說，我們提出的網絡由三個主要部分組成：siamese編碼器模塊，中心指導外觀擴散（ Center Guiding Appearance Diffusion）模塊和動態信息融合模塊。首先，我們使用siamese編碼器提取成對幀（參考幀和當前幀）的特征表示。然后，設計了中心指導外觀擴散方式，以捕獲幀間特征（參考幀與當前幀之間的密集對應關系），幀內特征（當前幀中的密集對應關系）以及當前幀的原始語義特征。具體來說，我們建立了一個中心預測分支來預測當前目標在當前幀中的中心位置，并在增強幀間和幀內特征提取之前利用中心點信息作為空間指導，因此特征表示相當集中在前景目標上。最后，我們提出了一種動態信息融合模塊，可以通過上述三個不同級別的特征自動選擇相對重要的特征。在DAVIS2016，Youtube-object和FBMS數據集上進行的大量實驗表明，我們提出的F2Net可以實現最先進的性能，并且具有顯著的改進。

圖片 網址：

3. Non-Autoregressive Coarse-to-Fine Video Captioning

作者：Bang Yang, Yuexian Zou, Fenglin Liu, Can Zhang

摘要：目前在橋接視頻（bridge videos）和自然語言方面取得了很不錯的進展。然而，由于自動回歸解碼的順序方式，主流視頻字幕生成方法的推理速度較慢，并且由于對視覺單詞（例如，名詞和動詞）的訓練不足和解碼范式不足，更傾向于生成一般描述。在本文中，我們提出了一種基于非自回歸解碼的模型，該模型具有從粗到精的字幕處理程序，可以緩解這些缺陷。在實現中，我們采用基于雙向自注意力的網絡作為我們的語言模型，以實現推理速度的提高，在此基礎上，我們將視頻描述生成過程分解為兩個階段，其中模型具有不同的聚焦點。具體而言，鑒于視覺單詞決定字幕的語義正確性，我們設計了一種生成視覺單詞的機制，不僅可以促進與場景相關的單詞的訓練，而且可以從視頻中捕獲相關細節以構建粗粒度的句子“模板”。此后，我們設計了專用的解碼算法，該算法用合適的詞填充“模板”，并通過迭代細化修改不適當的措詞以獲得細粒度的描述。在兩個主流視頻字幕基準（即MSVD和MSR-VTT）上進行的大量實驗表明，我們的方法可實現最先進的性能，生成多種描述并獲得較高的推理效率。

圖片 網址：

4. Spatiotemporal Graph Neural Network based Mask Reconstruction for Video Object Segmentation

作者：Daizong Liu, Shuangjie Xu, Xiao-Yang Liu, Zichuan Xu, Wei Wei, Pan Zhou

摘要：本文解決了在半監督環境中分割與類無關的目標的任務。盡管以前的基于檢測的方法實現了相對較好的性能，但是這些方法通過貪婪策略提取了最佳proposal，這可能會丟失所選候選目標之外的局部patch的詳細信息。在本文中，我們提出了一種新穎的時空圖神經網絡（STG-Net），以重建用于視頻目標分割的更準確的掩碼（masks），該掩碼通過利用所有proposal來捕獲局部上下文。在空間圖中，我們將一幀的目標proposal作為節點對待，并使用用于掩碼上下文聚合的邊緣權重策略表示它們的相關性。為了從先前的幀中捕獲時間信息，我們使用記憶網絡通過檢索時間圖中的歷史掩碼來細化當前幀的掩碼。局部補丁細節和時間關系的共同使用使我們能夠更好地解決諸如目標遮擋和丟失之類的挑戰。在沒有在線學習和微調的情況下，我們的STG網絡在四個大型基準（DAVIS，YouTube-VOS，SegTrackv2和YouTube-Objects）上實現了最先進的性能，證明了該方法的有效性。

網址：

5. Quantum Cognitively Motivated Decision Fusion for Video Sentiment Analysis

作者：Dimitris Gkoumas, Qiuchi Li, Shahram Dehdashti, Massimo Melucci, Yijun Yu, Dawei Song

摘要：視頻情感分析作為一個決策過程，其本質是復雜的，涉及多種模態的決策和由此引起的認知偏差的融合。受量子認知（quantum cognition）最新進展的啟發，我們表明一種模態的情感判斷可能與另一種模態的判斷不兼容，即順序很重要，無法共同衡量它們以做出最終決定。因此，認知過程表現出經典概率理論無法捕捉到的“量子式”偏見。因此，我們提出了一種根本上新穎的，量子認知動機的融合策略，用于預測情感判斷。特別地，我們在具有正算子值測度的復值希爾伯特空間上，將話語表述為正負情緒判斷的量子疊加狀態，將單模態分類器表述為互不相容的可觀測量。在兩個基準數據集上進行的實驗表明，我們的模型明顯優于各種現有決策級別和一系列最新的內容級別融合方法。結果還表明，不兼容的概念允許有效處理所有組合模態，包括所有單峰分類器錯誤預測的極端情況。

圖片 網址：

【導讀】人工智能頂級會議AAAI2021接收結果已經公布，本次AAAI 2021一共收到9034篇論文提交，其中有效審稿的只有7911篇，最終錄取的數量為1692篇，接收率為21.4%，相比去年的20.6%高0.8%，競爭越來越激烈。近期，所有paper list 放出，小編發現基于因果推理（Causal Inference）相關的投稿paper很多，因果推理，以及反事實等相關理論方法在CV、NLP都開始有相關的應用了，這個前沿的方法受到了很多人的關注。

為此，這期小編為大家奉上AAAI 2021必讀的六篇因果推理相關論文——故事情節生成、反事實公平性、定向因果圖、元因果學習、算法公平性

AAAI 2021 Accepted Papers : //aaai.org/Conferences/AAAI-21/wp-content/uploads/2020/12/AAAI-21_Accepted-Paper-List.Main_.Technical.Track_.pdf

ICLR2020CI、ICML2020CI

1. Automated Storytelling via Causal, Commonsense Plot Ordering

作者：Prithviraj Ammanabrolu, Wesley Cheung, William Broniec, Mark O. Riedl

摘要：故事情節的自動生成是一個生成情節事件連貫序列的任務。人們認為，情節事件之間的因果關系會增加對故事和情節連貫性的認識。在這項工作中，我們引入軟因果關系（soft causal relations）的概念，這是從常識推理中得出的因果關系。我們提出了C2PO，一種敘事生成方法，通過因果關系，常識性情節排序（Commonsense Plot Ordering）來實現此概念。使用人類參與協議（human-participant protocols），我們使用具有不同常識性推理方法和歸納性偏差的基準系統評估我們的系統，以確定軟因果關系在感知故事質量中的作用。通過這些研究，我們還探討了不同敘事類型的常識性規范的變化如何影響故事質量的感知。

代碼：

網址：

2. Counterfactual Fairness with Disentangled Causal Effect Variational Autoencoder

作者：Hyemi Kim, Seungjae Shin, JoonHo Jang, Kyungwoo Song, Weonyoung Joo, Wanmo Kang, Il-Chul Moon

摘要：如果我們提出一種從分類特征中刪除嵌入的敏感信息的方法，則可以緩解公平分類的問題。區分敏感信息的這條研究線是通過因果推理而建立的，因果推理使反事實世代（counterfactual generations）能夠對比相反敏感屬性的假設情況。隨著因果關系的分離，深層潛在因果模型中的一個常見假設定義了一個單個潛在變量來吸收因果圖的整個外生不確定性。但是，這種結構無法從數據中區分出1）干預（intervention）引起的信息（即敏感變量）和2）與干預相關的信息。因此，本文提出了解因果效應變量自編碼器（DCEVAE），通過將外部不確定性分解為兩個潛在變量來解決這一局限性：1）獨立于干預措施或2）與無因果關系的干預措施相關。特別地，我們的解纏方法保留了與生成反事實示例的干預措施相關的潛在變量。我們證明了我們的方法在沒有完整因果圖的情況下估計了總體效果和反事實效果。通過添加公平正則化，DCEVAE可以生成反事實公平數據集，同時減少了原始信息。而且，DCEVAE僅通過翻轉敏感信息即可生成自然的反事實圖像。此外，我們從潛在的糾纏的角度從理論上展示了DCEVAE和先前工作的協方差結構的差異。

網址：

3. Discovering Fully Oriented Causal Networks

作者：Osman Mian, Alexander Marx and Jilles Vreeken

摘要：我們研究了從觀測數據推斷因果圖的問題。我們對發現所有邊緣是定向的圖特別感興趣，這與最新技術發現的部分有向圖相反。為此，我們的方法基于算法馬爾可夫條件。與統計馬爾可夫條件不同，它唯一地標識了真正的因果網絡，因為它是最簡單的聯合分布因式分解（以Kolmogorov復雜性衡量）。盡管Kolmogorov復雜度無法計算，但我們可以通過最小描述長度原理從上方進行近似，這使我們能夠基于非參數多元回歸定義一致且可計算的得分。為了在實踐中有效地發現因果網絡，我們引入了GLOBE算法，該算法貪婪地添加，移除和定向邊緣，以使總損失最小化。通過廣泛的實驗，我們證明了GLOBE在實踐中表現非常出色，略微領先于最新技術。

網址：

4. Meta learning for Causal Direction

作者：Jean-Francois Ton, Dino Sejdinovic, Kenji Fukumizu

摘要：由于許多科學領域的固有局限性，導致無法進行隨機對照試驗一直是因果推理的基本問題。在本文中，我們專注于在有限的觀測數據下，在雙變量環境中區分原因和結果。基于元學習和因果推理的最新發展，我們介紹了一種新穎的生成模型，該模型可以在小數據設置中區分因果關系。使用包含每個數據集分布信息的學習任務變量，我們提出了一種端到端算法，該算法在測試時使用了類似的訓練數據集。我們在各種合成數據和現實數據中展示了我們的方法，并表明它能夠在檢測不同數據集大小的方向時保持高精度。

網址：

5. Equivalent Causal Models

作者：Sander Beckers

摘要：本文的目的是在兩個模型都不由相同變量組成的情況下，提供對等價因果模型的第一個系統性探索和定義。我們的想法是，當兩個模型都可以使用其公共變量表示的所有“基本”因果信息時，它們是等效的。為此，我著眼于因果模型的兩個主要特征，即它們的結構關系和特征關系。特別是，我定義了因果關系的幾個關系和因果充分性的幾個關系，并要求這些關系中最籠統的關系在等效模型中保留。

網址：

6. The Importance of Modeling Data Missingness in Algorithmic Fairness: A Causal Perspective

作者：Naman Goel, Alfonso Amayuelas, Amit Deshpande, Amit Sharma

摘要：用于機器學習的訓練數據集通常具有某種形式的缺失。例如，要學習用于確定向誰貸款的模型，可用的訓練數據包括過去曾獲得貸款的個人，而不是那些沒有得到貸款的個人。如果忽略了這種缺失，那么在部署模型時，訓練過程的任何公平性保證都將無效。我們使用因果圖，描述了不同現實情況下的缺失機制。我們展示了在何種條件下能夠或者不能從訓練數據中恢復流行的公平算法中使用的各種分布。我們的理論結果表明，這些算法中有許多不能保證實踐中的公平。對缺失進行建模還有助于確定公平算法的正確設計原理。例如，在多階段設置中，在多個篩選回合中做出決策，我們使用我們的框架來得出設計公平算法所需的最小分布。我們提出的算法分散了決策過程，并且仍然實現了與需要集中化和不可恢復分布的最優算法相似的性能。

網址：

【導讀】機器學習頂會 NeurIPS 2020, 是人工智能領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。據官方統計，今年NeurIPS 2020 共收到論文投稿 9454 篇，接收 1900 篇（其中 oral 論文 105 篇、spotlight 論文 280 篇），論文接收率為 20.1%。近期，所有paper list 放出，小編發現**對比學習（Contrastive Learning）**相關的投稿paper很多，這塊研究方向這幾年受到了學術界的廣泛關注，并且在CV、NLP等領域也應用頗多。

為此，這期小編為大家奉上NeurIPS 2020必讀的七篇對比學習相關論文——對抗自監督對比學習、局部對比學習、難樣本對比學習、多標簽對比預測編碼、自步對比學習、有監督對比學習

NeurIPS 2020 Accepted Papers://neurips.cc/Conferences/2020/AcceptedPapersInitial

1. Adversarial Self-Supervised Contrastive Learning

作者： Minseon Kim, Jihoon Tack, Sung Ju Hwang

摘要： 現有的對抗性學習方法大多使用類別標簽來生成導致錯誤預測的對抗性樣本，然后使用這些樣本來增強模型的訓練，以提高魯棒性。雖然最近的一些工作提出了利用未標記數據的半監督對抗性學習方法，但它們仍然需要類別標簽。然而，我們真的需要類別標簽來進行反向的深度神經網絡的健壯訓練嗎？本文提出了一種新的針對未標記數據的對抗性攻擊，使得該模型混淆了擾動數據樣本的實例級身份。此外，我們還提出了一種自監督對比學習（Contrastive Learning）框架來對抗性地訓練未標記數據的魯棒神經網絡，其目的是最大化數據樣本的隨機擴充與其實例對抗性擾動之間的相似度。我們在多個基準數據集上驗證了我們的方法-魯棒對比學習（RoCL），在這些數據集上，它獲得了與最新的有監督對抗性學習方法相當的魯棒準確率，并且顯著地提高了對黑盒和不可見類型攻擊的魯棒性。此外，與單獨使用自監督學習相比，RoCL進一步結合有監督對抗性損失進行聯合微調，獲得了更高的魯棒精度。值得注意的是，RoCL在穩健的遷移學習方面也顯示出令人印象深刻的結果。

網址：

2. Contrastive learning of global and local features for medical image segmentation with limited annotations

作者： Krishna Chaitanya, Ertunc Erdil, Neerav Karani, Ender Konukoglu

摘要： 有監督深度學習成功的一個關鍵要求是一個大的標記數據集——這是醫學圖像分析中難以滿足的條件。自監督學習（SSL）可以在這方面提供幫助，因為它提供了一種用未標記的數據預訓練神經網絡的策略，然后用有限的樣本標注對下游任務進行微調。對比學習是SSL的一種特殊變體，是一種學習圖像級表征的強大技術。在這項工作中，我們提出了一種策略，通過利用領域內一些特點，在標注有限的半監督場景下來擴展volumetric 醫療圖像分割的對比學習框架。具體地，我們提出了：（1）新穎的對比策略，它利用volumetric 醫學圖像之間的結構相似性（領域特定線索）；（2）對比損失的局部信息來學習對每個像素分割有用的局部區域的獨特表示（問題特定線索）。我們在三個磁共振成像（MRI）數據集上進行了廣泛的評估。在有限的標注環境下，與其他的自監督和半監督學習技術相比，本文提出的方法有了很大的改進。當與簡單的數據增強技術相結合時，該方法僅使用兩個標記的MRI體積用于訓練，達到基準性能的8%以內，相當于用于訓練基準的訓練數據ACDC的4%。

網址：

3. LoCo: Local Contrastive Representation Learning

作者： Yuwen Xiong, Mengye Ren, Raquel Urtasun

摘要： 深度神經網絡通常執行端到端反向傳播來學習權重，該過程在跨層的權重更新步驟中創建同步約束（synchronization constraints），并且這種約束在生物學上是不可信的。無監督對比表示學習的最新進展指出一個問題，即學習算法是否也可以是局部的，即下層的更新不直接依賴于上層的計算。雖然Greedy InfoMax分別學習每個塊的局部目標，但我們發現，在最新的無監督對比學習算法中，可能是由于貪婪的目標以及梯度隔離，會一直損害readout的準確性。在這項工作中，我們發現，通過重疊局部塊堆疊在一起，我們有效地增加了解碼器的深度，并允許較高的塊隱式地向較低的塊發送反饋。這種簡單的設計首次縮小了局部學習算法和端到端對比學習算法之間的性能差距。除了標準的ImageNet實驗，我們還展示了復雜下游任務的結果，例如直接使用readout功能進行對象檢測和實例分割。

網址：

4. Hard Negative Mixing for Contrastive Learning

作者： Yannis Kalantidis, Mert Bulent Sariyildiz, Noe Pion, Philippe Weinzaepfel, Diane Larlus

摘要： 對比學習已成為計算機視覺中自監督學習方法的重要組成部分。通過學習將同一圖像的兩個增強版本相互靠近地圖像嵌入，并將不同圖像的嵌入分開，可以訓練高度可遷移的視覺表示。最近的研究表明，大量的數據增強和大量的負樣本集對于學習這樣的表征都是至關重要的。同時，無論是在圖像層面還是在特征層面，數據混合策略都通過合成新的示例來改進監督和半監督學習，迫使網絡學習更健壯的特征。在這篇文章中，我們認為對比學習的一個重要方面，即hard negatives的影響，到目前為止被忽視了。為了獲得更有意義的負樣本，目前最流行的對比自監督學習方法要么大幅增加batch sizes大小，要么保留非常大的內存庫；然而，增加內存需求會導致性能回報遞減。因此，我們從更深入地研究一個表現最好的框架開始，并展示出證據，為了促進更好、更快的學習，需要更難的難樣本（harder negatives）。基于這些觀察結果，并受到數據混合策略成功的激勵，我們提出了特征級別的難例混合策略，該策略可以用最小的計算開銷在運行中進行計算。我們在線性分類、目標檢測和實例分割方面對我們的方法進行了詳盡的改進，并表明使用我們的難例混合過程提高了通過最先進的自監督學習方法學習的視覺表示的質量。

代碼：

網址：

5. Multi-label Contrastive Predictive Coding

作者： Jiaming Song, Stefano Ermon

摘要： 變量互信息（mutual information, MI）估計器廣泛應用于對比預測編碼（CPC）等無監督表示學習方法中。MI的下界可以從多類分類問題中得到，其中critic試圖區分從潛在聯合分布中提取的正樣本和從合適的建議分布中提取的（m?1）個負樣本。使用這種方法，MI估計值超過log m，因此有效下界可能會嚴重低估，除非m非常大。為了克服這一局限性，我們引入了一種新的基于多標簽分類問題的估計器，其中critic需要同時聯合識別多個正樣本。我們證明了在使用相同數量的負樣本的情況下，多標簽CPC能夠超過log m界，同時仍然是互信息的有效下界。我們證明了所提出的方法能夠帶來更好的互信息估計，在無監督表示學習中獲得經驗上的改進，并且在13個任務中超過了最先進的10個知識提取方法。

網址：

6. Self-paced Contrastive Learning with Hybrid Memory for Domain Adaptive Object Re-ID

作者： Yixiao Ge, Feng Zhu, Dapeng Chen, Rui Zhao, Hongsheng Li

摘要： 域自適應目標Re-ID旨在將學習到的知識從已標記的源域轉移到未標記的目標域，以解決開放類（open-class）的重識別問題。雖然現有的基于偽標簽的方法已經取得了很大的成功，但是由于域的鴻溝和聚類性能的不理想，它們并沒有充分利用所有有價值的信息。為了解決這些問題，我們提出了一種新的具有混合記憶的自適應對比學習框架。混合存儲器動態地生成用于學習特征表示的源域類級、目標域簇級和未聚類實例級監督信號。與傳統的對比學習策略不同，該框架聯合區分了源域類、目標域簇和未聚類實例。最重要的是，所提出的自適應方法逐漸產生更可靠的簇來提煉混合記憶和學習目標，這被證明是我們方法的關鍵。我們的方法在目標 Re-ID的多域適配任務上的性能優于現有技術，甚至在源域上不需要任何額外的標注就能提高性能。在Market1501和MSMT17數據上，我們的無監督目標Re-ID的通用版本分別比最先進的算法高出16.7%和7.9%。

代碼：

網址：

7. Supervised Contrastive Learning

作者： Prannay Khosla, Piotr Teterwak, Chen Wang, Aaron Sarna, Yonglong Tian, Phillip Isola, Aaron Maschinot, Ce Liu, Dilip Krishnan

摘要： 交叉熵是圖像分類模型監督訓練中應用最廣泛的損失函數。在本文中，我們提出了一種新的訓練方法，該方法在不同的體系結構和數據增強的監督學習任務中始終優于交叉熵。我們修正了批量對比損失，它最近被證明在自監督環境下學習強大的表示是非常有效的。因此，我們能夠比交叉熵更有效地利用標簽信息。屬于同一類的點簇在嵌入空間中被拉在一起，同時推開來自不同類的樣本簇。除此之外，我們還利用了大的batch sizes和標準化嵌入等關鍵因素，這些因素已被證明有利于自監督學習。在ResNet-50和ResNet-200上，我們的性能都比交叉熵高出1%以上，在使用 AutoAugment數據增強的方法中創造了78.8%的新技術水平。在校準和準確度方面，這一損失也顯示出在標準基準上對自然損壞的穩健性有明顯的好處。與交叉熵相比，我們的監督對比損失對諸如優化器或數據增強等超參數設置更穩定。

網址：

【導讀】ICML(International Conference on Machine Learning)，即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會已于2020年7月13日至18日在線上舉行。據官方統計，ICML 2020共提交4990篇論文，接收論文1088篇，接收率為21.8%。與往年相比，接收率逐年走低。小編發現基于對比學習（Contrastive Learning）相關的paper也不少，對比學習、自監督學習等等都是今年比較火的topic，受到了很多人的關注。

為此，這期小編繼續為大家奉上ICML 2020必讀的六篇對比學習（Contrastive Learning）相關論文——SimCLR、對比多視角圖學習、對比強化學習、CPC、分解GAN、

ICML 2020 Accepted Paper: //proceedings.icml.cc/book/2020

ICML2020CI、ICML2020GNN_Part2、ICML2020GNN_Part1

1、A Simple Framework for Contrastive Learning of Visual Representations

作者：Ting Chen、Simon Kornblith、Mohammad Norouzi、Geoffrey Hinton

摘要：本文提出了SimCLR：一種簡單的視覺表示的對比學習（contrastive learning）框架。我們簡化了最近提出的對比自監督學習算法，并且不需要專門的體系結構或存儲庫。為了理解什么使對比預測任務能夠學習有用的表示，我們系統地研究了我們框架的主要組成部分。我們表明：(1)數據增強部分在定義有效的預測任務中起著關鍵作用；(2)在表示和對比損失之間引入可學習的非線性變換大大提高了學習表示的質量；(3)與監督學習相比，對比學習受益于更大的batch和更多的訓練。結合這些發現，我們能夠在ImageNet上顯著優于以往的自監督和半監督學習方法。在通過SimCLR學習得到的自監督表示上訓練的線性分類器達到了76.5%的TOP-1準確率，比以前的技術相對提高了7%，與監督ResNet-50的性能相當。當只對1%的標簽進行微調時，我們達到了85.8%的TOP-5準確率，在標簽減少100倍的情況下表現優于AlexNet。

代碼：

網址：

2、Contrastive Multi-View Representation Learning on Graphs

作者：Kaveh Hassani、Amir Hosein Khasahmadi

摘要：我們介紹了一種通過對比圖的結構視圖來學習節點級和圖級表示的自監督方法。我們表明，與視覺表示學習不同的是，將視圖數增加到兩個以上或對比多尺度編碼并不能提高性能，并且通過對比來自一階鄰居的編碼和圖擴散（ graph diffusion）可以獲得最佳性能。在線性評估協議下，我們的模型在8個節點和圖分類基準上有8個取得了最新結果。例如，在CORA(節點)和Reddit-Binary(圖)分類基準上，我們達到了86.8%和84.5%的準確率，比以前的技術水平分別提高了5.5%和2.4%。與監督基線相比，我們的方法在8個基準中有4個表現優于它們。

網址：

3、CURL: Contrastive Unsupervised Representations for Reinforcement Learning

作者：Michael Laskin、Aravind Srinivas、Pieter Abbeel

摘要：我們提出了CURL—用于強化學習的對比無監督表示法。CURL使用對比學習從原始像素中提取高層特征，并在提取的特征之上執行非策略控制。在DeepMind Control Suite和Atari Games的復雜任務上，無論是基于模型的方法還是非模型的方法，CURL的表現都優于之前基于像素的方法，在100K環境和交互步驟基準下分別顯示1.9倍和1.2倍的性能提升。在DeepMind Control Suite上，CURL是第一個幾乎與使用基于狀態特征的方法的采樣效率相當的基于圖像的算法。

代碼：

網址：

4、Data-Efficient Image Recognition with Contrastive Predictive Coding

作者：Olivier J. Hénaff、Aravind Srinivas、Jeffrey De Fauw、Ali Razavi、Carl Doersch、S. M. Ali Eslami、Aaron van den Oord

摘要：人類觀察者從少數幾個例子中可以學會識別新的圖像類別，但使用人造圖像做到這一點仍然是一個挑戰。我們假設通過表示使數據有效識別成為可能，這些表示使自然信號的可變性更加可預測。因此，我們重新改進了對比預測編碼，這是學習這種表示的一個無監督目標。此新實現產生的特征可以支持ImageNet數據集上的最新線性分類準確性。當使用深度神經網絡作為非線性分類的輸入時，這種表示允許我們使用比直接在圖像像素上訓練的分類器少2-5倍的標簽。最后，這種無監督表示大大改善了對Pascal VOC數據集上的目標檢測的遷移學習，超過了全監督預訓練的ImageNet分類器。

網址：

5、InfoGAN-CR and ModelCentrality: Self-supervised Model Training and Selection for Disentangling GANs

作者：Zinan Lin、Kiran K. Thekumparampil、Giulia Fanti1Sewoong Oh

摘要：分解（disentangled）的生成模型將潛在向量映射到目標空間，同時強制學習的潛在子集是可解釋的，并且與目標分布的不同屬性相關聯。最近的進展主要是基于變分自編碼器(VAE)的方法，而訓練分離的生成式對抗網絡(GANS)仍然是具有挑戰性的。在這項工作中，我們證明了分離的GAN面臨的主要挑戰可以通過使用自監督來緩解。我們的主要貢獻有兩個：第一，我們設計了一種新的具有自監督功能的分離GANs訓練方法。我們提出了對比正則化（contrastive regularizer）算法，它的靈感來自于一個自然的分解概念：latent traversal。這比最先進的基于VAE和GAN的方法獲得了更高的分離分數。其次，我們提出了一種稱為ModelCentrality的無監督模型選擇方案，它使用生成的合成樣本來計算模型集合的medoid(多維中值推廣)。令人驚訝的是，這種無監督的ModelCentrality能夠選擇比使用現有的監督超參數選擇技術訓練的模型性能更好的模型。將對比正則化和ModelCentrality相結合，在不需要有監督超參數選擇的情況下，大幅度地獲得了最先進的分離分數。

網址：

6、Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere

作者：Tongzhou Wang、Phillip Isola

摘要：對比表示學習在實踐中取得了顯著的成功。在這項工作中，我們確定了與對比損失相關的兩個關鍵性質：(1)正對特征的對齊方式（緊密度）和(2)超球面上(歸一化)特征誘導分布的均勻性。我們證明，漸近地，對比損失優化了這些屬性，并分析了它們對下游任務的積極影響。根據經驗，我們引入了一個可優化的指標來量化每個屬性。在標準視覺和語言數據集上的大量實驗證實了指標與下游任務性能之間的強烈一致性。直接針對這兩個指標進行優化可以使下游任務的表現比對比學習更好或更高。

代碼：

網址：

人工智能領域的頂會AAAI 2020將在2020年2月7日-12日在美國紐約舉行。據官方統計消息，AAAI 2020今年共收到的有效論文投稿超過 8800 篇，其中 7737 篇論文進入評審環節，最終收錄數量為 1591 篇，接收率 20.6%。開會在即，專知小編提前整理了AAAI 2020圖神經網絡(GNN)相關的接收論文，讓大家先睹為快——跨模態、部分標簽學習、交通流預測、少樣本學習、貝葉斯圖神經網絡。

1. Cross-Modality Attention with Semantic Graph Embedding for Multi-Label Classification

作者：Renchun You, Zhiyao Guo, Lei Cui, Xiang Long, Yingze Bao, Shilei Wen

摘要：多標簽圖像和視頻分類是計算機視覺中最基本也是最具挑戰性的任務。主要的挑戰在于捕獲標簽之間的空間或時間依賴關系，以及發現每個類的區別性特征的位置。為了克服這些挑戰，我們提出將語義圖嵌入的跨模態注意力機制用于多標簽分類。基于所構造的標簽圖，我們提出了一種基于鄰接關系的相似圖嵌入方法來學習語義標簽嵌入，該方法顯式地利用了標簽之間的關系。在學習標簽嵌入的指導下，生成我們新穎的跨模態注意力圖。在兩個多標簽圖像分類數據集(MS-COCO和NUS-WIDE)上的實驗表明，我們的方法優于其他現有的方法。此外，我們在一個大的多標簽視頻分類數據集(YouTube-8M Segments)上驗證了我們的方法，評估結果證明了我們的方法的泛化能力。

網址： //arxiv.org/abs/1912.07872

2. General Partial Label Learning via Dual Bipartite Graph Autoencoder

作者：Brian Chen, Bo Wu, Alireza Zareian, Hanwang Zhang, Shih-Fu Chang

摘要：我們提出了一個實際但有挑戰性的問題: 通用部分標簽學習(General Partial Label Learning，GPLL)。相比傳統的部分標簽學習(Partial Label Learning，PLL)問題, GPLL將監督假設從從實例級別（標簽集部分標記一個實例）放到了組級別: 1)標簽集部分標簽了一組實例, 其中組內 instance-label link annotations 丟失, 2)組間的link是允許的——組中的實例可以部分鏈接到另一個組中的標簽集。這種模糊的組級監督在實際場景中更實用，因為不再需要實例級的附加標注，例如，在視頻中組由一個幀中的人臉組成，并在相應的標題中使用名稱集進行標記，因此不再需要對實例級進行命名。本文提出了一種新的圖卷積網絡(GCN)——Dual Bipartite Graph Autoencoder (DB-GAE)來解決GPLL的標簽模糊問題。首先，我們利用組間的相互關系將實例組表示為dual bipartite圖：組內圖和組間圖，它們相互補充以解決鏈接的歧義。其次，我們設計了一個GCN自動編碼器來對它們進行編碼和解碼，其中的解碼被認為是經過改進的結果。值得注意的是DB-GAE是自監督和轉導的，因為它只使用組級的監督，而沒有單獨的offline訓練階段。對兩個真實數據集的大量實驗表明，DB-GAEG跟最佳baseline相比有著絕對的提升，0.159 的F1 score和24.8%的accuracy。我們還進一步分析了標簽歧義的各個層次。

網址：

3. GMAN: A Graph Multi-Attention Network for Traffic Prediction

作者：Chuanpan Zheng, Xiaoliang Fan, Cheng Wang, Jianzhong Qi

摘要：由于交通系統的復雜性和影響因素的不斷變化，長期的交通預測具有很大的挑戰性。在本文中，我們以時空因素為研究對象，提出了一種多注意力圖網絡(graph multi-attention network ，GMAN)來預測道路網絡圖中不同位置的時間步長的交通狀況。GMAN采用了一種encoder-decoder結構，其中編碼器和解碼器都由多個時空注意力塊組成，以模擬時空因素對交通條件的影響。編碼器對輸入流量特征進行編碼，解碼器對輸出序列進行預測。在編碼器和解碼器之間，應用轉換注意力層來轉換已編碼的流量特征，以生成未來時間步長的序列表示作為解碼器的輸入。轉換注意力機制模擬了歷史時間步長與未來時間步長之間的直接關系，有助于緩解預測時間步長之間的誤差傳播問題。在兩個現實世界中的交通預測任務（即交通量預測和交通速度預測）上的實驗結果證明了GMAN的優越性。特別地，在提前1個小時的預測中，GMAN的MAE指標提高了4％，優于最新技術。源代碼可在

網址：

4. Graph Few-shot Learning via Knowledge Transfer

作者：Huaxiu Yao, Chuxu Zhang, Ying Wei, Meng Jiang, SuhangWang, Junzhou Huang, Nitesh V. Chawla, Zhenhui Li

摘要：對于具有挑戰性的半監督節點分類問題，已經進行了廣泛的研究。圖神經網絡(GNNs)作為一個前沿領域，近年來引起了人們極大的興趣。然而，大多數GNN具有較淺的層，接收域有限，并且可能無法獲得令人滿意的性能，特別是在標記節點數量很少的情況下。為了解決這一問題，我們創新性地提出了一種基于輔助圖的先驗知識的graph few-shot learning (GFL)算法，以提高目標圖的分類精度。具體來說，輔助圖與目標之間共享一個可遷移的度量空間，該空間以節點嵌入和特定于圖的原型嵌入函數為特征，便于結構知識的傳遞。對四個真實世界圖數據集的大量實驗和消融研究證明了我們提出的模型的有效性以及每個組件的貢獻。

網址：

5. Learning Cross-Modal Context Graph for Visual Grounding

作者：Yongfei Liu, Bo Wan, Xiaodan Zhu, Xuming He

摘要：Visual grounding是許多視覺語言任務中普遍存在的一個基本單元，但由于grounding實體的視覺和語言特征的巨大差異、強大的語境效應以及由此產生的語義歧義，visual grounding仍然具有挑戰性。以前的研究主要集中在學習單個短語在有限的語境信息下的表達。針對其局限性，本文提出了一種languageguided graph representation表示方法來捕獲grounding實體的全局上下文及其關系，并針對多短語visual grounding任務開發了一種跨模態圖匹配策略。特別地，我們引入一個模塊化圖神經網絡，通過消息傳播分別計算短語和目標建議的上下文感知表示，然后引入一個基于圖的匹配模塊來生成全局一致的基礎短語定位。我們在兩階段策略中聯合訓練整個圖神經網絡，并在Flickr30K Entities基準上對其進行評估。大量的實驗表明，我們的方法比之前的技術有相當大的優勢，證明了我們的基礎框架的有效性。代碼可以在 找到。

網址：

6. Learning from the Past: Continual Meta-Learning with Bayesian Graph Neural Networks

作者：Yadan Luo, Zi Huang, Zheng Zhang, Ziwei Wang, Mahsa Baktashmotlagh, Yang Yang

摘要：元學習（Meta-learning）用于few-shot learning，允許機器利用以前獲得的知識作為優先級，從而在只有少量數據的情況下提高新任務的性能。然而，大多數主流模型都存在災難性遺忘和魯棒性不足的問題，因此不能充分保留或利用長期知識，同時容易導致嚴重的錯誤累積。本文提出了一種新的基于貝葉斯圖神經網絡（CML-BGNN）的連續元學習方法。通過將每個任務形成一個圖，可以通過消息傳遞和歷史遷移很好地保存任務內部和任務間的相關性。為了解決圖初始化過程中的拓撲不確定性問題，我們使用了Bayes by Backprop算法，該算法利用amortized推理網絡逼近任務參數的后驗分布，并將其無縫地集成到端到端邊緣學習中。在miniImageNet和tieredImageNet數據集上進行的大量實驗證明了該方法的有效性和效率，與最先進的miniImageNet 5-way 1-shot分類任務相比，性能提高了42:8%。

網址：

7. Neural Graph Embedding for Neural Architecture Search

作者：Wei Li, Shaogang Gong, Xiatian Zhu

摘要：現有的神經體系結構搜索（(NAS)）方法往往直接在離散空間或連續空間中進行搜索，忽略了神經網絡的圖形拓撲知識。考慮到神經網絡本質上是有向無環圖(DAG)，這會導致搜索性能和效率欠佳。在這項工作中，我們通過引入一種新的神經圖嵌入(NGE)思想來解決這個限制。具體來說，我們用神經DAG表示神經網絡的構建塊(即cell)，并利用圖卷積網絡來傳播和建模網絡結構的固有拓撲信息。這導致可與現有的不同NAS框架集成的通用神經網絡表示。大量實驗表明，在圖像分類和語義分割方面，NGE優于最新方法。

網址：

8. RoadTagger: Robust Road Attribute Inference with Graph Neural Networks

作者：Songtao He, Favyen Bastani, Satvat Jagwani, Edward Park, Sofiane Abbar, Mohammad Alizadeh, Hari Balakrishnan, Sanjay Chawla, Samuel Madden, Mohammad Amin Sadeghi

摘要：從衛星圖像中推斷道路屬性（例如車道數和道路類型）是一項挑戰。通常，由于衛星圖像的遮擋和道路屬性的空間相關性，僅當考慮道路的較遠路段時，道路上某個位置的道路屬性才可能是顯而易見的。因此，為了魯棒地推斷道路屬性，模型必須整合分散的信息，并捕捉道路沿線特征的空間相關性。現有的解決方案依賴于圖像分類器，無法捕獲這種相關性，導致準確性較差。我們發現這種失敗是由于一個基本的限制–圖像分類器的有效接受范圍有限。

為了克服這一局限性，我們提出了一種結合卷積神經網絡(CNNs)和圖神經網絡(GNNs)來推斷道路屬性的端到端體系結構RoadTagger。使用GNN允許信息在路網圖上傳播，消除了圖像分類器的接收域限制。我們在一個覆蓋美國20個城市688平方公里面積的大型真實數據集和一個綜合數據集上對RoadTagger進行了評估。在評估中，與基于CNN圖像分類器的方法相比，RoadTagger提高了推理的準確性。此外，RoadTagger對衛星圖像的中斷具有較強的魯棒性，能夠學習復雜的inductive rule來聚合道路網絡上分散的信息。

網址：