亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

【導讀】作為CCF推薦的A類國際學術會議，International ACM SIGIR Conference on Research and Development in Information Retrieval（國際計算機學會信息檢索大會，簡稱 SIGIR）在信息檢索領域享有很高的學術聲譽，每年都會吸引全球眾多專業人士參與。今年的 SIGIR 2021已經在2021年7月11-15日在線上舉行。此次大會共收到了720篇長文投稿，錄用151篇，長文錄取率21%（去年的錄取率為26.4%）；共收到了526篇短文投稿，錄用145篇，短文錄取率27%（去年的錄取率為30%）。

SIGIR2021 Paper List: //dl.acm.org/doi/proceedings/10.1145/3404835

為此，專知小編為大家整理了五篇SIGIR 2021 反事實推理（Counterfactual Inference）相關研究和應用，這塊這幾年一直比較受關注——視頻時刻檢索、流行度偏好、AutoDebias、情緒偏差、延時反饋

CVPR2021CL、CVPR2021DA、CVPR2021IVC、CVPR2021PID、CVPR2021IC、CVPR2021VU、CVPR2021OD、CVPR2021OT、CVPR2021AR

1. Deconfounded Video Moment Retrieval with Causal Intervention

作者：Xun Yang, Fuli Feng, Wei Ji, Meng Wang, Tat-Seng Chua

摘要：本文解決了視頻時刻（moment）檢索 (VMR) 的任務，該任務旨在根據文本query定位視頻中的特定時刻（moment）。現有方法主要通過復雜的跨模態交互對query和moment之間的匹配關系進行建模。盡管它們有效，但當前的模型大多利用數據集偏差（biases）而忽略視頻內容，從而導致泛化性較差。本文認為這個問題是由 VMR 中隱藏的混雜因素引起的，即時刻（moments）的時間位置（temporal location），它虛假地關聯了模型輸入和預測。如何針對時間位置偏差設計穩健的匹配模型至關重要，但據本文所知，尚未有針對 VMR 進行研究。為了填補研究空白，本文提出了一個因果關系啟發的 VMR 框架，該框架構建了結構因果模型來捕捉query和視頻內容對預測的真實影響。具體來說，本文提出了一種去混雜的跨模態匹配 (DCM) 方法來消除moment location的混雜影響。它首先解開moment表示以推斷視覺內容的核心特征，然后基于后門調整（backdoor adjustment）對解開的多模態輸入進行因果干預，這迫使模型公平地考慮目標的每個可能位置。大量實驗清楚地表明，本文的方法可以在準確性和泛化性方面，比最先進方法，取得顯著改進。

論文：

2. Causal Intervention for Leveraging Popularity Bias in Recommendation

作者：Yang Zhang, Fuli Feng, Xiangnan He, Tianxin Wei, Chonggang Song, Guohui Ling, Yongdong Zhang

摘要：推薦系統通常面臨流行偏好（popularity bias）問題：從數據角度來看，items在交互頻率上表現出不均勻（通常是長尾）分布；從方法的角度來看，協同過濾方法容易通過過度推薦熱門items來放大bias。在推薦系統中考慮流行偏好（popularity bias）無疑是至關重要的，現有工作主要通過基于傾向的無偏學習或因果嵌入來消除偏差效應。然而，本文認為并非數據中的所有偏差都是不好的，即某些items因其更好的內在質量而表現出更高的受歡迎程度。盲目追求無偏學習可能會去除數據中的有益模式，從而降低推薦準確性和用戶滿意度。本文研究了推薦中一個未探索的問題——如何利用流行偏好（popularity bias）來提高推薦準確性。關鍵在于兩個方面：如何去除訓練過程中流行度偏差的不良影響，以及如何在生成top-K推薦的推理階段注入所需的流行度偏差。這對推薦生成過程的因果機制提出了一些疑惑。沿著這條線，本文發現items流行度在暴露項目和觀察到的交互之間起到了混雜的作用，導致了偏差放大的不良影響。為了實現這一目標，本文提出了一種新的推薦訓練和推理范式，稱為流行偏見解混和與調整（PDA）。它消除了模型訓練中混淆的流行偏差，并通過因果干預調整推薦分數。本文展示了潛在因素模型的新范式，并在來自快手、豆瓣和騰訊的三個真實世界數據集上進行了大量實驗。實證研究表明，去混淆訓練有助于發現用戶的真實興趣，并且根據流行度偏差進行推理調整可以進一步提高推薦準確率。

論文：

代碼：

3. AutoDebias: Learning to Debias for Recommendation

作者：Jiawei Chen, Hande Dong, Yang Qiu, Xiangnan He, Xin Xin, Liang Chen, Guli Lin, Keping Yang

摘要：

推薦系統依靠評分和點擊等用戶行為數據來構建個性化模型。然而，收集到的數據是觀察性的而不是實驗性的，這會導致數據中的各種偏差，從而顯著影響學習的模型。大多數現有的推薦去偏差工作，例如逆傾向評分（the inverse propensity scoring）和插補（imputation）方法，都側重于一兩個特定的偏差，缺乏可以解釋數據中混合甚至未知偏差的通用能力。針對這一研究空白，本文首先從風險差異的角度分析偏差的來源，風險差異代表了預期經驗風險與真實風險之間的差異。值得注意的是，本文推導出了一個通用學習框架，通過指定通用框架的一些參數，它很好地總結了大多數現有的除偏策略。這為開發用于去偏的通用解決方案提供了寶貴的機會，例如，通過從數據中學習去偏參數。然而，訓練數據缺乏重要信號來說明數據是有偏的，以及無偏數據是什么樣子的。為了推進這一想法，本文提出了 AotoDebias，它利用另一組（小）均勻數據，通過元學習解決雙層優化問題來優化除偏參數。通過理論分析，本文推導出了 AutoDebias 的泛化界限，并證明了其獲得合適的去偏策略的能力。對兩個真實數據集和一個模擬數據集的大量實驗證明了 AutoDebias 的有效性。

論文：

代碼：

4. Mitigating Sentiment Bias for Recommender Systems

作者：Chen Lin, Xinyi Liu, Guipeng Xv, Hui Li

摘要：推薦系統（RS）中的偏差和去偏差最近已成為研究熱點。這篇論文揭示了一種尚未探索的偏見類型，即情緒偏見。通過實證研究，本文發現許多 RS 模型對具有更多正面反饋的用戶/物品組（即正面用戶/物品）比對具有更多負面反饋的用戶/物品組（即負面用戶/物品）提供更準確的推薦。本文表明，情緒偏見與現有偏見（例如流行偏見）不同：積極的用戶/項目沒有更多的用戶反饋（即，更多的評分或更長的評論）。情緒偏見的存在導致對關鍵用戶的推薦質量低下，對小眾商品的推薦不公平。本文討論導致情緒偏差的因素。然后，為了修正情緒偏差的來源，本文提出了一個通用的去偏差框架，其中包含三種策略，體現在不同的正則化器中，可以輕松插入 RS 模型而無需更改模型架構。在各種 RS 模型和基準數據集上的實驗已經驗證了本文的去偏置框架的有效性。據本文所知，之前沒有研究過情緒偏見及其去偏見。本文希望這項工作可以幫助加強對 RS 中偏差和去偏差的研究。

論文：

5. Counterfactual Reward Modification for Streaming Recommendation with Delayed Feedback

作者：Xiao Zhang, Haonan Jia, Hanjing Su, Wenhan Wang, Jun Xu, Ji-Rong Wen

摘要：在許多流媒體推薦場景中，用戶反饋可能會延遲。例如，用戶對推薦優惠券的反饋包括對點擊事件的即時反饋和對轉化結果的延遲反饋。延遲反饋對使用標簽不完整的實例訓練推薦模型提出了挑戰。當應用于實際產品時，挑戰變得更加嚴峻，因為流推薦模型需要非常頻繁地重新訓練，并且需要在非常短的時間范圍內收集訓練實例。現有方法要么簡單地忽略未觀察到的反饋，要么在靜態實例集上試探性地調整反饋，從而導致訓練數據存在偏差并損害學習推薦的準確性。在本文中，本文提出了一種新穎且理論上合理的反事實方法來調整用戶反饋和學習推薦模型，稱為 CBDF(Counterfactual Bandit with Delayed Feedback)。CBDF 將具有延遲反饋的流推薦作為順序決策問題制定，并使用批量bandit對其進行建模。為了解決延遲反饋的問題，在每次迭代（episode）時，都會采用反事實重要性采樣模型來重新加權原始反饋并生成修改后的反饋。基于修改后的反饋，學習批量bandit以在下一次迭代中進行在線推薦。理論分析表明，修改后的獎勵在統計上是無偏的，并且學習到的bandit策略享有次線性的后悔界限。實驗結果表明，CBDF 在合成數據集、Criteo 數據集和來自騰訊微信應用的數據集上的表現優于最先進的基線方法。

論文：

【導讀】CCF A類會議，國際萬維網大會WWW 2021（The Web Conference）已于2021年4月23日落幕。今年共有1736 篇長論文投稿，接收357篇，接收率為20.6%；WWW（The International World Wide Web Conference）會議是由圖靈獎得主Tim創辦的學術會議，內容涵蓋互聯網相關的一切主題。會議原定在斯洛文尼亞首都盧布爾雅那舉行，后由于疫情改為線上會議。

為此，專知小編為大家整理了五篇WWW 2021圖神經網絡+推薦（Graph Neural Network）最新進展，這塊這幾年一直比較受關注，也非常前沿——自監督多通道超圖網絡、雙曲圖卷積網絡、圖推斷攻擊、交互感知圖歸納、多樣化推薦

CVPR2021DA、CVPR2021IVC、CVPR2021PID、CVPR2021IC、CVPR2021VU、CVPR2021OD、CVPR2021OT、CVPR2021AR

1. Self-Supervised Multi-Channel Hypergraph Convolutional Network for Social Recommendation

作者：Junliang Yu, Hongzhi Yin, Jundong Li, Qinyong Wang, Nguyen Quoc Viet Hung, Xiangliang Zhang

摘要：在推薦者系統中，當用戶-商品交互數據比較稀疏時，通常會使用社交關系來提高推薦質量。大多數現有的社交推薦模型利用成對關系來挖掘潛在的用戶偏好。但是，現實生活中用戶之間的交互非常復雜，并且用戶關系可能是高階的。Hypergraph提供了一種自然的方式來建模復雜的高階關系，而其改善社會推薦的潛力尚未得到充分挖掘。而本文填補了這一空白，并提出了一種多通道超圖卷積網絡，通過利用高階用戶關系來增強社交推薦。從技術上講，網絡中的每個通道都對超圖進行編碼，該超圖通過超圖卷積來描述常見的高階用戶關系模式。同時該超圖通過匯總多個渠道學習到的嵌入信息，獲得全面的用戶表示形式來生成推薦結果。但是，聚合操作也可能會掩蓋不同類型的高階連接信息的固有特性。為了彌補聚集的損失，本文將自我監督學習集成到超圖卷積網絡的訓練中，通過分層互信息最大化重新獲得連通性信息。多個實際數據集上的實驗結果表明，所提出的模型優于SOTA方法，并且消融研究驗證了多通道設置和自我監督任務的有效性。可通過此https URL獲得本文模型的實現。

論文： //arxiv.org/abs/2101.06448

代碼：

2. HGCF: Hyperbolic Graph Convolution Networks for Collaborative Filtering

作者：Jianing Sun，Zhaoyue Cheng， Saba Zuberi，Felipe Pérez， Maksims Volkovs

摘要：雙曲空間提供了豐富的設置來學習具有優越性能的嵌入向量，這些嵌入向量已在計算機視覺，自然語言處理和計算生物學等領域得到利用。近來，學習推薦設置中的用戶和項目的魯棒表示的幾種雙曲線方法被提出。但是，這些方法無法捕獲推薦域中通常存在的更高級別的關系。另一方面，圖卷積神經網絡（GCN）擅長通過將多個級別的聚合信息應用于局部表示從而捕獲更高階的信息。本文通過提出用于協作過濾的雙曲線GCN模型，用新穎的方式組合了這些框架。本文證明了該模型可以有效地學習到邊距排名損失，并證明了雙曲空間在等級邊距設置下具有較好的特性。在測試時，該模型中的推論是使用雙曲線距離來完成的，該距離保持了學習空間的結構。本文對三個公共基準進行了廣泛的實證分析，并與大量基準進行了比較。結果表示本文的方法取得了極具競爭力的結果，并優于包括歐幾里得 GCN 在內的領先基線。本文進一步研究了所學雙曲線嵌入的性質，并表明它們為數據提供了有意義的見解。

論文：

代碼：

3. Graph Embedding for Recommendation against Attribute Inference Attacks

作者：Shijie Zhang, Hongzhi Yin, Tong Chen, Zi Huang, Lizhen Cui, Xiangliang Zhang

摘要：近年來，推薦系統在幫助用戶確定商品的個人喜好方面起著舉足輕重的作用。由于用戶項目交互可以自然地被建模成圖結構化數據，因此圖卷積網絡（GCN）的變體已被稱為最新推薦者中公認的基礎。由于敏感用戶配置文件數據的廣泛使用，現有的推薦范例可能會使用戶隱私權受到威脅，基于GCN的推薦者也不例外。除了泄漏原始用戶數據外，當前推薦者在推理攻擊下的脆弱性還為惡意攻擊者提供了后門，可以通過他們的行為足跡和推薦結果來估計用戶的私有屬性。但是，很少有人注意并開發出能夠防御此類屬性推斷攻擊的推薦器系統，并且現有工作通過犧牲相當大的推薦精度或僅覆蓋特定的攻擊模型或受保護的信息來實現抗攻擊性。本文提出了GERAI，這是一種新穎的差分私有圖卷積網絡，可以解決這些局限性。具體來說，GERAI將圖微卷積網絡的推薦功能綁定在差分隱私中的信息攝動機制。此外，基于本地差分隱私和功能機制，本文創新地設計了一個雙階段加密范例，以同時對用戶的敏感特征和模型優化過程實施隱私保證。大量的實驗顯示了GERAI在抵抗屬性推理攻擊和推薦有效性方面的優越性。

論文：

4. Drug Package Recommendation via Interaction-aware Graph Induction

作者：Zhi Zheng, Chao Wang, Tong Xu, Dazhong Shen, Penggang Qin, Baoxing Huai, Tongzhu Liu, Enhong Chen

摘要：近年來，大量電子病歷（EMR）迅速積累，這極大地支持了諸如藥物推薦之類的智能醫療服務。然而，現有技術主要遵循協同過濾等傳統推薦策略，將單個藥物視為相互獨立，而藥物之間的潛在相互作用，例如協同或拮抗作用，在很大程度上被忽略了。為此，在本文中，本文的目標是在考慮藥物內部的相互作用影響的情況下，開發一種新的推薦藥物包裝范例，其中相互作用可能會受到患者狀況的影響。具體來說，本文首先設計一種基于神經協作過濾的預訓練方法，以獲得患者和藥物的初始嵌入。然后，將基于病歷和領域知識來初始化藥物相互作用圖。按照這一思路，本文提出了一個新的藥品包裝推薦（DPR）框架，該框架具有兩個變體，分別是加權圖上的DPR（DPR-WG）和屬性圖上的DPR（DPR-AG），以解決該問題，其中每個交互作用都將被稱為有符號權重或屬性向量。詳細來說，掩模層用于捕獲患者狀況的影響，圖神經網絡（GNN）被用于最終的圖誘導任務以嵌入包裝。在一流醫院的真實數據集上進行的大量實驗證明，與幾種競爭性基準方法相比，本文的DPR框架是有效的，并且進一步支持了具有足夠性能的啟發式研究，用于藥物包裝生成任務。

論文：

5. DGCN: Diversified Recommendation with Graph Convolutional

作者：Yu Zheng, Chen Gao, Liang Chen, Depeng Jin, Yong Li

摘要：這些年來，人們一直在致力于提高推薦系統的準確性或相關性。多樣性是衡量推薦項目之間差異的關鍵因素，因此很少受到審查。與用戶滿意度直接相關，在生成候選項目后通常會考慮多樣化。但是，這種分散化和候選生成的分離設計使整個系統次優。本文旨在借助圖卷積網絡（GCN）將多樣化推向上游候選者生成階段。盡管基于GCN的推薦算法在建模復雜的協作過濾效果以提高推薦準確性方面顯示出強大的功能，但在這些高級工作中忽略了多樣性變化。本文提出在GCN之上執行重新平衡的鄰居結點，類別增強的負采樣和對抗性學習。本文對現實世界的數據集進行了廣泛的實驗。實驗結果證明了本文提出的多元化方法的有效性。進一步的消融研究證實，該方法可以大大緩解精度-多樣性難題。

論文：

代碼：

【導讀】作為計算機視覺領域的三大國際頂會之一，IEEE國際計算機視覺與模式識別會議CVPR（IEEE Conference on Computer Vision and Pattern Recognition) 每年都會吸引全球領域眾多專業人士參與。CVPR 2021將在線舉行， 中國科學院院士、中科院自動化所智能感知與計算研究中心主任譚鐵牛將出任大會主席（General Chair，GC），上海科技大學的虞晶怡教授將任程序主席（Program Chair，PC）。今年的CVPR有效投稿多達7500篇，一共有1663篇論文被接收，接收率為27%。

為此，專知小編提前為大家整理了五篇CVPR 2021對比學習（Contrastive Learning）在計算機視覺上的應用，這塊這幾年一直比較受關注，特別是具體領域應用等等？大家先睹為快——圖像去霧、少樣本學習、多模態視頻學習、密集CL、對抗CL

CVPR2021DA、CVPR2021IVC、CVPR2021PID、CVPR2021IC、CVPR2021VU、CVPR2021OD、CVPR2021OT、CVPR2021AR

1. Contrastive Learning for Compact Single Image Dehazing

作者：Haiyan Wu, Yanyun Qu, Shaohui Lin, Jian Zhou, Ruizhi Qiao, Zhizhong Zhang, Yuan Xie , Lizhuang Ma

摘要：由于嚴重的信息退化，單圖像去霧是一個具有挑戰性的問題。然而，現有的基于深度學習的除霧方法僅采用清晰的圖像作為正樣本來指導除霧網絡的訓練，而未利用負樣本信息。而且，它們中的大多數集中在通過增加深度和寬度來增強除霧網絡，從而導致大量的計算和內存需求。在本文中，我們提出了一種基于對比學習的新穎對比正則化（CR）技術，以利用模糊圖像和清晰圖像的信息分別作為負樣本和正樣本。CR確保在表示空間中將還原后的圖像拉到更接近清晰圖像，并推到遠離朦朧圖像的位置。此外，考慮到性能和內存存儲之間的權衡，我們基于類自動編碼器（AE）框架開發了一個緊湊的除霧網絡。它涉及自適應混合操作和動態特征增強模塊，分別受益于自適應地保存信息流和擴展接收域以提高網絡的轉換能力。我們將具有自動編碼器和對比正則化功能的除霧網絡稱為AECR-Net。在合成和真實數據集上進行的廣泛實驗表明，我們的AECR-Net超越了最新技術。

論文： //arxiv.org/abs/2104.09367

代碼：

2. Fine-grained Angular Contrastive Learning with Coarse Labels

作者：Guy Bukchin, Eli Schwartz, Kate Saenko, Ori Shahar, Rogerio Feris, Raja Giryes, Leonid Karlinsky

摘要：Few-shot學習方法會提供經過優化的預訓練技術，以便使用一個或幾個示例輕松地將模型適應新類（在訓練過程中看不見）。這種對不可見類別的適應性對于許多實際應用尤為重要，在這些實際應用中，預先訓練的標簽空間無法保持固定以有效使用，并且模型需要“特殊化”以支持動態的新類別。粗粒度到細粒度（Coarse-to-Fine）Few-Shot（C2FS）是一種特別有趣的場景，基本上被Few-Shot文獻所忽略，其中訓練（train）類（例如，動物）的粒度比目標（test）類的“粒度”粗得多（例如品種）。C2FS的一個非常實際的示例是目標類是訓練類的子類。直觀地講，這是特別具有挑戰性的，因為包括regular and few-shot的有監督的預訓練往往會學會忽略類內差異性，這對于分離子類至關重要。在本文中，我們介紹了一種新穎的“角度歸一化（Angular normalization）”模塊，該模塊可以有效地結合監督和自監督的對比預訓練來解決C2FS任務，從而證明了在多個基準和數據集的廣泛研究中所取得的顯著成果。我們希望這項工作將有助于為有關C2FS分類這一新的，具有挑戰性且非常實用的主題的未來研究鋪平道路。

論文：

3. Distilling Audio-Visual Knowledge by Compositional Contrastive Learning

作者：Yanbei Chen, Yongqin Xian, A.Sophia Koepke, Ying Shan, Zeynep Akata

摘要：與從單模態學習相比，獲得多模態線索，（例如，視覺和音頻）可以更快地完成某些認知任務。在這項工作中，我們建議在跨模態中傳輸知識，即使這些數據模態在語義上可能不相關。與直接對齊不同模態的表示不同，我們組合音頻，圖像和視頻的跨模態表示，以發現更豐富的多模態知識。我們的主要思想是學習一種組合嵌入表示，這種嵌入可以縮小跨模態語義鴻溝并捕獲與任務相關的語義，這有助于通過組合對比學習將跨模態的表示整合在一起。我們在三個視頻數據集（UCF101，ActivityNet和VG-GSound）上建立了一個新的，全面的多模態蒸餾基準。此外，我們證明了我們的模型在傳輸視聽知識以改善視頻表示學習方面，明顯優于各種現有的知識蒸餾方法。

論文：

代碼：

4. Dense Contrastive Learning for Self-Supervised Visual Pre-Training

作者：Xinlong Wang, Rufeng Zhang, Chunhua Shen, Tao Kong, Lei Li

摘要：迄今為止，大多數現有的自監督學習方法都是針對圖像分類進行設計和優化的。由于圖像級預測和像素級預測之間的差異，這些預訓練的模型對于密集的預測任務可能不是最佳的。為了解決這個問題，我們旨在設計一種有效，密集的自監督學習方法，通過考慮局部特征之間的對應關系，直接在像素（或局部特征）級別上起作用。我們提出了密集的對比學習（DenseCL），該算法通過在輸入圖像的兩個視圖之間的像素級別上優化成對的對比（不相似）損失來實現自監督學習。

與基準方法MoCo-v2相比，我們的方法引入的計算開銷（僅慢了1％）可忽略不計，但是在轉移到下游密集的預測任務（包括目標檢測，語義分割和實例分割）時，始終表現出優異的性能；并大大領先于最新技術。具體而言，在強大的MoCo-v2基線上，我們的方法在PASCAL VOC數據集對象檢測任務上的AP顯著提升2.0％，COCO數據集對象檢測任務上的AP顯著提升1.1％，COCO數據集實例分割任務上的AP提升0.9％，PASCAL VOC數據集語義分割任務上的AP提升3.0％ Cityscapes數據集語義分割任務上mIoU顯著提升1.8％。

論文：

代碼：

5. AdCo: Adversarial Contrast for Efficient Learning of Unsupervised Representations from Self-Trained Negative Adversaries

作者：Qianjiang Hu, Xiao Wang, Wei Hu, Guo-Jun Qi

摘要：對比學習依賴于構建一個負樣本集合，當負樣本的表示是經過自訓練時，負樣本很難與正樣本的查詢（query）區分開來。現有的對比學習方法要么在小批量樣本中含有負樣本隊列，而只有一小部分在迭代中被更新，要么只使用當前小批量樣本中的其他樣本作為負樣本。他們無法通過更新整個隊列來密切跟蹤迭代過程中學習到的表示的變化，也無法從使用過的小批量樣本中剔除有用信息。或者，我們提出直接學習一組負樣本來對抗自我訓練的表示。兩個角色，表示網絡和負樣本對抗，交替更新來獲取最具挑戰性的負樣本，以區分正樣本查詢的表示。我們進一步表明，通過最大化對抗性對比損失，負樣本被更新為正樣本查詢的加權組合，從而他們能夠隨著時間密切跟蹤表示的變化。實驗結果表明，本文所提出的對抗對比模型（AdCo）不僅具有出色的性能（在ImageNet上進行線性評估，200個epoch時 top-1準確度為73.2％，800個epoch時為75.7％），而且可以在更短的GPU時間和更少的epoch條件下進行更有效的預訓練。

論文：

代碼：

【導讀】第九屆國際學習表征大會（ICLR 2021）是深度學習領域的國際頂級會議，ICLR 2021一共有2997論文有效提交，大會最終接收860篇論文，其中 Oral 53 篇、Spotlight 114 篇，大會將于5月4-8日于線上舉辦。ICLR 采用公開評審（Open Review ）機制。所有提交的論文都會公開，并且接受所有同行的評審及提問，任何學者都可或匿名或實名地評價論文。而在初審公開之后，論文作者也能夠對論文進行調整和修改以及進行Rebuttal。近期，小編發現對比學習（Contrastive Learning）相關的接受paper非常多，對比學習這幾年方法的研究，特別是難樣本的選取機制以及在CV、NLP、DM上應用也非常廣，也是當前比較火的topic。

為此，這期小編為大家奉上ICLR 2021必讀的六篇對比學習相關論文——稠密文本檢索、對比擾動學習、難樣本對比學習、變換不變性、GAN增強

ICLR 2021 Accepted Papers : //openreview.net/group?id=ICLR.cc/2021/Conference

AAAI2021QA、AAAI2021CI、AAAI2021CL、ICLR2020CI、ICML2020CI

1. Approximate Nearest Neighbor Negative Contrastive Learning for Dense Text Retrieval

作者：Lee Xiong, Chenyan Xiong, Ye Li, Kwok-Fung Tang, Jialin Liu, Paul N. Bennett, Junaid Ahmed, Arnold Overwikj

摘要：在稠密的表示空間中進行文本檢索一般效果還不錯。然而，端到端的學習稠密檢索（DR）通常比不上基于單詞的稀疏檢索。在本文中，我們首先從理論上說明稠密檢索的學習瓶頸是對局部采樣的非信息性負數進行控制，這會導致梯度范數減小，隨機梯度方差大，學習收斂速度慢。然后，我們提出“近似最近鄰居負對比學習”（Approximate nearest neighbor Negative Contrastive Learning, ANCE），這是一種使用異步更新的ANN索引從整個語料庫中全局選擇難訓練否定詞的學習機制。我們的實驗證明了ANCE在網絡搜索，問答以及商業搜索環境中的有效性，還表明ANCE點積檢索幾乎與基于BERT的級聯IR管道的準確性相匹配，而效率卻高出100倍。我們還從經驗上驗證了我們的理論，即使用ANCE進行負采樣可以更好地近似基于oracle梯度范數的重要性采樣，從而提高了隨機訓練的收斂性。

圖片 網址：

**2. Contrastive Learning with Adversarial Perturbations for Conditional Text Generation **

作者：Seanie Lee, Dong Bok Lee, Sung Ju Hwang

摘要：最近，具有Transformer結構的序列到序列（seq2seq）模型在各種條件文本生成任務（例如機器翻譯）上都取得了卓越的性能。但是，大多數訓練中，每個步驟都使用給定的 ground truth 標簽，而在訓練過程中沒有顯示其錯誤生成的詞（tokens），這不利于將其推廣到未知的輸入上，這就是所謂的“曝光偏差”問題。在這項工作中，我們建議通過將正對與負對進行對比來緩解條件文本生成問題，從而使模型暴露于輸入的各種有效或不正確的擾動下，以提高通用性。但是，使用簡單的對比學習框架（使用隨機的非目標序列作為否定示例）來訓練模型是次優的，因為它們很容易與正確的輸出區分開，尤其是在使用大型文本語料庫進行預訓練的模型中。同樣，生成肯定的示例需要特定于域的增強啟發方法，這些啟發方法可能不會在不同的域中泛化。為了解決這個問題，我們提出了一種方法來生成正樣本和負樣本，用于seq2seq模型的對比學習。具體而言，我們通過在輸入序列中添加較小的擾動以最小化其條件可能性來生成否定示例，并通過在施加較大的擾動的同時將其強制具有較高的條件可能性來生成正示例。使用我們的方法生成的這種“難”正負對可以指導模型更好地區分正確的輸出和錯誤的輸出。實驗表明，我們提出的方法在三個文本生成任務（機器翻譯，文本摘要和問題生成）上顯著提高了seq2seq的泛化能力。

圖片 網址：

3. Contrastive Learning with Hard Negative Samples

作者：Joshua David Robinson, Ching-Yao Chuang, Suvrit Sra, Stefanie Jegelka

摘要：我們考慮這樣一個問題：如何為對比學習采樣較好的負例？我們認為，與度量學習一樣，學習對比表示得益于難否定樣本（即難以與錨點區分開的點）。使用難負樣本的主要挑戰在于，對比方法必須保持不受監督，這使得采用現有的使用真實相似性信息的負采樣策略不可行。因此，我們提出了一種新的無監督方法來選擇難負樣本，用戶可以在其中控制難負樣本的數量。這種采樣的局限性導致表示會緊密地聚類每個類，并將不同的類推到盡可能遠的距離。所提出的方法提高了跨多種模式的下游性能，僅需要執行少量額外的代碼行即可，并且不會產生計算開銷。

圖片 網址：

**4. Improving Transformation Invariance in Contrastive Representation Learning **

作者：Adam Foster, Rattana Pukdee, Tom Rainforth

摘要：我們提出了一些方法來增強通過對比學習獲得的表示的不變性。盡管現有的方法在學習表示形式時會隱含地引起一定程度的不變性，但我們希望在編碼過程中更直接地強制不變性。為此，我們首先介紹一個對比學習的訓練目標，該目標使用一種新穎的正則化器來控制表示如何在變換下發生變化。我們顯示，以此目標訓練的表示在下游任務上表現更好，并且在測試時對引入有損的變換器更魯棒。其次，我們提出了一種更改測試時間表示方式的方法，該方法是引入一種特征平均方法，將原始輸入的多次轉換中的編碼進行組合，這會帶來全面的性能提升。最后，我們介紹了新穎的Spirograph數據集，以在具有多個下游任務的可微分生成過程的背景下探索我們的想法，表明我們的學習不變性技術非常有益。

圖片 網址：

**5. Training GANs with Stronger Augmentations via Contrastive Discriminator **

作者：Jongheon Jeong, Jinwoo Shin

摘要：生成式對抗網絡（GAN）中的最新工作正在積極地重新審視各種數據增強技術，以防止判別器過度擬合。但是，還不清楚哪些增強可以真正改善GAN，特別是如何在訓練中應用更多的增強方式。在本文中，我們提出了一種新穎的方法來解決這些問題，將最新的對比表示學習方案整合到判別器中，即被稱為ContraD。這種“融合”使鑒別人員可以進行更強大的擴增，而不會造成災難性的遺忘，從而可以顯著改善GAN訓練。甚至更好的是，我們觀察到對比學習本身也受益于GAN訓練，即保持真實樣本與假樣本之間的區別性特征，表明這兩個方式具有很強的連貫性：良好的對比表示對GAN判別器也有好處，反之亦然。我們的實驗結果表明，與其他最近使用數據增強的技術相比，具有ContraD的GAN一直在提高FID分數，就線性評估而言，仍然在判別器中保持高度鑒別性。最后，作為副產品，我們證明了以無監督方式（無標簽）訓練的GAN可以利用ContraD的學習功能，通過簡單的潛在采樣來誘導許多條件生成模型。

圖片 網址：

6. What Should Not Be Contrastive in Contrastive Learning

作者：Tete Xiao, Xiaolong Wang, Alexei A Efros, Trevor Darrell

摘要：最近的自監督對比方法已經能夠通過學習不依賴于不同的數據擴充來產生令人印象深刻的可轉移視覺表示。但是，這些方法隱式地假設了一組特定的表示不變性（例如，顏色不變性），并且當下游任務違反該假設時（例如，區分紅色和黃色的汽車），效果可能會很差。我們引入了一個對比性學習框架，該框架不需要特定的，與任務相關的不變性的先驗知識。我們的模型通過構建單獨的嵌入空間來學習捕獲視覺表示的變化和不變因素，每個嵌入空間除了一個擴充之外，其他所有空間都不變。我們使用具有共享主干的多頭網絡，該主干可以捕獲每個擴充中的信息，并且其性能要優于下游任務的所有基準。我們進一步發現，在我們研究的所有任務（包括粗粒度，細粒度和few-shot分類任務）以及各種數據損壞中，不變空間和變化空間的串聯效果最佳。

圖片 網址：

【導讀】人工智能頂級會議AAAI2021接收結果已經公布，本次AAAI 2021一共收到9034篇論文提交，其中有效審稿的只有7911篇，最終錄取的數量為1692篇，接收率為21.4%，相比去年的20.6%高0.8%，競爭越來越激烈。近期，所有paper list 放出，小編發現對比學習（Contrastive Learning）相關的投稿paper很多，這塊研究方向這幾年受到了學術界的廣泛關注，并且在CV、NLP等領域也應用頗多。

為此，這期小編為大家奉上AAAI 2021必讀的五篇對比學習相關論文——Aspect檢測、對比生成GCN、自監督對應性學習、梯度正則對比學習、多選視頻問答、

AAAI 2021 Accepted Papers : //aaai.org/Conferences/AAAI-21/wp-content/uploads/2020/12/AAAI-21_Accepted-Paper-List.Main_.Technical.Track_.pdf

ICLR2020CI、ICML2020CI

1. A Simple and Effective Self-Supervised Contrastive Learning Framework for Aspect Detection

作者：Tian Shi, Liuqing Li, Ping Wang, Chandan K. Reddy

摘要：無監督aspect檢測（Unsupervised aspect detection, UAD）的目的是自動提取可解釋的aspect，并從在線評論中識別aspect特定的片段（例如句子）。但是，最近的基于深度學習的主題模型，特別是基于aspect的自動編碼器，遇到了一些問題，例如提取嘈雜的aspect以及將模型發現的aspect映射到感興趣的aspect的情況很差。為了解決這些挑戰，在本文中，我們首先提出一種自監督的對比學習框架和一種基于注意力的模型，該模型具有用于UAD任務的新型平滑自注意（smooth self-attention, SSA）模塊，以便學習aspect和review segments的更好表示。其次，我們引入了高分辨率選擇性映射（high-resolution selective mapping, HRSMap）方法，以將模型發現的aspect有效地分配給感興趣的aspect。我們還建議使用知識蒸餾技術來進一步提高aspect檢測性能。在公開可用的基準用戶評論數據集上，我們的方法優于幾種最近的非監督和弱監督方法。實驗中aspect的解釋結果表明，提取的aspect有意義，覆蓋范圍廣，并且可以輕松映射到感興趣的aspect。消融研究和注意力權重可視化還證明了SSA和知識蒸餾方法的有效性。

網址：

2. Contrastive and Generative Graph Convolutional Networks for Graph-based Semi-Supervised Learning

作者：Sheng Wan, Shirui Pan, Jian Yang, Chen Gong

摘要：基于圖的半監督學習（SSL）旨在通過圖將少量標記數據的標簽轉移到其余大量未標記數據。作為最流行的基于圖的SSL方法之一，最近提出的圖卷積網絡（GCN）通過將神經網絡的聲音表達能力與圖結構相結合而取得了顯著進步。然而，現有的基于圖的方法不能直接解決SSL的核心問題，即缺乏監督，因此它們的性能仍然非常有限。為了解決這個問題，本文提出了一種新穎的基于GCN的SSL算法，通過利用數據相似性和圖結構來豐富監督信號。首先，通過設計一個半監督的對比損失，可以通過最大化相同數據的不同視圖或相同類數據之間的一致性來生成改進的節點表示。因此，豐富的未標記數據和稀缺而有價值的標記數據可以共同提供豐富的監督信息，以學習判別性節點表示形式，有助于改善后續的分類結果。其次，通過使用與輸入特征有關的圖生成損失，將數據特征與輸入圖形拓撲之間的潛在確定性關系提取為SSL的補充監督信號。與其他最新方法相比，在各種實際數據集上進行的大量實驗結果堅定地證明了我們算法的有效性。

網址：

3. Contrastive Transformation for Self-supervised Correspondence Learning

作者：Ning Wang, Wengang Zhou, Houqiang Li

摘要：在本文中，我們專注于使用未標記的視頻來進行視覺對應性自監督學習。我們的方法同時考慮了視頻內和視頻間表示關聯，以進行可靠的對應估計。視頻內學習通過幀對相似性在單個視頻內的各個幀之間轉換圖像內容。為了獲得實例級分離的判別表示，我們在視頻內分析的基礎上，構建了視頻間親和性，以促進跨不同視頻的對比轉換。通過強制視頻內和視頻間級別之間的轉換一致性，可以很好地保留細粒度的對應關系，并有效地增強實例級的特征辨別力。我們的簡單框架優于包括視頻目標跟蹤（VOT），視頻目標分割（VOS），姿勢關鍵點跟蹤等在內的可視任務的自監督通信方法。值得一提的是，與完全監督的親和力表示（例如ResNet）并執行與針對特定任務（例如VOT和VOS）設計的最新有監督算法相比，我們的方法也具有相應的競爭力。

網址：

4. Gradient Regularized Contrastive Learning for Continual Domain Adaptation

作者：Peng Su, Shixiang Tang, Peng Gao, Di Qiu, Ni Zhao, Xiaogang Wang

摘要：人類可以利用學習經驗來快速適應環境變化。但是，適應動態環境的能力較弱仍然是AI模型面臨的主要挑戰。為了更好地理解此問題，我們研究了連續域自適應問題，其中模型帶有標記的源域和一系列未標記的目標域。這個問題有兩個主要障礙：領域轉移和災難性遺忘。在這項工作中，我們提出了梯度正則化對比學習（Gradient Regularized Contrastive Learnin）來解決上述障礙。在我們方法的核心中，梯度正則化扮演兩個關鍵角色：（1）強制進行對比損失的梯度，不增加源域上的監督訓練損失，從而保持學習特征的判別力；（2）規范了新域上的梯度更新，而不會增加舊目標域上的分類損失，這使模型能夠適應傳入的目標域，同時保留先前觀察到的域的性能。因此，我們的方法可以通過標記的源域和未標記的目標域共同學習語義上的區別和領域不變的特征。與最新技術相比，在Digits，DomainNet和Office-Caltech基準測試中的實驗證明了我們方法的強大性能。

網址：

5. Self-supervised Pre-training and Contrastive Representation Learning for Multiple-choice Video QA

作者：Seonhoon Kim, Seohyeong Jeong, Eunbyul Kim, Inho Kang, Nojun Kwak

摘要：視頻問答（Video QA）要求對視頻和語言模態有深入的了解，才能回答給定的問題。在本文中，我們提出了一種新的針對多選視頻問答的訓練方案，該方案以自監督的預訓練階段和主要階段的監督對比學習作為輔助學習。在自監督的預訓練階段，我們將預測正確答案的原始問題格式轉換為預測相關問題的格式，以提供具有更廣泛上下文輸入的模型，而無需任何其他數據集或注釋。為了在主要階段進行對比學習，我們在與真實答案相對應的輸入中添加了掩碼噪聲，并將真實答案的原始輸入視為正樣本，而將其余答案視為負樣本。通過將正樣本映射到更接近被屏蔽的輸入，我們表明模型性能得到了改善。我們進一步采用局部對齊的注意力來更有效地專注于與給定的對應字幕句子特別相關的視頻幀。我們在與多選Video QA相關的基準數據集TVQA，TVQA +和DramaQA上評估了我們提出的模型。實驗結果表明，我們的模型在所有數據集上均達到了最先進的性能。我們還將通過進一步的分析來驗證我們的方法。

網址：

【導讀】機器學習頂會 NeurIPS 2020, 是人工智能領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。據官方統計，今年NeurIPS 2020 共收到論文投稿 9454 篇，接收 1900 篇（其中 oral 論文 105 篇、spotlight 論文 280 篇），論文接收率為 20.1%。近期，所有paper list 放出，小編發現**對比學習（Contrastive Learning）**相關的投稿paper很多，這塊研究方向這幾年受到了學術界的廣泛關注，并且在CV、NLP等領域也應用頗多。

為此，這期小編為大家奉上NeurIPS 2020必讀的七篇對比學習相關論文——對抗自監督對比學習、局部對比學習、難樣本對比學習、多標簽對比預測編碼、自步對比學習、有監督對比學習

NeurIPS 2020 Accepted Papers://neurips.cc/Conferences/2020/AcceptedPapersInitial

1. Adversarial Self-Supervised Contrastive Learning

作者： Minseon Kim, Jihoon Tack, Sung Ju Hwang

摘要： 現有的對抗性學習方法大多使用類別標簽來生成導致錯誤預測的對抗性樣本，然后使用這些樣本來增強模型的訓練，以提高魯棒性。雖然最近的一些工作提出了利用未標記數據的半監督對抗性學習方法，但它們仍然需要類別標簽。然而，我們真的需要類別標簽來進行反向的深度神經網絡的健壯訓練嗎？本文提出了一種新的針對未標記數據的對抗性攻擊，使得該模型混淆了擾動數據樣本的實例級身份。此外，我們還提出了一種自監督對比學習（Contrastive Learning）框架來對抗性地訓練未標記數據的魯棒神經網絡，其目的是最大化數據樣本的隨機擴充與其實例對抗性擾動之間的相似度。我們在多個基準數據集上驗證了我們的方法-魯棒對比學習（RoCL），在這些數據集上，它獲得了與最新的有監督對抗性學習方法相當的魯棒準確率，并且顯著地提高了對黑盒和不可見類型攻擊的魯棒性。此外，與單獨使用自監督學習相比，RoCL進一步結合有監督對抗性損失進行聯合微調，獲得了更高的魯棒精度。值得注意的是，RoCL在穩健的遷移學習方面也顯示出令人印象深刻的結果。

網址：

2. Contrastive learning of global and local features for medical image segmentation with limited annotations

作者： Krishna Chaitanya, Ertunc Erdil, Neerav Karani, Ender Konukoglu

摘要： 有監督深度學習成功的一個關鍵要求是一個大的標記數據集——這是醫學圖像分析中難以滿足的條件。自監督學習（SSL）可以在這方面提供幫助，因為它提供了一種用未標記的數據預訓練神經網絡的策略，然后用有限的樣本標注對下游任務進行微調。對比學習是SSL的一種特殊變體，是一種學習圖像級表征的強大技術。在這項工作中，我們提出了一種策略，通過利用領域內一些特點，在標注有限的半監督場景下來擴展volumetric 醫療圖像分割的對比學習框架。具體地，我們提出了：（1）新穎的對比策略，它利用volumetric 醫學圖像之間的結構相似性（領域特定線索）；（2）對比損失的局部信息來學習對每個像素分割有用的局部區域的獨特表示（問題特定線索）。我們在三個磁共振成像（MRI）數據集上進行了廣泛的評估。在有限的標注環境下，與其他的自監督和半監督學習技術相比，本文提出的方法有了很大的改進。當與簡單的數據增強技術相結合時，該方法僅使用兩個標記的MRI體積用于訓練，達到基準性能的8%以內，相當于用于訓練基準的訓練數據ACDC的4%。

網址：

3. LoCo: Local Contrastive Representation Learning

作者： Yuwen Xiong, Mengye Ren, Raquel Urtasun

摘要： 深度神經網絡通常執行端到端反向傳播來學習權重，該過程在跨層的權重更新步驟中創建同步約束（synchronization constraints），并且這種約束在生物學上是不可信的。無監督對比表示學習的最新進展指出一個問題，即學習算法是否也可以是局部的，即下層的更新不直接依賴于上層的計算。雖然Greedy InfoMax分別學習每個塊的局部目標，但我們發現，在最新的無監督對比學習算法中，可能是由于貪婪的目標以及梯度隔離，會一直損害readout的準確性。在這項工作中，我們發現，通過重疊局部塊堆疊在一起，我們有效地增加了解碼器的深度，并允許較高的塊隱式地向較低的塊發送反饋。這種簡單的設計首次縮小了局部學習算法和端到端對比學習算法之間的性能差距。除了標準的ImageNet實驗，我們還展示了復雜下游任務的結果，例如直接使用readout功能進行對象檢測和實例分割。

網址：

4. Hard Negative Mixing for Contrastive Learning

作者： Yannis Kalantidis, Mert Bulent Sariyildiz, Noe Pion, Philippe Weinzaepfel, Diane Larlus

摘要： 對比學習已成為計算機視覺中自監督學習方法的重要組成部分。通過學習將同一圖像的兩個增強版本相互靠近地圖像嵌入，并將不同圖像的嵌入分開，可以訓練高度可遷移的視覺表示。最近的研究表明，大量的數據增強和大量的負樣本集對于學習這樣的表征都是至關重要的。同時，無論是在圖像層面還是在特征層面，數據混合策略都通過合成新的示例來改進監督和半監督學習，迫使網絡學習更健壯的特征。在這篇文章中，我們認為對比學習的一個重要方面，即hard negatives的影響，到目前為止被忽視了。為了獲得更有意義的負樣本，目前最流行的對比自監督學習方法要么大幅增加batch sizes大小，要么保留非常大的內存庫；然而，增加內存需求會導致性能回報遞減。因此，我們從更深入地研究一個表現最好的框架開始，并展示出證據，為了促進更好、更快的學習，需要更難的難樣本（harder negatives）。基于這些觀察結果，并受到數據混合策略成功的激勵，我們提出了特征級別的難例混合策略，該策略可以用最小的計算開銷在運行中進行計算。我們在線性分類、目標檢測和實例分割方面對我們的方法進行了詳盡的改進，并表明使用我們的難例混合過程提高了通過最先進的自監督學習方法學習的視覺表示的質量。

代碼：

網址：

5. Multi-label Contrastive Predictive Coding

作者： Jiaming Song, Stefano Ermon

摘要： 變量互信息（mutual information, MI）估計器廣泛應用于對比預測編碼（CPC）等無監督表示學習方法中。MI的下界可以從多類分類問題中得到，其中critic試圖區分從潛在聯合分布中提取的正樣本和從合適的建議分布中提取的（m?1）個負樣本。使用這種方法，MI估計值超過log m，因此有效下界可能會嚴重低估，除非m非常大。為了克服這一局限性，我們引入了一種新的基于多標簽分類問題的估計器，其中critic需要同時聯合識別多個正樣本。我們證明了在使用相同數量的負樣本的情況下，多標簽CPC能夠超過log m界，同時仍然是互信息的有效下界。我們證明了所提出的方法能夠帶來更好的互信息估計，在無監督表示學習中獲得經驗上的改進，并且在13個任務中超過了最先進的10個知識提取方法。

網址：

6. Self-paced Contrastive Learning with Hybrid Memory for Domain Adaptive Object Re-ID

作者： Yixiao Ge, Feng Zhu, Dapeng Chen, Rui Zhao, Hongsheng Li

摘要： 域自適應目標Re-ID旨在將學習到的知識從已標記的源域轉移到未標記的目標域，以解決開放類（open-class）的重識別問題。雖然現有的基于偽標簽的方法已經取得了很大的成功，但是由于域的鴻溝和聚類性能的不理想，它們并沒有充分利用所有有價值的信息。為了解決這些問題，我們提出了一種新的具有混合記憶的自適應對比學習框架。混合存儲器動態地生成用于學習特征表示的源域類級、目標域簇級和未聚類實例級監督信號。與傳統的對比學習策略不同，該框架聯合區分了源域類、目標域簇和未聚類實例。最重要的是，所提出的自適應方法逐漸產生更可靠的簇來提煉混合記憶和學習目標，這被證明是我們方法的關鍵。我們的方法在目標 Re-ID的多域適配任務上的性能優于現有技術，甚至在源域上不需要任何額外的標注就能提高性能。在Market1501和MSMT17數據上，我們的無監督目標Re-ID的通用版本分別比最先進的算法高出16.7%和7.9%。

代碼：

網址：

7. Supervised Contrastive Learning

作者： Prannay Khosla, Piotr Teterwak, Chen Wang, Aaron Sarna, Yonglong Tian, Phillip Isola, Aaron Maschinot, Ce Liu, Dilip Krishnan

摘要： 交叉熵是圖像分類模型監督訓練中應用最廣泛的損失函數。在本文中，我們提出了一種新的訓練方法，該方法在不同的體系結構和數據增強的監督學習任務中始終優于交叉熵。我們修正了批量對比損失，它最近被證明在自監督環境下學習強大的表示是非常有效的。因此，我們能夠比交叉熵更有效地利用標簽信息。屬于同一類的點簇在嵌入空間中被拉在一起，同時推開來自不同類的樣本簇。除此之外，我們還利用了大的batch sizes和標準化嵌入等關鍵因素，這些因素已被證明有利于自監督學習。在ResNet-50和ResNet-200上，我們的性能都比交叉熵高出1%以上，在使用 AutoAugment數據增強的方法中創造了78.8%的新技術水平。在校準和準確度方面，這一損失也顯示出在標準基準上對自然損壞的穩健性有明顯的好處。與交叉熵相比，我們的監督對比損失對諸如優化器或數據增強等超參數設置更穩定。

網址：

【導讀】ICML(International Conference on Machine Learning)，即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會已于2020年7月13日至18日在線上舉行。據官方統計，ICML 2020共提交4990篇論文，接收論文1088篇，接收率為21.8%。與往年相比，接收率逐年走低。小編發現基于對比學習（Contrastive Learning）相關的paper也不少，對比學習、自監督學習等等都是今年比較火的topic，受到了很多人的關注。

為此，這期小編繼續為大家奉上ICML 2020必讀的六篇對比學習（Contrastive Learning）相關論文——SimCLR、對比多視角圖學習、對比強化學習、CPC、分解GAN、

ICML 2020 Accepted Paper: //proceedings.icml.cc/book/2020

ICML2020CI、ICML2020GNN_Part2、ICML2020GNN_Part1

1、A Simple Framework for Contrastive Learning of Visual Representations

作者：Ting Chen、Simon Kornblith、Mohammad Norouzi、Geoffrey Hinton

摘要：本文提出了SimCLR：一種簡單的視覺表示的對比學習（contrastive learning）框架。我們簡化了最近提出的對比自監督學習算法，并且不需要專門的體系結構或存儲庫。為了理解什么使對比預測任務能夠學習有用的表示，我們系統地研究了我們框架的主要組成部分。我們表明：(1)數據增強部分在定義有效的預測任務中起著關鍵作用；(2)在表示和對比損失之間引入可學習的非線性變換大大提高了學習表示的質量；(3)與監督學習相比，對比學習受益于更大的batch和更多的訓練。結合這些發現，我們能夠在ImageNet上顯著優于以往的自監督和半監督學習方法。在通過SimCLR學習得到的自監督表示上訓練的線性分類器達到了76.5%的TOP-1準確率，比以前的技術相對提高了7%，與監督ResNet-50的性能相當。當只對1%的標簽進行微調時，我們達到了85.8%的TOP-5準確率，在標簽減少100倍的情況下表現優于AlexNet。

代碼：

網址：

2、Contrastive Multi-View Representation Learning on Graphs

作者：Kaveh Hassani、Amir Hosein Khasahmadi

摘要：我們介紹了一種通過對比圖的結構視圖來學習節點級和圖級表示的自監督方法。我們表明，與視覺表示學習不同的是，將視圖數增加到兩個以上或對比多尺度編碼并不能提高性能，并且通過對比來自一階鄰居的編碼和圖擴散（ graph diffusion）可以獲得最佳性能。在線性評估協議下，我們的模型在8個節點和圖分類基準上有8個取得了最新結果。例如，在CORA(節點)和Reddit-Binary(圖)分類基準上，我們達到了86.8%和84.5%的準確率，比以前的技術水平分別提高了5.5%和2.4%。與監督基線相比，我們的方法在8個基準中有4個表現優于它們。

網址：

3、CURL: Contrastive Unsupervised Representations for Reinforcement Learning

作者：Michael Laskin、Aravind Srinivas、Pieter Abbeel

摘要：我們提出了CURL—用于強化學習的對比無監督表示法。CURL使用對比學習從原始像素中提取高層特征，并在提取的特征之上執行非策略控制。在DeepMind Control Suite和Atari Games的復雜任務上，無論是基于模型的方法還是非模型的方法，CURL的表現都優于之前基于像素的方法，在100K環境和交互步驟基準下分別顯示1.9倍和1.2倍的性能提升。在DeepMind Control Suite上，CURL是第一個幾乎與使用基于狀態特征的方法的采樣效率相當的基于圖像的算法。

代碼：

網址：

4、Data-Efficient Image Recognition with Contrastive Predictive Coding

作者：Olivier J. Hénaff、Aravind Srinivas、Jeffrey De Fauw、Ali Razavi、Carl Doersch、S. M. Ali Eslami、Aaron van den Oord

摘要：人類觀察者從少數幾個例子中可以學會識別新的圖像類別，但使用人造圖像做到這一點仍然是一個挑戰。我們假設通過表示使數據有效識別成為可能，這些表示使自然信號的可變性更加可預測。因此，我們重新改進了對比預測編碼，這是學習這種表示的一個無監督目標。此新實現產生的特征可以支持ImageNet數據集上的最新線性分類準確性。當使用深度神經網絡作為非線性分類的輸入時，這種表示允許我們使用比直接在圖像像素上訓練的分類器少2-5倍的標簽。最后，這種無監督表示大大改善了對Pascal VOC數據集上的目標檢測的遷移學習，超過了全監督預訓練的ImageNet分類器。

網址：

5、InfoGAN-CR and ModelCentrality: Self-supervised Model Training and Selection for Disentangling GANs

作者：Zinan Lin、Kiran K. Thekumparampil、Giulia Fanti1Sewoong Oh

摘要：分解（disentangled）的生成模型將潛在向量映射到目標空間，同時強制學習的潛在子集是可解釋的，并且與目標分布的不同屬性相關聯。最近的進展主要是基于變分自編碼器(VAE)的方法，而訓練分離的生成式對抗網絡(GANS)仍然是具有挑戰性的。在這項工作中，我們證明了分離的GAN面臨的主要挑戰可以通過使用自監督來緩解。我們的主要貢獻有兩個：第一，我們設計了一種新的具有自監督功能的分離GANs訓練方法。我們提出了對比正則化（contrastive regularizer）算法，它的靈感來自于一個自然的分解概念：latent traversal。這比最先進的基于VAE和GAN的方法獲得了更高的分離分數。其次，我們提出了一種稱為ModelCentrality的無監督模型選擇方案，它使用生成的合成樣本來計算模型集合的medoid(多維中值推廣)。令人驚訝的是，這種無監督的ModelCentrality能夠選擇比使用現有的監督超參數選擇技術訓練的模型性能更好的模型。將對比正則化和ModelCentrality相結合，在不需要有監督超參數選擇的情況下，大幅度地獲得了最先進的分離分數。

網址：

6、Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere

作者：Tongzhou Wang、Phillip Isola

摘要：對比表示學習在實踐中取得了顯著的成功。在這項工作中，我們確定了與對比損失相關的兩個關鍵性質：(1)正對特征的對齊方式（緊密度）和(2)超球面上(歸一化)特征誘導分布的均勻性。我們證明，漸近地，對比損失優化了這些屬性，并分析了它們對下游任務的積極影響。根據經驗，我們引入了一個可優化的指標來量化每個屬性。在標準視覺和語言數據集上的大量實驗證實了指標與下游任務性能之間的強烈一致性。直接針對這兩個指標進行優化可以使下游任務的表現比對比學習更好或更高。

代碼：

網址：

【導讀】國際萬維網大會（The Web Conference，簡稱WWW會議）是由國際萬維網會議委員會發起主辦的國際頂級學術會議，創辦于1994年，每年舉辦一屆，是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。本屆會議共收到了1129篇長文投稿，錄用217篇長文，錄用率為19.2%。這周會議已經召開，會議論文集已經公開，大家可以自己查看感興趣的論文，專知小編繼續整理WWW 2020 系列論文，這期小編為大家奉上的是WWW 2020五篇知識圖譜+圖神經網絡（KG+GNN）相關論文，供大家參考！——多關系實體對齊、問答推理、動態圖實體鏈接、序列實體鏈接、知識圖譜補全。

WWW 2020 會議論文集： //dl.acm.org/doi/proceedings/10.1145/3366423

WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、ICML2019GNN

1. Collective Multi-type Entity Alignment Between Knowledge Graphs

作者：Qi Zhu, Hao Wei, Bunyamin Sisman, Da Zheng, Christos Faloutsos, Xin Luna Dong and Jiawei Han

摘要：知識圖(如Freebase、Yago)是表示各類實體之間豐富真實信息的多關系圖。實體對齊是實現多源知識圖集成的關鍵步驟。它旨在識別涉及同一真實世界實體的不同知識圖中的實體。然而，現有的實體對齊系統忽略了不同知識圖的稀疏性，不能通過單一模型對多類型實體進行對齊。在本文中，我們提出了一種用于多類型實體對齊的聯合圖神經網絡（Collective Graph neural network），稱為CG-MuAlign。與以前的工作不同，CG-MuAlign聯合對齊多種類型的實體，共同利用鄰域信息并將其推廣到未標記的實體類型。具體地說，我們提出了一種新的集中聚集函數1)通過交叉圖和自注意力來緩解知識圖的不完全性，2）通過小批量訓練范例和有效的鄰域抽樣策略，有效地提高了可伸縮性。我們在具有數百萬個實體的真實知識圖上進行了實驗，觀察到了比現有方法更優越的性能。此外，我們的方法的運行時間比目前最先進的深度學習方法要少得多。

網址：

2. Complex Factoid Question Answering with a Free-Text Knowledge Graph

作者：Chen Zhao, Chenyan Xiong, Xin Qian and Jordan Boyd-Graber

摘要：我們介紹了Delft，一個事實問答系統，它將知識圖問答方法的細微和深度與更廣泛的free-文本結合在一起。Delft從Wikipedia構建了一個自由文本知識圖，以實體為節點和句子，其中實體同時出現做為邊。對于每個問題，Delft使用文本句子作為邊，找到將問題實體節點鏈接到候選對象的子圖，創建了密集且覆蓋率高的語義圖。一種新穎的圖神經網絡在free-文本圖上進行推理-通過沿邊句子的信息組合節點上的證據-以選擇最終答案。在三個問答數據集上的實驗表明，Delft能夠比基于機器閱讀的模型、基于BERT的答案排序和記憶網絡更好地回答實體豐富的問題。Delft的優勢既來自于其free-文本知識圖譜的高覆蓋率--是DBpedia關系的兩倍多--也來自于新穎的圖神經網絡，它基于豐富而嘈雜的free-文本證據進行推理。

網址：

3. Dynamic Graph Convolutional Networks for Entity Linking

作者：Junshuang Wu, Richong Zhang, Yongyi Mao, Hongyu Guo, Masoumeh Soflaei and Jinpeng Huai

摘要：實體鏈接將文檔中提及的命名實體映射到給定知識圖中的合適的實體，已被證明能夠從基于圖卷積網絡(GCN)對實體相關性建模中獲得顯著好處。然而，現有的GCN實體鏈接模型沒有考慮到，一組實體的結構化圖不僅依賴于給定文檔的上下文信息，而且在GCN的不同聚合層上自適應地變化，導致在捕捉實體之間的結構信息方面存在不足。在本文中，我們提出了一種動態的GCN體系結構來有效地應對這一挑戰。模型中的圖結構是在訓練過程中動態計算和修改的。通過聚合動態鏈接節點的知識，我們的GCN模型可以集中識別文檔和知識圖之間的實體映射，并有效地捕捉整個文檔中各個實體提及（ mentions）之間的主題一致性。在基準實體連接數據集上的實證研究證實了我們提出的策略的優越性能和動態圖結構的好處。

網址：

4. High Quality Candidate Generation and Sequential Graph Attention Network for Entity Linking

作者：Yichao Zhou, Shaunak Mishra, Manisha Verma, Narayan Bhamidipati and Wei Wang

摘要：實體鏈接(EL)是將文本中提及的內容映射到知識庫(KB)中相應實體的任務。這項任務通常包括候選生成(CG)和實體消歧(ED)兩個階段。目前基于神經網絡模型的EL系統取得了較好的性能，但仍然面臨著兩個挑戰：(1)以往的研究在評估模型時沒有考慮候選實體之間的差異。事實上，候選集的質量(特別是黃金召回)對EL結果有影響。因此，如何提候選的素質需要引起更多的關注。(Ii)為了利用提及實體之間的主題一致性，提出了許多聚集ED的圖和序列模型。然而，基于圖的模型對所有候選實體一視同仁，這可能會引入大量的噪聲信息。相反，序列模型只能觀察先前引用的實體，而忽略了當前提及的實體與其后續實體之間的相關性。針對第一個問題，我們提出了一種基于多策略的CG方法來生成高召回率的候選集。對于第二個問題，我們設計了一個序列圖注意力網絡(SeqGat)，它結合了圖和序列方法的優點。在我們的模型中，提及（ mentions）是按順序處理的。在當前提到的情況下，SeqGAT對其先前引用的實體和后續實體進行動態編碼，并為這些實體分配不同的重要性。這樣既充分利用了主題的一致性，又減少了噪聲干擾。我們在不同類型的數據集上進行了實驗，并在開放的評測平臺上與以前的EL系統進行了比較。比較結果表明，與現有的方法相比，我們的模型有了很大的改進。

網址：

5. Mining Implicit Entity Preference from User-Item Interaction Data for Knowledge Graph Completion via Adversarial Learning

作者：Gaole He, Junyi Li, Wayne Xin Zhao, Peiju Liu and Ji-Rong Wen

摘要：知識圖補全(KGC)任務旨在自動推斷知識圖(KG)中缺失的事實信息。在本文中，我們采取了一個新的視角，旨在利用豐富的用戶-項目交互數據(簡稱用戶交互數據)來改進KGC任務。我們的工作靈感來自于觀察到許多KG實體對應于應用系統中的在線項目。然而，這兩種數據源的固有特性有很大的不同，使用簡單的融合策略很可能會損害原有的性能。為了應對這一挑戰，我們提出了一種新的對抗性學習方法，通過利用用戶交互數據來執行KGC任務。我們的生成器是從用戶交互數據中分離出來的，用來提高鑒別器的性能。鑒別器將從用戶交互數據中學習到的有用信息作為輸入，并逐步增強評估能力，以識別生成器生成的假樣本。為了發現用戶的隱含實體偏好，設計了一種基于圖神經網絡的協同學習算法，并與鑒別器進行聯合優化。這種方法有效地緩解了KGC任務的數據異構性和語義復雜性問題。在三個真實世界數據集上的廣泛實驗已經證明了我們在KGC任務上的方法的有效性。

網址：

【導讀】國際萬維網大會（The Web Conference，簡稱WWW會議）是由國際萬維網會議委員會發起主辦的國際頂級學術會議，創辦于1994年，每年舉辦一屆，是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。本屆會議共收到了1129篇長文投稿，錄用217篇長文，錄用率為19.2%。近期，推薦相關也比較熱門，專知小編提前整理了WWW 2020 推薦系統比較有意思的的論文，供參考——序列推薦、可解釋Serendipity 推薦、推薦效率、 bandit推薦、Off-policy學習。 WWW2020RS_Part1

1. A Contextualized Temporal Attention Mechanism for Sequential Recommendation

作者：Jibang Wu, Renqin Cai, Hongning Wang

摘要：根據用戶的歷史連續行為預測用戶的偏好對于現代推薦系統來說是具有挑戰性的，也是至關重要的。現有的序列推薦算法在建模歷史事件對當前預測的影響時，大多側重于序列行為之間的過渡結構，而很大程度上忽略了時間和上下文信息。在這篇文章中，我們認為過去的事件對用戶當前行為的影響應該隨著時間的推移和不同的背景而變化。因此，我們提出了一種情境時間注意力機制（Contextualized Temporal Attention），該機制可以學習權衡歷史行為在行為以及行為發生的時間和方式上的影響。更具體地說，為了動態地校準來自自注意力機制的相對輸入的依賴關系，我們提出了多個參數化的核函數以學習各種時間動態，然后使用上下文信息來確定每個輸入要跟隨哪一個kernel（ reweighing kernels ）。在對兩個大型公開推薦數據集進行的實證評估中，我們的模型始終優于一系列最先進的序列推薦方法。

網址：

//arxiv.org/pdf/2002.00741.pdf

2. Directional and Explainable Serendipity Recommendation

作者：Xueqi Li, Wenjun Jiang, Weiguang Chen, Jie Wu, Guojun Wang, Kenli Li

摘要：近幾年來，Serendipity推薦越來越受到人們的關注，它致力于提供既能迎合用戶需求，又能開闊他們眼界的建議。然而，現有的方法通常使用標量而不是向量來度量用戶與項目的相關性，忽略了用戶的偏好方向，這增加了不相關推薦的風險。此外，合理的解釋增加了用戶的信任度和接受度，但目前沒有為Serendipity推薦提供解釋的工作。為了解決這些局限性，我們提出了一種有向的、可解釋的Serendipity推薦方法，稱為DESR。具體而言，首先采用基于高斯混合模型(GMM)的無監督方法提取用戶的長期偏好，然后利用膠囊（capsule ）網絡捕捉用戶的短期需求。然后，我們提出了將長期偏好與短期需求相結合的意外（serendipity）向量，并利用它生成有向的Serendipity推薦。最后，利用反向路徑選擇方案進行了解釋。在真實數據集上的大量實驗表明，與現有的基于意外（serendipity）發現的方法相比，DESR能夠有效地提高意外性和可解釋性，促進多樣性。

網址

3. LightRec: a Memory and Search-Efficient Recommender System

作者：Defu Lian, Haoyu Wang, Zheng Liu, Jianxun Lian, Enhong Chen, Xing Xie

摘要：近年來，深度推薦系統已經取得了顯著的進步。盡管具有出色的排名精度，但實際上運行效率和內存消耗在現實中卻是嚴重的瓶頸。為了克服這兩個瓶頸，我們提出了LightRec，這是一個輕量級的推薦系統，具有快速的在線推斷功能和經濟的內存消耗。LightRec的主干是總共B個codebooks，每個codebook均由W個潛在向量組成，稱為codewords。在這種結構的頂部，LightRec將有一個商品表示為B codewords的加法組合，這些B codewords是從每個codebook中選擇的最佳的。為了有效地從數據中學習codebooks，我們設計了一個端到端的學習工作流程，其中所提出的技術克服了固有差異性和多樣性方面的挑戰。另外，為了進一步提高表示質量，采用了幾種distillation策略，可以更好地保留用戶-商品的相關性得分和相對排名順序。我們對LightRec在四個真實數據集上進行了廣泛評估，得出了兩個經驗發現：1)與最先進的輕量級baseline相比，LightRec在召回性能方面取得了超過11%的相對改進；2)與傳統推薦算法相比，在top-k推薦算法中，LightRec的精度下降幅度可以忽略不計，但速度提高了27倍以上。

網址：

4. Hierarchical Adaptive Contextual Bandits for Resource Constraint based Recommendation

作者：Mengyue Yang, Qingyang Li, Zhiwei Qin, Jieping Ye

摘要：上下文多臂 bandit(MAB)在各種問題上實現了優異性能。然而，當涉及到推薦系統和在線廣告等現實場景時，必須考慮探索的資源消耗。在實踐中，通常存在與在環境中執行建議(ARM)相關聯的非零成本，因此，應該在固定的探索成本約束下學習策略。由于直接學習全局最優策略是一個NP難題，并且極大地使bandit算法的探索和開發之間的權衡復雜化，因此直接學習全局最優策略是一個很大的挑戰。現有的方法著重于通過采用貪婪策略來解決問題，該策略估計預期的收益和成本，并基于每個臂的預期收益/成本比使用貪婪的選擇，利用歷史觀察直到勘探資源耗盡為止。然而，現有的方法當沒有更多的資源時，學習過程就會終止，因此很難擴展到無限的時間范圍。本文提出了一種分層自適應上下文bandit方法(HATCH)來進行有預算約束的上下文bandit的策略學習。HATCH采用一種自適應的方法，根據剩余資源/時間和對不同用戶上下文之間報酬分配的估計來分配勘探資源。此外，我們利用充分的上下文特征信息來找到最好的個性化推薦。最后，為了證明提出的理論，我們進行了regret bound分析，并證明HATCH的regret bound低至O(√T)。實驗結果證明了該方法在合成數據集和實際應用中的有效性和效率。

網址：

5. Off-policy Learning in Two-stage Recommender Systems

作者：Jiaqi Ma, Zhe Zhao, Xinyang Yi, Ji Yang, Minmin Chen, Jiaxi Tang, Lichan Hong, Ed H. Chi

摘要：許多現實世界中的推薦系統需要高度可伸縮性：將數百萬個項目與數十億用戶進行匹配，并只具有毫秒級的延遲。可伸縮性的要求導致了廣泛使用的兩階段推薦系統，由第一階段高效的候選生成模型和第二階段更強大的排序模型組成。通常使用記錄的用戶反饋(例如，用戶點擊或停留時間)來構建用于推薦系統的候選生成和排名模型。雖然很容易收集大量這樣的數據，但因為反饋只能在以前系統推薦的項目上觀察到，因此這些數據在本質上是有偏見的。近年來，推薦系統研究領域對此類偏差的off-policy 修正引起了越來越多的關注。然而，現有的大多數工作要么假設推薦系統是一個單階段系統，要么只研究如何將離策略校正應用于系統的候選生成階段，而沒有顯式地考慮這兩個階段之間的相互作用。在這項工作中，我們提出了一種兩階段離策略（two-stage off-policy）策略梯度方法，并證明了在兩階段推薦系統中忽略這兩個階段之間的交互會導致次優策略。該方法在訓練候選生成模型時明確考慮了排序模型，有助于提高整個系統的性能。我們在具有大項目空間的真實數據集上進行了實驗，驗證了所提方法的有效性。

網址：