亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

Code：//github.com/Shen-Lab/GraphCL Paper:

對于當前的圖神經網絡(GNNs)來說，圖結構數據的可泛化、可遷移和魯棒表示學習仍然是一個挑戰。與為圖像數據而開發的卷積神經網絡(CNNs)不同，自監督學習和預訓練很少用于GNNs。在這篇文章中，我們提出了一個圖對比學習(GraphCL)框架來學習圖數據的無監督表示。我們首先設計了四種類型的圖擴充來包含不同的先驗。然后，我們在四種不同的環境下系統地研究了圖擴充的各種組合對多個數據集的影響:半監督、無監督、遷移學習和對抗性攻擊。結果表明，與最先進的方法相比，即使不調優擴展范圍，也不使用復雜的GNN架構，我們的GraphCL框架也可以生成類似或更好的可泛化性、可遷移性和健壯性的圖表示。我們還研究了參數化圖增強的范圍和模式的影響，并在初步實驗中觀察了性能的進一步提高。

平移的不變性為卷積神經網絡注入了強大的泛化特性。然而，我們通常無法預先知道數據中存在哪些不變性，或者模型在多大程度上應該對給定的對稱組保持不變。我們展示了如何通過參數化增強分布和同時優化網絡參數和增強參數的訓練損失來學習不變性和等方差。通過這個簡單的過程，我們可以在一個很大的擴充空間中，僅在訓練數據上，恢復圖像分類、回歸、分割和分子性質預測上的正確不變量集和范圍。

//arxiv.org/pdf/2010.11882.pdf

我們解決了監督學習的特征化和尋找最優表示的問題。傳統上，這個問題通過使用信息瓶頸來解決，即壓縮輸入，同時保留關于目標的信息，這種方式與解碼器無關。然而，在機器學習中，我們的目標不是壓縮而是泛化，這與我們感興趣的預測族或譯碼器(例如線性分類器)密切相關。我們提出了可解碼信息瓶頸(DIB)，它從預期預測族的角度考慮信息的保留和壓縮。因此，DIB產生了預期測試性能方面的最優表示，并且可以在保證的情況下進行估計。實驗表明，該框架可以在下游分類器上施加一個小的泛化間隙，并預測神經網絡的泛化能力。

//www.zhuanzhi.ai/paper/89c6cd33631078ee766b8b8dc409a503

確定輸入是否在分布外(OOD)是在開放世界中安全部署機器學習模型的一個重要基石。然而，以往依賴softmax置信評分的方法對OOD數據存在過自信的后驗分布。我們提出了一個使用能量分數的OOD檢測的統一框架。我們表明，能量分數比使用softmax分數的傳統方法更好地區分分布內和分布外的樣本。與softmax信心分數不同，能量分數理論上與輸入的概率密度一致，不太容易受到過度自信問題的影響。在這個框架內，能量可以被靈活地用作任何預訓練的神經分類器的評分函數，也可以作為可訓練的代價函數來明確地塑造能量表面，用于OOD檢測。在CIFAR-10預訓練的WideResNet中，使用能量分數比softmax信心分數降低平均FPR (TPR 95%) 18.03%。在以能量為基礎的訓練中，我們的方法在一般的基準上比最先進的方法表現得更好。

//arxiv.org/abs/2010.03759

圖神經網絡(GNNs)已被證明是有效的模型，用于對圖結構數據的不同預測任務。最近關于它們表達能力的工作集中在同構任務和可數特征空間。我們對這個理論框架進行了擴展，使其包含連續的特性——在真實世界的輸入域和gnn的隱藏層中定期出現——并演示了在此上下文中對多個聚合函數的需求。為此，我們提出了一種新的聚合器結構——主鄰域聚合(PNA)，它將多個聚合器與度標器相結合，從而推廣了總和聚合器。最后，我們通過一個新的基準來比較不同模型捕獲和利用圖結構的能力，該基準包含了來自經典圖理論的多個任務，以及來自現實領域的現有基準，所有這些都證明了我們模型的強大。通過這項工作，我們希望引導一些GNN研究轉向新的聚合方法，我們認為這對于尋找強大和健壯的模型至關重要。

//www.zhuanzhi.ai/paper/bee47b0e291d163fae01c

通過最小化逆動力學分歧來實現從觀察中模仿學習 Consensus-Aware Visual-Semantic Embedding for Image-Text Matching

本文由騰訊 AI Lab 主導，與天津大學合作完成，提出了一種新的視覺-文本匹配模型。

當今互聯網中存在海量的多媒體數據，其中最廣泛存在的分別是圖像和語言數據。圖像-文本匹配任務的核心目的是跨越視覺和語言間的語義鴻溝，進而實現更精準的語義理解。現有的方法只依賴于成對的圖像-文本示例來學習跨模態表征，進而利用它們的匹配關系并進行語義對齊。這些方法只利用示例級別的數據中存在的表層關聯，而忽略了常識知識的價值，這會限制其對于圖像與文本間更高層次語義關系的推理能力。

本論文提出將兩種模態間共享的常識知識注入到視覺語義嵌入模型中，進而用于圖像文本匹配。具體來說，首先基于圖像描述語料庫中概念間的統計共生關系構造了語義關系圖，并在此基礎上利用圖卷積得到共識知識驅動的概念表征。通過共識知識和示例級表征的聯合利用，能夠學習到圖像和文本間的高層次語義關聯并進行語義對齊。

模型的不同模塊的結構

給定輸入的圖像區域特征和文本單詞特征，本文提出的 CVSE 模型不僅可以學習示例級別特征，還挖掘共識知識來學習更高層次的語義關聯，從而實現更加準確的文本圖像匹配。

在兩個公共數據集上的大量實驗表明，使用共識知識可以大幅增強視覺語義嵌入模型的表征能力，使其在圖像-文本雙向檢索任務上的表現顯著優于現有方法。

//www.zhuanzhi.ai/paper/ba61441001c8cee4cdd68743008a3706

逆合成設計是有機化學的關鍵問題之一。由于在反應的每一步理論上都有成千上萬種可能的轉化導致設計的搜索空間是巨大的，即使是有經驗的化學家處理這個問題也是十分棘手的。

單步逆合成預測對給定產物可能的直接反應物列表的預測，盡管單步合成法不斷得到改進，但現實世界中的大多數分子都無法在一步之內合成。合成步驟的數量可以達到60個甚至更多。單步逆合成法面臨著巨大的搜索空間和性能測量及基準測試模糊性的挑戰，為實現多步逆合成設計奠定基礎。

在本文中，作者提出了一種新的基于學習的逆合成設計算法Retro*來學習以前的設計經驗，該算法框架可以歸納出保證最優解的搜索算法。另外，作者提出了一種構建合成路線數據集的方法，用于對多步合成設計方法進行定量分析。其設計算法是通用的，它也可以應用于其他機器學習問題，如定理證明和分層任務設計，實驗結果表明該算法的性能大大優于現有方法。

//www.zhuanzhi.ai/paper/84dcdb8686f27852f81a0a23d48ce2dd

在最大化源與目標之間的互信息方面的最新進展已經證明了它在文本生成方面的有效性。然而，以往的工作對MI(即MI)的后向網絡建模關注較少。這對于變分信息最大化下界的緊密性至關重要。在本文中，我們提出了一個對抗互信息(AMI):一個文本生成框架，它是一個新的鞍點(min-max)優化，旨在識別源與目標之間的聯合交互。在這個框架中，通過比較真實和合成的數據分布，前向網絡和后向網絡能夠迭代地提升或降級彼此生成的實例。我們還開發了一個潛在噪聲采樣策略，利用高級語義空間的隨機變化來增強生成過程中的長期依賴性。基于不同文本生成任務的大量實驗表明，所提出的AMI框架能夠顯著優于多個強基線，我們還表明，AMI有可能為變分信息最大化問題帶來更緊密的互信息上限。

//www.zhuanzhi.ai/paper/ccd8403755c153d155bec032656f8c49

弱監督語義分割是一項具有挑戰性的任務，因為沒有提供像素級的標簽信息供訓練使用。最近的方法利用分類網絡，通過選擇具有強響應的區域來定位目標。然而，雖然這種響應映射提供了稀疏信息，但在自然圖像中像素之間存在很強的兩兩關系，可以利用這種兩兩關系將稀疏映射傳播到更密集的區域。本文提出了一種迭代算法來學習這種兩兩關系，它由兩個分支組成，一個是學習每個像素的標簽概率的一元分割網絡，另一個是學習親和矩陣并細化由一元網絡生成的概率圖的兩兩親和網絡。將兩兩網絡的細化結果作為監督，對一元網絡進行訓練，通過迭代的方法逐步獲得較好的分割效果。為了在不需要精確標注的情況下獲得可靠的像素親和力，我們還提出了可信區域的挖掘方法。我們證明了迭代訓練這個框架等價于優化一個收斂到局部最小值的能量函數。在PASCAL VOC 2012和COCO數據集上的實驗結果表明，所提出的算法在性能上優于目前最先進的方法。