亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖結構學習是一個成熟的問題，旨在優化適應特定圖數據集的圖結構，以幫助消息傳遞神經網絡（即GNN）產生有效且魯棒的節點嵌入。然而，現有模型的普遍限制在于基本的封閉世界假設：測試圖與訓練圖相同。這個前提要求對每個圖數據集獨立從頭開始訓練結構學習模型，導致計算成本過高，并可能出現嚴重的過擬合風險。為了緩解這些問題，本文探索了一個新的方向，即學習一個通用的結構學習模型，可以在開放世界中推廣到各種圖數據集。我們首先介紹這個新穎問題設置的數學定義，并從概率數據生成的角度描述模型的構建。然后，我們設計了一個通用框架，協調一個圖共享的結構學習器和多個圖特定的GNN，以捕捉跨數據集的可推廣的最佳消息傳遞拓撲模式。經過良好訓練的結構學習器可以直接為未見過的目標圖生成適應性結構，而無需任何微調。在不同的數據集和各種具有挑戰性的跨圖泛化協議中，我們的實驗證明，即使在目標圖上沒有進行訓練，所提出的模型：i）顯著優于在輸入（非優化）拓撲上訓練的表達能力強大的GNN；ii）令人驚訝地與獨立優化特定目標圖的最先進模型表現相當，并且在目標圖上訓練的速度明顯加快了幾個數量級。 //arxiv.org/abs/2306.11264

持續學習旨在在非平穩數據流上進行學習，而不會災難性地忘記之前的知識。流行的基于重放的方法通過在一個保存已見數據的小緩沖區上排練來解決這一挑戰，為此需要一個精細的樣本選擇策略。然而，現有的選擇方案通常只尋求當前選擇的效用最大化，而忽略了連續幾輪選擇之間的干擾。受此啟發，在一個建立在影響函數上的框架內，剖析了順序選擇步驟的相互作用。本文設法確定了一類新的二階影響，它將逐漸放大重播緩沖區中的偶然偏差，并損害選擇過程。為了正則化二階效應，提出了一個新的選擇目標，它也與兩個廣泛采用的準則有明確的聯系。此外，還提出了一種高效的實現方法來優化所提出的準則。在多個持續學習基準上的實驗表明，所提出方法比最先進的方法具有優勢。代碼可以在//github.com/ feifeiobama/InfluenceCL找到。

理解強化學習(RL)智能體的新出現行為可能是困難的，因為此類智能體通常在復雜環境中使用高度復雜的決策程序進行訓練。這導致了強化學習中各種可解釋性方法的產生，這些方法旨在協調智能體的行為和觀察者預期的行為之間可能出現的差異。最近的大多數方法都依賴于領域知識(這可能并不總是可用的)，依賴于對智能體策略的分析，或者依賴于對底層環境的特定元素的分析(通常建模為馬爾可夫決策過程(Markov Decision Process, MDP))。我們的關鍵主張是，即使底層的MDP不是完全已知的(例如，轉移概率沒有被準確地學習)或不是由智能體維護的(即，轉移概率不是由智能體維護的)。，當使用無模型方法時)，它仍然可以被利用來自動生成解釋。出于這個目的，我們建議使用正式的MDP抽象和轉換(以前在文獻中用于加速搜索最優策略)來自動生成解釋。由于這種轉換通常基于環境的符號表示，它們可以表示預期和實際智能體行為之間差距的有意義的解釋。我們正式地定義了這個問題，提出了一類可以用來解釋突發行為的變換，并提出了能夠有效地尋找解釋的方法。我們將在一組標準基準上演示該方法。

目前的自然語言處理模型嚴重依賴有效的表示學習算法。對比學習就是這樣一種學習嵌入空間的技術，它使相似的數據樣本對具有相近的表示，而不同的樣本彼此相距遙遠。它可以用于監督或非監督設置，使用不同的損失函數來產生特定于任務的或通用的表示。雖然它最初使視覺任務的成功成為可能，但近年來，關于對比NLP的工作越來越多。這一第一行的工作不僅在各種NLP任務中提供了有前景的性能改進，而且還提供了所需的特性，如任務不可知的句子表示、忠實的文本生成、零樣本和少樣本設置下的數據高效學習和可解釋性。

在本教程中，我們將溫柔地介紹對比學習方法的基本原理及其背后的理論。然后，我們調研了對比學習對各種下游NLP應用的好處和最佳實踐，包括文本分類、問題回答、摘要、文本生成、可解釋性和可解釋性、常識知識和推理、視覺和語言。

本教程旨在幫助自然語言處理和計算語言學領域的研究人員理解這一新興主題，并推動將對比學習用于自然語言處理應用的未來研究方向。

//contrastive-nlp-tutorial.github.io/

對比學習基礎 Part 1: Foundations of Contrastive Learning Contrastive Learning Objectives Contrastive Data Sampling and Augmentation Strategies Successful Applications Analysis of Contrastive Learning NLP對比學習 Part 2: Contrastive Learning for NLP Contrastive Learning in NLP Tasks Task-agnostics Representation Faithful Text Generation Data-efficient Learning Interpretability and Explainability

經驗教訓與未來 Part 3: Lessons Learned, Practical Advice, and Future Directions Lessons Learned Practical Advice Future Directions

講者:

約束強化學習(CRL)最近引起了人們的極大興趣，因為滿足安全約束對現實世界的問題至關重要。然而，現有的CRL方法對折現累積成本的約束通常缺乏嚴格的定義和安全性保證。另一方面，在安全控制研究中，安全被定義為持續滿足一定的狀態約束。這種持久安全只在狀態空間的一個子集上是可能的，這個子集被稱為可行集，對于給定的環境存在一個最優最大可行集。近年來的研究利用基于能量的方法，如控制屏障函數(CBF)、安全指數(SI)等，將安全控制與CRL相結合，利用可行集的先驗保守估計，影響了學習策略的性能。針對這一問題，本文提出了一種可達性CRL (RCRL)方法，利用可達性分析來刻畫最大可行集。我們用建立的自一致性條件刻畫可行集，然后學習一個安全值函數作為CRL的約束。我們還利用多時間尺度隨機逼近理論證明了所提算法收斂于局部最優，其中最大可行集是可以保證的。不同基準上的經驗結果，如safecontrol-gym和Safety-Gym驗證了學習的可行集，在最優標準中的性能，以及RCRL的約束滿足，與最先進的CRL基線進行了比較。

//www.zhuanzhi.ai/paper/7cf75b83c7c786a3f426e412204927f8

人類能夠利用從以往經驗中提取的概念快速理解場景。這些概念是多種多樣的，包括全局場景描述符(如天氣或光照)，以及局部場景描述符(如特定對象的顏色或大小)。到目前為止，概念的無監督發現主要集中在建模全局場景級或局部對象級的變化因素，而不是兩者。在這項工作中，我們提出了COMET，它發現并表示概念為獨立的能量函數，使我們能夠在一個統一的框架下表示全局概念和對象。COMET通過重新組合輸入圖像發現能量函數，我們發現該圖像捕獲獨立的因素，而不需要額外的監督。COMET中的示例生成是對底層能量函數的優化過程，使我們能夠生成具有排列和組合概念的圖像。最后，在COMET中發現的可視概念具有很好的通用性，使我們能夠在不同的圖像模式之間組合概念，以及在不同數據集上訓練的單獨COMET實例發現的其他概念。代碼和數據可在//energy-based-model.github.io/comet/。

持續學習是一種學習模式，在這種模式下，學習系統按照一系列任務進行訓練。這里的目標是在當前任務上執行得很好，而不會受到前面任務的性能下降的影響。在神經網絡持續學習的最新進展中，有兩個值得注意的方向: (1) 基于變分貝葉斯的正則化，通過學習先前任務的先驗信息，以及(2)學習深度網絡的結構以適應新的任務。到目前為止，這兩種方法在很大程度上是相互正交的。我們提出了一個新的貝葉斯框架，基于不斷學習深度神經網絡的結構，以統一這些不同但互補的方法。該框架通過學習任務所使用的權值來學習任務的深層結構，并通過不同任務學習的權值的不同稀疏子集的重疊來支持任務間的遷移。我們提出的持續學習框架的一個吸引人的方面是，它既適用于甄別(有監督的)設置，也適用于生成(無監督的)設置。在有監督和無監督基準上的實驗結果表明，我們的方法在持續學習方面的表現與最近的進展相當或更好。

//proceedings.mlr.press/v139/kumar21a.html

深度神經網絡已經顯示出從圖像和文本等數據中提取通用特征表示的能力，這對各種學習任務都很有用。在聯邦設置中，表示學習的成果還沒有完全實現。盡管聯邦設置中的數據通常是非iid。在客戶端，集中深度學習的成功表明，數據通常共享一個全局特征表示，而在客戶端或任務之間的統計異質性集中在標簽。基于這種直覺，我們提出了一種新的聯合學習框架和算法來學習跨客戶端共享的數據表示。我們的算法利用客戶機之間的分布式計算能力，針對表示的每次更新的低維局部參數執行許多本地更新。我們證明了該方法在線性設置下獲得了接近最優樣本復雜度的ground-truth表示的線性收斂性，證明了該方法可以有效地降低每個客戶端的問題維數。此外，我們提供了大量的實驗結果，證明了我們的方法在異構環境下優于其他個性化聯合學習方法。

//arxiv.org/abs/2102.07078

當測試數據和訓練數據的分布相似時，基于深度神經網絡的方法已經取得了驚人的性能，但如果沒有相似的分布，則性能可能表現很差。因此，消除訓練和測試數據之間分布變化的影響對于構建具有良好性能的深度模型至關重要。傳統的方法要么假設訓練數據已知的異質性(例如域標簽)，要么假設不同域的容量近似相等。在本文中，我們考慮一個更具有挑戰性的情況，即上述兩種假設都不成立。為了解決這一問題，我們提出通過學習訓練樣本的權重來消除特征之間的依賴關系，這有助于深度模型擺脫虛假的相關性，從而更加關注區分性特征和標簽之間的真實聯系。大量的實驗清楚地證明了我們的方法在多個分布泛化基準上的有效性，與最先進的同行相比。通過大量的分布泛化基準實驗，包括PACS、VLCS、mist - m和NICO，我們證明了該方法的有效性，并與最新的同類方法進行了比較。

//www.zhuanzhi.ai/paper/dd9a8778840b02be8c81aebac3c94263

自監督學習已被廣泛應用于從未標記圖像中獲取可轉移的表示。特別是，最近的對比學習方法在下游圖像分類任務中表現出了令人印象深刻的性能。這些對比方法主要集中在語義保留變換下的圖像級上生成不變的全局表示，容易忽略局部表示的空間一致性，因此在目標檢測和實例分割等本地化任務的預處理中存在一定的局限性。此外，在現有的對比方法中使用的積極裁剪視圖可以最小化單個圖像中語義不同區域之間的表示距離。

在本文中，我們提出了一種用于多目標和特定位置任務的空間一致表示學習算法(SCRL)。特別地，我們設計了一個新的自監督目標，試圖根據幾何平移和縮放操作產生隨機裁剪局部區域的連貫空間表示。在使用基準數據集的各種下游定位任務上，提出的SCRL顯示了相對于圖像級監督前訓練和最先進的自監督學習方法的顯著性能改進。代碼將會被發布。

//www.zhuanzhi.ai/paper/86fc25415eef2e6e1ed9019494ce1fcf