近年來，互信息(MI)在限制深度神經網絡(DNNs)泛化誤差方面引起了人們的廣泛關注。然而，由于很難準確估計神經網絡中的信息熵，因此以往的研究大多都需要放寬信息熵的界限，從而削弱了對泛化的信息理論解釋。針對這一局限性，本文引入了一種用于精確估計MI的DNNs的概率表示方法。利用本文提出的MI估計器，我們驗證了對泛化的信息理論解釋，并得出了一個比最先進的松解更緊的概化邊界。
付費5元查看完整內容
相關內容
最近解開深度學習中的隱式正則化之謎的努力促使了對矩陣分解的理論關注——通過線性神經網絡的矩陣完成。作為對實際深度學習的進一步研究，我們首次對張量因子分解中的隱正則化進行了理論分析——通過某種非線性神經網絡的張量補全。我們采用動力學系統的觀點，規避了張量問題的困難，刻畫了梯度下降引起的演化。給出了貪心低張量秩搜索的一種形式，在一定條件下給出了嚴格的證明，并在其他條件下給出了經驗證明。基于張量秩捕獲非線性神經網絡隱含正則化的動機，我們將其作為復雜性的度量方法進行了實證研究，并發現它捕獲了神經網絡所泛化的數據集的本質。這使我們相信張量秩可以為解釋深度學習中的隱正則化以及將這種隱正則化轉換為泛化的真實數據的特性鋪平道路。
付費5元查看完整內容
貝葉斯范式有潛力解決深度神經網絡的核心問題，如校準差和數據效率低。唉，將貝葉斯推理擴展到大權重空間通常需要限制性的近似。在這項工作中，我們證明，為了獲得準確的預測后驗，對模型權重的一個小子集進行推理是足夠的。其他權重保留為點估計值。這個子網絡推理框架使我們能夠在這些子集上使用表達性的，否則難以處理的后驗近似。特別地，我們將子網絡線性化拉普拉斯作為一種簡單的、可擴展的貝葉斯深度學習方法來實現:我們首先獲得所有權重的MAP估計，然后使用線性化拉普拉斯近似來推斷子網絡上的全協方差高斯后程。我們提出了一種子網絡選擇策略，旨在最大限度地保持模型的預測不確定性。
付費5元查看完整內容
對抗訓練是提高模型對抗擾動魯棒性的最有效技術之一。然而，這種方法對模型的全部影響還沒有被很好地理解。例如，雖然對抗訓練可以減少對抗風險(針對對手的預測錯誤)，但它有時會增加標準風險(沒有對手時的泛化錯誤)。在本文中，我們關注于分布擾動對手框架，其中對手可以改變訓練數據分布的鄰域內的測試分布。鄰域是通過分布之間的Wasserstein距離定義的，鄰域的半徑是對手操縱能力的度量。我們研究了標準風險和對抗風險之間的權衡，并推導了在特征維數不變的無限數據限制下，在特定類型的模型上可實現的Pareto最優權衡。我們考慮了三種學習設置:1) 線性模型類的回歸; 2) 二元分類下的高斯混合數據模型，用線性分類器分類; 3)用一類隨機特征模型進行回歸(可等效表示為第一層權值為隨機的兩層神經網絡)。我們表明，標準風險和對抗性風險之間的權衡在所有三種情況下都得到了體現。我們進一步描述了Pareto最優權衡曲線，并討論了各種因素，如特征相關性、對手的力量或兩層神經網絡的寬度會如何影響這種權衡。
付費5元查看完整內容
由于神經網絡的日益普及，對神經網絡預測的信心變得越來越重要。然而，基本的神經網絡不會給出確定性估計，也不會受到信心過度或不足的影響。許多研究人員一直致力于理解和量化神經網絡預測中的不確定性。因此，不同類型和來源的不確定性已被識別，并提出了各種方法來測量和量化神經網絡中的不確定性。本工作對神經網絡中的不確定性估計進行了全面的概述，綜述了該領域的最新進展，突出了當前的挑戰，并確定了潛在的研究機會。它旨在給任何對神經網絡中的不確定性估計感興趣的人一個廣泛的概述和介紹，而不預設在這一領域有先驗知識。對不確定性的主要來源進行了全面的介紹，并將它們分為可約模型不確定性和不可約數據不確定性。本文介紹了基于確定性神經網絡、貝葉斯神經網絡、神經網絡集成和測試時間數據增強等方法對這些不確定性的建模，并討論了這些領域的不同分支和最新進展。對于實際應用，我們討論不確定性的不同措施，校準神經網絡的方法，并給出現有基線和實現的概述。來自不同領域廣泛挑戰的不同例子，提供了實際應用中有關不確定性的需求和挑戰的概念。此外，討論了當前用于任務和安全關鍵的現實世界應用的方法的實際限制，并展望了未來的步驟，以更廣泛地使用這些方法。
付費5元查看完整內容
最近的對比表示學習方法依賴于估計一個上下文的多個視圖之間的互信息。例如，我們可以通過應用數據增強獲得給定圖像的多個視圖，或者我們可以將序列分割成包含序列中某個步驟的過去和未來的視圖。MI的下界比較容易優化，但當評估大量的MI有強烈的低估偏見。我們提出將完整的MI估計問題分解為一個較小的估計問題。這個表達式包含一個無條件和條件MI項的和，每個測量總的MI的適度塊，這有助于通過對比界近似。為了使和最大化，我們給出了條件MI的一個比較下界，它可以有效地逼近。我們將我們的一般方法稱為互信息分解估計(DEMI)。我們證明了DEMI可以捕獲比標準的非分解對比界在綜合設置更大數量的MI，并在視覺域的對話生成學習更好的表示。
付費5元查看完整內容
回歸作為分類的對應，是一個具有廣泛應用的主要范式。域自適應回歸將回歸器從有標記的源域推廣到無標記的目標域。現有的區域適應回歸方法僅在淺層區取得了積極的結果。一個問題出現了:為什么在深層機制中學習不變表征不那么明顯?本文的一個重要發現是，分類對特征尺度具有魯棒性，而回歸則不具有魯棒性，對齊深度表示的分布會改變特征尺度，阻礙領域自適應回歸。基于這一發現，我們提出了通過表示空間的正交基來關閉域間隙，這是自由的特征縮放。受格拉斯曼流形的黎曼幾何啟發，我們定義了表示子空間上的幾何距離，并通過最小化它來學習深度可遷移表示。為了避免破壞深度表示的幾何性質，我們進一步引入了基不匹配懲罰來匹配正交基的排序跨表示子空間。我們的方法在三個領域自適應回歸基準上進行了評價，本文構建了其中兩個基準。我們的方法明顯優于最先進的方法。
付費5元查看完整內容
在為許多現實世界的問題指定獎勵方面的困難導致人們越來越關注從人的反饋中學習獎勵，比如演示。然而，通常有許多不同的獎勵功能來解釋人類的反饋，這讓智能體不確定什么是真正的獎勵功能。雖然大多數策略優化方法通過優化預期性能來處理這種不確定性，但許多應用需要規避風險行為。我們推導了一種新的策略梯度式魯棒優化方法PG-BROIL，它優化了平衡預期性能和風險的軟魯棒目標。據我們所知，PG-BROIL是第一個對獎勵假設分布魯棒的策略優化算法，該假設可以擴展到連續的MDPs。結果表明，PG-BROIL可以產生一系列從風險中性到風險厭惡的行為，并通過對沖不確定性從模糊的演示中學習，而不是尋求唯一識別演示者的獎勵功能時，表現優于最先進的模仿學習算法。
付費5元查看完整內容
基于注意力的神經網絡已經在許多任務上取得了最先進的成果。這類模型大多采用確定性注意力，而隨機注意力由于優化困難或模型設計復雜，研究較少。本文介紹了貝葉斯注意力信念網絡，該網絡通過將非歸一化的注意力權值建立在伽馬分布的層次上來構造解碼器網絡，通過將具有確定性-向上-隨機-向下結構的Weibull分布疊加來近似后變分布來構造編碼器網絡。所得到的自編碼網絡可以以一種變分下界的可微方式進行優化。任何具有確定性注意力的模型，包括預訓練過的模型，都可以簡單地轉換為所提出的貝葉斯注意力信念網絡。在各種語言理解任務中，我們證明了我們的方法在準確性、不確定性估計、跨域泛化和對抗攻擊的魯棒性方面優于確定性注意和最新的隨機注意力。我們進一步證明了該方法在神經機器翻譯和視覺問答方面的普遍適用性，顯示了將該方法整合到各種注意力相關任務中的巨大潛力。
付費5元查看完整內容
在不依賴下游任務的情況下評估學習表征的質量仍然是表示學習的挑戰之一。在這項工作中，我們提出幾何成分分析(GeomCA)算法，評估表示空間的幾何和拓撲性質。GeomCA可以應用于任何維度的表示，獨立于生成它們的模型。我們通過分析從各種場景中獲得的表征來證明其適用性，如對比學習模型、生成模型和監督學習模型。
付費5元查看完整內容
圖神經網絡
·
本文首先給出了一種學習節點信息卷積隱含層的圖網學習算法。根據標簽是附著在節點上還是附著在圖上，研究了兩種類型的GNN。在此基礎上，提出了一個完整的GNN訓練算法收斂性設計和分析框架。該算法適用于廣泛的激活函數，包括ReLU、Leaky ReLU、Sigmod、Softplus和Swish。實驗表明，該算法保證了對基本真實參數的線性收斂速度。對于這兩種類型的GNN，都用節點數或圖數來表征樣本復雜度。從理論上分析了特征維數和GNN結構對收斂率的影響。數值實驗進一步驗證了理論分析的正確性。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191