亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在機器學習中，長期以來，數據表示的學習一直是一個理想的目標。構建這樣的表示可以使得分類或物體檢測等下游任務高效執行。此外，我們希望這些表示可以以一種可解釋的方式構建，這將允許我們對輸入特性進行細致的干預和推理。其他任務可能包括不同模態之間的交叉生成，或者校準預測使其信心匹配其準確性。一種有效學習表示的方法是通過變分自編碼器（VAE），它對可觀察輸入的潛在變量進行變分推斷。在這篇論文中，我們展示了如何利用VAE：將標簽信息融入學習過程；學習多模態數據的共享表示；以及校準現有神經分類器的預測。

數據源通常伴隨著額外的標簽信息，這可能表示輸入中存在某種特性。自然地，我們會問一個問題：是否可以使用額外的標簽信息來構造表示，使其提供關于特性的互操作性概念，例如“這個人在多大程度上在微笑？”。這篇論文的第一項貢獻是解決上述問題，并提出了一個成功使用標簽信息構造潛在空間的方法。此外，這還使我們能夠執行其他任務，如細致的干預；分類；以及有條件的生成。此外，我們也成功地處理了標簽信息缺失的情況，這在訓練這些模型時大大減少了數據負擔。

我們有時并未獲得標簽，而是觀察到了同一對象的另一種非結構化觀察，例如圖像的標題。在這種情況下，模型的目標稍微改變，變成了能夠學習數據的共享表示，使其能夠在模態之間進行交叉生成。這篇論文的第二項貢獻解決了這個問題。在這里，學習是通過在模態之間實施互相監督并引入雙向目標來進行的，這確保了模型中的對稱性。此外，憑借這種方法，我們能夠在某些模態在訓練過程中可能缺失的情況下學習這些表示。

不確定性量化在機器學習中是一項重要的任務，現在眾所周知，當前的深度學習模型嚴重高估了他們的信心。這篇論文的最后一項貢獻是探討如何使用VAE的表示來為神經分類器提取可靠的信心估計。這項研究導向了一種新穎的方法來校準神經分類器，該方法在現成的分類器上進行事后應用，且訓練和測試的速度非常快。

優化算法的一個教科書式特性是在通用的正則條件下解決問題的能力。兩個例子分別是單純形方法和梯度下降（GD）方法。然而，這些基本且通用的優化算法的性能往往不盡如人意；它們經常運行緩慢，在通用設置下可能返回次優解。在我看來，這是它們通用性的代價；實際上，通用算法是一項成就，但對于許多問題來說，利用特殊結構所帶來的收益可能非常巨大。一個基本問題隨之產生：我們如何在算法中利用問題特定結構，以獲得具有強性能保證的快速、實用的算法？隨著更多結構化的數據驅動決策模型的出現，這個問題對實踐者來說變得越來越緊迫和相關。

例如，在非凸優化中，GD方法眾所周知容易陷入次優的鞍點。然而，一系列近期的研究表明，隨機初始化或擾動改變了GD的動態特性，并使其可證明地收斂于全局最優解。此外，馬爾可夫決策過程（MDP）和離散最優傳輸（OT）問題都可以通過大規模線性規劃來解決。與使用通用LP算法不同，策略迭代和Sinkhorn迭代利用了MDP和OT中的特殊結構，因此在實踐中表現更好。將算法調整為問題特定結構通常被稱為結構驅動的算法設計。

盡管這一研究方向已經被廣泛研究了70多年并取得了廣泛的成功，但機器學習的成功案例引入了新的表述，它們適合進行深入的理論分析和產生顯著的實際影響。我的研究通過識別可靠機器學習（極小極大優化）和多智能體機器學習（高階優化及以上）的特殊結構，以及設計計算適當定義的最優解的最優算法；還有其他結構化問題，如高效熵正則化最優傳輸、無梯度非光滑非凸優化以及在博弈中的自適應和雙重最優學習，推動了這一領域的發展。

最近機器學習(ML)，或“人工智能(AI)的第三波”的成功，是建立在優化和統計領域的計算方法，大規模訓練數據和計算能力的可用性，以及部分模仿人類認知功能(如卷積網絡)的基礎上的。然而，目前的機器學習技術在實際應用中可能非常低效，并且容易出現不完美的數據，例如，當數據有噪聲、無標記、不平衡或包含冗余、偏差、協變量偏移等時。另一方面，人類學習在規劃和選擇不同學習階段的訓練內容時更具戰略性和適應性。與在所有階段對相同數據的隨機小批次重復訓練的機器學習技術相比，人類學習在解決這些實際挑戰時，在效率和魯棒性方面表現出巨大優勢。因此，如何制定機器學習的戰略性“課程”成為彌合人類智能與機器智能之間鴻溝的重要挑戰。課程學習是一種基于人類學習策略的、適用于不同學習階段的數據選擇方法，即先選擇較容易的樣本，再逐步增加較難的樣本。然而，人類用于設計課程的培訓材料的特性不僅限于難度，還可以包括多樣性、一致性、代表性、激勵、對未來培訓的影響或效用等。在機器學習中，開發高效準確的得分函數來衡量這些屬性及其對最終/以后學習目標的貢獻是具有挑戰性的。此外，鑒于分數函數，課程策略如何規劃多個訓練階段并根據每個階段自適應地調整選擇標準仍然是一個公開的挑戰。課程學習的另一個主要挑戰是缺乏模型參數和課程聯合優化的原理和理論激勵公式。如果沒有這樣的公式，就很難將選擇標準和分數函數與課程學習的潛在目標聯系起來，例如，訓練進度，泛化表現等。因此，很難解釋一個課程何時以及為什么可以提高ML。而且，在開發課程學習算法時，需要針對不同的ML應用，專門設計不同學習階段的選擇標準的規劃和調度，例如半監督學習、集成學習等。為了實現一個實際有效的算法，研究是否以及如何將為特定應用開發的現有技術與課程結合起來也很重要。本文旨在解決上述關鍵挑戰。它由四部分組成。在第一部分中，我們介紹了幾個新的課程學習公式。例如，我們可以將人類的學習策略轉換為離散-連續優化，并在訓練過程中聯合優化模型和課程，如第2章和第5章所示。我們還可以從一個新的課程學習目標中推導出權重或分數的解析形式，如第3章和第4章所示。此外，我們在第6章討論了幾個潛在的公式，以供未來的研究。在第二部分中，我們將深入探討在課程學習中起著重要作用的分數函數設計。例如，所選數據的多樣性在減少冗余和鼓勵早期探索方面發揮著至關重要的作用。除了多樣性，我們主要關注第8章中一類新的得分函數，它基于樣本在整個歷史上的訓練動態，而不是其在特定步驟的瞬時反饋。與廣泛應用的瞬時分數相比，它們顯著減少了分數評估所需的額外計算，并且由于其可區分的動態模式，它們在分配信息量最大的訓練樣本方面更準確。在第三部分中，我們基于所開發的公式和分數函數構建了實用的課程學習算法。這些算法涵蓋了幾個重要的機器學習問題，包括監督學習、半監督學習、噪聲標簽學習、集成學習等。在每個問題的算法中，研究和比較了不同的規劃或調度策略，這些策略決定了選擇標準如何在不同的學習階段發生變化。通過詳細的實證分析和比較，驗證了所提出調度策略的有效性。為在每個問題上實現最先進的性能，研究了每個問題的課程和現有技術之間的相互作用，然后在算法設計中結合它們的優勢。在第四部分中，在每個應用問題的基準數據集上，評估了所提出的方法，并與各種強大的基線進行了廣泛的實驗比較。與設計的課程相結合的方法在所有應用中都持續提高了訓練效率和最終測試的準確性。值得注意的是，課程在不完美數據的更具有挑戰性的應用上表現出更顯著的優勢，如半監督學習和噪聲標簽學習。第18章總結了本文的主要貢獻。除了提出的公式、分數函數和課程學習的算法外，還強調了在工作中彌合差距并結合人類啟發式方法、理論公式和經驗算法的優勢的努力。此外，還列舉了未來工作中幾個潛在的研究方向，這些方向可以顯著拓展課程學習的現有方案和應用領域，并深入理解機器學習中的訓練動力學及其與人類教育和認知的聯系。

機器學習算法的典型分析將其結果與它們對生成數據的過程或對學習感興趣的實體可能產生的影響隔離開來。然而，當前的技術趨勢意味著人們和組織越來越多地與學習系統交互，因此有必要考慮這些交互如何改變學習任務的性質和結果。

算法博弈論領域的發展是為了應對在存在戰略實體(如人)的大型交互系統中理解相互作用的需要。然而，在許多情況下，算法博弈論需要人們行為的精確模型。然而，在機器學習的應用中，大部分信息是不可用的或正在發展的。因此，除了算法博弈論所涉及的挑戰之外，還需要在不引起不良交互的情況下獲取信息。

在這篇論文中，我們提出了機器學習和算法博弈論的觀點，它考慮了機器學習系統和人之間的交互。我們探索了四條解釋這些互動的研究路線:了解人，在沒有準確的行為模型和不斷變化的環境下，通過與人們的偏好互動和學習，我們在博弈論的設置中學習最優政策;向人學習，我們在數據收集和機器學習方面管理人們的專業知識和資源;通過人的學習，人們可以相互交流，共同協作，有效地學習相關的基本概念;還有為人類學習，機器學習被用來造福人類和社會，特別是通過創建能夠適應環境不確定性的模型。

機器學習的現實應用通常具有復雜的目標和安全關鍵約束。當代的機器學習系統擅長于在具有簡單程序指定目標的任務中實現高平均性能，但它們在許多要求更高的現實世界任務中很困難。本文致力于開發可信的機器學習系統，理解人類的價值觀并可靠地優化它們。

機器學習的關鍵觀點是，學習一個算法通常比直接寫下來更容易，然而許多機器學習系統仍然有一個硬編碼的、程序指定的目標。獎勵學習領域將這種見解應用于學習目標本身。由于獎勵函數和目標之間存在多對一的映射，我們首先引入由指定相同目標的獎勵函數組成的等價類的概念。

在論文的第一部分，我們將等價類的概念應用于三種不同的情形。首先，我們研究了獎勵函數的可識別性:哪些獎勵函數集與數據兼容?我們首先對誘導相同數據的獎勵函數的等價類進行分類。通過與上述最優策略等價類進行比較，我們可以確定給定數據源是否提供了足夠的信息來恢復最優策略。

其次，我們解決了兩個獎勵函數等價類是相似還是不同的基本問題。我們在這些等價類上引入了一個距離度量，即等價策略不變比較(EPIC)，并表明即使在不同的過渡動態下，低EPIC距離的獎勵也會誘導具有相似回報的策略。最后，我們介紹了獎勵函數等價類的可解釋性方法。該方法從等價類中選擇最容易理解的代表函數，然后將代表函數可視化。

在論文的第二部分，我們研究了模型的對抗魯棒性問題。本文首先介紹了一個物理上現實的威脅模型，包括在多智能體環境中行動的對抗性策略，以創建對防御者具有對抗性的自然觀察。用深度強化學習訓練對手，對抗一個凍結的最先進的防御者，該防御者通過自訓練，以對對手強大。這種攻擊可以可靠地戰勝最先進的模擬機器人RL智能體和超人圍棋程序。

最后，研究了提高智能體魯棒性的方法。對抗性訓練是無效的，而基于群體的訓練作為一種部分防御提供了希望:它不能阻止攻擊，但確實增加了攻擊者的計算負擔。使用顯式規劃也有幫助，因為我們發現具有大量搜索的防御者更難利用。

。

黑盒優化(BBO)問題經常發生在許多工程和科學學科中，在這些學科中，人們可以訪問一個函數(黑盒)的零階評估，該函數必須在特定的領域進行優化。在許多情況下，函數的計算成本很高，因此計算的次數受到預算的限制。貝葉斯優化(Bayesian Optimization)是一種流行的算法，它通過代理對黑箱函數進行建模，并通過評估最有可能導致最優結果的點進行運算。多目標優化(MOO)是優化中的另一個主題，其目標是在一個公共領域中同時優化定義的多個目標。通常情況下，對于相同的輸入，這些目標不會達到它們的最佳狀態。在這種情況下，不是尋找單一的最佳解決方案，而是需要一組帕累托最優解決方案。本文研究了BBO和MOO的幾種優化策略及其應用。

**本文的前半部分是關于昂貴函數的BBO。**首先，基于隨機擴展的思想，提出了一種簡單而靈活的多目標黑盒優化方法。我們引入了多目標后悔的概念，并表明隨著預算的增長，我們的策略實現了零后悔。接下來，我們研究了神經網絡對昂貴BBO的有效性。我們證明了一個簡單的貪心方法可以達到接近高斯過程貝葉斯優化的性能。利用最近研究的高斯過程和非常廣泛的神經網絡訓練動態之間的聯系，我們證明了我們提出的算法的遺憾的上界。最后，我們提出了一個考慮成本的貝葉斯優化框架，該框架考慮了每次評估的成本。這種方法在評估成本隨輸入域而變化的環境中很有用，低成本評估可以提供關于最大值的大量信息。

本文的后半部分是關于MOO在兩個可微MOO問題上的應用。我們的第一個應用是學習稀疏嵌入，使用神經網絡進行快速檢索。這里要優化的目標是檢索精度和檢索速度。我們引入了一種新的稀疏正則化方法，并演示了一種退火策略，與其他方法相比，該策略產生了更好的目標帕累托邊界。對于我們的第二個應用，我們考慮了分層時間序列預測的問題，其中多個相關的時間序列被組織成一個層次。我們提出了一種考慮層次結構的方法，同時可擴展到大型層次，并表明它在大多數層次級別上都能提高精度。我們還將其視為一個多目標問題，并演示了跨不同層次的性能權衡。為了總結我們的貢獻，在這篇論文中，我們提出了各種類型的黑盒和多目標函數的優化策略，并在合成或基準數據集上進行實驗評估。

現代深度強化學習(RL)算法，盡管處于人工智能能力的最前沿，但通常需要大量的訓練樣本才能達到與人類相當的性能水平。這種嚴重的數據效率低下是深度RL實際應用的主要障礙:在沒有模擬器的情況下，深度RL幾乎不可能應用于任何領域。為了解決這種關鍵數據效率低下的問題，在本論文中，我們致力于設計能夠快速適應新環境的元學習智能體。與標準的強化學習相比，元學習在特定的環境分布上進行學習，從這些環境中采樣特定的任務，并直接優化元學習器，以提高策略改進的速度。通過利用與感興趣任務具有共同子結構的任務分布，元學習器可以調整自己的歸納偏見，使其能夠在測試時快速適應。

本論文的重點是設計元學習算法，利用記憶作為驅動快速適應新環境的主要機制。具有情景間記憶的元學習是一類元學習方法，利用基于特定環境的整個交互歷史的記憶架構來產生策略。因此，在特定任務中驅動策略改進的學習動態被包含在序列模型的計算過程中，本質上把學習算法的設計交給了體系結構。雖然概念簡單，但使用情景間記憶的元學習非常有效，仍然是最先進的方法。我們提出并討論了幾種通過記憶進行元學習的技術。

論文的第一部分集中在“具身”類環境，其中一個主體在一個類似自然世界的環境中有物理表現。我們利用這種高度結構化的環境集來設計具有快速記憶、規劃和狀態推斷能力的整體嵌入式代理體系結構。在論文的第二部分，我們將重點放在沒有強公共子結構的一般環境中應用的方法。首先，我們重新檢查元學習代理與環境的交互模式:提出用一個并行執行框架來取代典型的順序處理交互歷史，其中多個智能體并行地在環境中行動。接下來，我們討論了一個通用的和強大的序列模型的使用片段間存儲器，門控transformer，展示了性能和數據效率的巨大改進。最后，我們開發了一種方法，可以顯著降低(元)強化學習設置中transformer模型的訓練成本和作用延遲，目的是(1)使它們在研究社區中更廣泛地使用，(2)解鎖它們在實時和延遲受限的應用中使用，如機器人。

//www.ml.cmu.edu/research/phd-dissertation-pdfs/eparisot_phd_mld_2021.pdf

在一個特定的數據集上訓練一個強大的神經預測器執行一項任務的主流NLP范式取得了在各種應用上的成功(如:情感分類、基于廣度預測的問答或機器翻譯)。然而，它建立在數據分布是平穩的假設之上，即。在訓練和測試時，數據都是從一個固定的分布中取樣的。這種訓練方式與我們人類在不斷變化的信息流中學習和操作的方式不一致。此外，它不適合于真實世界的用例，在這些用例中，數據分布預計會在模型的生命周期中發生變化。

本文的第一個目標是描述這種偏移在自然語言處理環境中可能采取的不同形式，并提出基準和評價指標來衡量它對當前深度學習體系結構的影響。然后，我們繼續采取步驟，以減輕分布轉移對NLP模型的影響。為此，我們開發了基于分布魯棒優化框架的參數化重構方法。從經驗上講，我們證明了這些方法產生了更魯棒的模型，正如在選擇的現實問題上所證明的那樣。在本文的第三部分和最后一部分，我們探索了有效地適應現有模型的新領域或任務的方法。我們對這個主題的貢獻來自于信息幾何學的靈感，獲得了一個新的梯度更新規則，緩解了適應過程中災難性的遺忘問題。

我們從評估開始，因為分布轉移特別難以描述和測量，特別是在自然語言方面。這部分是由于數據缺乏規范的度量結構。換句話說，如何有效地衡量兩個句子之間的語義相似度還不清楚，因此沒有直接的方法來衡量兩個樣本之間的差異，更不用說兩種分布了。因此，作為解決分布偏移的第一步，我們提出了一個新的基準(第3章)和評估指標(第4章)，分別評估域偏移和對抗擾動的魯棒性。有了這些工具在手，我們開始構建魯棒的模型，這些模型經過訓練，即使在沒有關于轉移本質的明確信息的情況下，對分布轉移也不那么敏感。這是通過利用訓練分布中的數據多樣性來實現的，以確保在訓練數據(子群體)中存在的各種領域上的統一性能。具體來說，我們制定了一個分布魯棒優化框架的參數化版本，該框架允許訓練模型對子群體轉移更為穩健(第5章和第6章)。最后，在靜態環境中學習從根本上是次優的:我們不能期望我們的模型在每一個可能的未來環境中都表現良好，我們必須能夠使它們適應我們遇到的任何新情況。因此，我們研究了一種機制，通過這種機制，我們能夠根據新的證據微調訓練模型，而不會忘記之前獲得的知識(第7章)。

//www.zhuanzhi.ai/paper/c5e7a9742d6a6313d63c5976499166dc

【導讀】牛津大學的博士生Oana-Maria Camburu撰寫了畢業論文《解釋神經網絡 （Explaining Deep Neural Networks）》，系統性介紹了深度神經網絡可解釋性方面的工作，值得關注。

作者介紹：

Oana-Maria Camburu，來自羅馬尼亞，目前是牛津大學的博士生，主修機器學習、人工智能等方向。

Explaining Deep Neural Networks

深度神經網絡在計算機視覺、自然語言處理和語音識別等不同領域取得了革命性的成功，因此越來越受歡迎。然而，這些模型的決策過程通常是無法向用戶解釋的。在各種領域，如醫療保健、金融或法律，了解人工智能系統所做決策背后的原因至關重要。因此，最近研究了幾個解釋神經模型的方向。

在這篇論文中，我研究了解釋深層神經網絡的兩個主要方向。第一個方向由基于特征的事后解釋方法組成，也就是說，這些方法旨在解釋一個已經訓練過的固定模型(事后解釋)，并提供輸入特征方面的解釋，例如文本標記和圖像的超級像素(基于特征的)。第二個方向由生成自然語言解釋的自解釋神經模型組成，也就是說，模型有一個內置模塊，為模型的預測生成解釋。在這些方面的貢獻如下：

• 首先，我揭示了僅使用輸入特征來解釋即使是微不足道的模型也存在一定的困難。我表明，盡管有明顯的隱含假設，即解釋方法應該尋找一種特定的基于真實值特征的解釋，但對于預測通常有不止一種這樣的解釋。我還展示了兩類流行的解釋方法，它們針對的是不同類型的事實基礎解釋，但沒有明確地提及它。此外，我還指出，有時這兩種解釋都不足以提供一個實例上決策過程的完整視圖。

• 其次，我還介紹了一個框架，用于自動驗證基于特征的事后解釋方法對模型的決策過程的準確性。這個框架依賴于一種特定類型的模型的使用，這種模型有望提供對其決策過程的洞察。我分析了這種方法的潛在局限性，并介紹了減輕這些局限性的方法。引入的驗證框架是通用的，可以在不同的任務和域上實例化，以提供現成的完整性測試，這些測試可用于測試基于特性的后特殊解釋方法。我在一個情緒分析任務上實例化了這個框架，并提供了完備性測試s1，在此基礎上我展示了三種流行的解釋方法的性能。

• 第三，為了探索為預測生成自然語言解釋的自解釋神經模型的發展方向，我在有影響力的斯坦福自然語言推斷(SNLI)數據集之上收集了一個巨大的數據集，數據集約為570K人類編寫的自然語言解釋。我把這個解釋擴充數據集稱為e-SNLI。我做了一系列的實驗來研究神經模型在測試時產生正確的自然語言解釋的能力，以及在訓練時提供自然語言解釋的好處。

• 第四，我指出，目前那些為自己的預測生成自然語言解釋的自解釋模型，可能會產生不一致的解釋，比如“圖像中有一只狗。”以及“同一幅圖片中沒有狗”。不一致的解釋要么表明解釋沒有忠實地描述模型的決策過程，要么表明模型學習了一個有缺陷的決策過程。我將介紹一個簡單而有效的對抗性框架，用于在生成不一致的自然語言解釋時檢查模型的完整性。此外，作為框架的一部分，我解決了使用精確目標序列的對抗性攻擊的問題，這是一個以前在序列到序列攻擊中沒有解決的場景，它對于自然語言處理中的其他任務很有用。我將這個框架應用到e-SNLI上的一個最新的神經模型上，并表明這個模型會產生大量的不一致性。

這項工作為獲得更穩健的神經模型以及對預測的可靠解釋鋪平了道路。

地址： //arxiv.org/abs/2010.01496