亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

機器學習的現實應用通常具有復雜的目標和安全關鍵約束。當代的機器學習系統擅長于在具有簡單程序指定目標的任務中實現高平均性能，但它們在許多要求更高的現實世界任務中很困難。本文致力于開發可信的機器學習系統，理解人類的價值觀并可靠地優化它們。

機器學習的關鍵觀點是，學習一個算法通常比直接寫下來更容易，然而許多機器學習系統仍然有一個硬編碼的、程序指定的目標。獎勵學習領域將這種見解應用于學習目標本身。由于獎勵函數和目標之間存在多對一的映射，我們首先引入由指定相同目標的獎勵函數組成的等價類的概念。

在論文的第一部分，我們將等價類的概念應用于三種不同的情形。首先，我們研究了獎勵函數的可識別性:哪些獎勵函數集與數據兼容?我們首先對誘導相同數據的獎勵函數的等價類進行分類。通過與上述最優策略等價類進行比較，我們可以確定給定數據源是否提供了足夠的信息來恢復最優策略。

其次，我們解決了兩個獎勵函數等價類是相似還是不同的基本問題。我們在這些等價類上引入了一個距離度量，即等價策略不變比較(EPIC)，并表明即使在不同的過渡動態下，低EPIC距離的獎勵也會誘導具有相似回報的策略。最后，我們介紹了獎勵函數等價類的可解釋性方法。該方法從等價類中選擇最容易理解的代表函數，然后將代表函數可視化。

在論文的第二部分，我們研究了模型的對抗魯棒性問題。本文首先介紹了一個物理上現實的威脅模型，包括在多智能體環境中行動的對抗性策略，以創建對防御者具有對抗性的自然觀察。用深度強化學習訓練對手，對抗一個凍結的最先進的防御者，該防御者通過自訓練，以對對手強大。這種攻擊可以可靠地戰勝最先進的模擬機器人RL智能體和超人圍棋程序。

最后，研究了提高智能體魯棒性的方法。對抗性訓練是無效的，而基于群體的訓練作為一種部分防御提供了希望:它不能阻止攻擊，但確實增加了攻擊者的計算負擔。使用顯式規劃也有幫助，因為我們發現具有大量搜索的防御者更難利用。

。

盡管深度學習取得了理論成就和令人鼓舞的實踐結果，但在推理、因果推理、可解釋性和可解釋性等許多領域仍然存在局限性。從應用程序的角度來看，最有效的限制之一與這些系統的魯棒性有關。事實上，目前的深度學習解決方案都沒有告知它們是否能夠在推理過程中對一個例子進行可靠的分類。現代神經網絡通常過于自信，即使它們是錯誤的。因此，構建魯棒的深度學習應用是當前計算機視覺、自然語言處理和許多其他領域的前沿研究課題。構建更可靠的深度學習解決方案最有效的方法之一是提高它們在所謂分布外檢測任務中的性能，所謂分布外檢測任務本質上是由“知道你不知道”或“知道未知”組成的。換句話說，當提交神經網絡未訓練的類實例時，具有分布外檢測能力的系統可能會拒絕執行無意義的分類。本文通過提出新的損失函數和檢測分數來解決目標性分布不均檢測任務。不確定性估計也是構建更魯棒的深度學習系統的關鍵輔助任務。因此，我們也處理這個與魯棒性相關的任務，它評估由深度神經網絡呈現的概率有多真實。為了證明我們的方法的有效性，除了大量的實驗，其中包括最新的結果，我們使用基于最大熵原理的論點來建立所提出的方法的理論基礎。與大多數當前的方法不同，我們的損失和得分是無縫的和有原則的解決方案，除了快速和有效的推斷，還能產生準確的預測。此外，我們的方法可以并入到當前和未來的項目中，只需替換用于訓練深度神經網絡的損失，并計算一個快速的檢測評分。

設計具有不確定性的深度學習模型，使其能夠在預測的同時提供合理的不確定性，一直是部分機器學習社區的目標。從業者也經常需要這樣的模型。最普遍和最明顯的方法是采用現有的深層架構，并嘗試將現有的貝葉斯技術應用于它們，例如，將神經網絡的權重作為貝葉斯框架中的隨機變量處理。本文試圖回答這個問題: 現有的神經網絡架構是獲得合理不確定性的最佳方式嗎?在本文的第一部分，我們提出了在對抗環境下貝葉斯神經網絡的不確定性行為的研究，這表明，雖然貝葉斯方法在數據分布附近的確定性網絡上有顯著的改進，但外推行為是不受歡迎的，因為標準神經網絡架構在結構上偏向于自信外推。基于此，我們探索了兩種標準深度學習架構的替代方案，試圖解決這一問題。首先，我們描述了一種新的膠囊網絡生成公式，它試圖通過對場景結構的強假設來將結構強加到學習任務中。然后，我們使用這個生成模型來檢查這些潛在的假設是否有用，并論證它們實際上存在重大缺陷。其次，我們探索了bilipschitz模型，這是一種解決深度神經網絡中確保先驗回歸這一更有限目標的體系結構。這些方法基于深度核學習，試圖通過使用最終分類層來控制神經網絡的行為，當與支持向量集的距離增加時，分類層會恢復到先驗值。為了在使用神經特征提取器的同時保持這一特性，我們為這些模型描述了一種新的“bilipschitz”正則化方案，該方案基于通過施加由可逆網絡上的工作激發的約束來防止特征崩潰。我們描述了這些模型的各種有用的應用，并分析了為什么這種正則化方案似乎仍然有效，即使它背后的原始動機不再成立，特別是在特征維度低于輸入的情況下。我們的結論是，雖然膠囊網絡可能不是一個有前途的方向，但本文最后部分討論的模型是未來研究的一個富有成果的領域，在許多應用中作為標準貝葉斯深度學習方法的一個有前途的潛在替代方案。

模型必須能夠自我調整，以適應新環境。深度網絡在過去十年取得了巨大成功，特別是當訓練和測試數據來自相同的分布時。不幸的是，當訓練(源)與測試(目標)數據不同時，性能會受到影響，這種情況稱為域移位。模型需要自我更新以應對這些意外的自然干擾和對抗性擾動，如天氣變化、傳感器退化、對抗性攻擊等。如果我們有一些標記的目標數據，可以使用一些遷移學習方法，如微調和少樣本學習，以有監督的方式優化模型。然而，對目標標簽的要求對于大多數現實場景是不實際的。**本文專注于無監督學習方法，以將模型泛化到目標域。

本文研究了完全測試時自適應的設置，在不獲取目標標簽和源數據的情況下，將模型更新到不可控的目標數據分布。換句話說，模型在這個設置中只有它的參數和未標記的目標數據。其核心思想是利用測試時間優化目標，熵最小化，作為可學習模型的反饋機制，在測試時間內關閉循環。我們通過在線或離線的方式優化模型，以測量輸出熵的置信度。這種簡單有效的方法可以降低自然破壞和對抗性擾動圖像分類的泛化誤差。此外，語義分割模型的自適應特性可用于處理場景理解的動態尺度推理。通過對比學習和擴散模型，我們可以學習目標域特征并生成源風格的圖像，進一步提高動態環境下的識別性能。

//www2.eecs.berkeley.edu/Pubs/TechRpts/2022/EECS-2022-229.html

由于物理世界是復雜的、模糊的、不可預測的，自主的智能體必須被設計成表現出人類水平的靈活性和通用性——遠遠超出我們顯式編程的能力。這種自主的實現不僅能夠可靠地解決特定的問題，而且還能夠預測可能出現的錯誤，以便制定戰略、適應和持續學習。要想做出如此豐富而復雜的決策，就需要在自主學習生命周期的所有階段重新思考智能的基礎。

在本論文中，我們開發了新的基于學習的方法，以實現自主系統的動態、彈性和穩健決策。通過解決在所有階段出現的關鍵挑戰，從用于訓練的數據，到在這些數據上學習的模型，再到算法，以可靠地適應部署期間的意外事件，來推進野外的魯棒決策。我們首先探索如何通過計算設計豐富的合成環境，能夠模擬連續的難以收集的、分布外的邊緣情況，在訓練和評估期間易于使用。利用這個豐富的數據基礎，我們隨后創建了高效、富有表現力的學習模型，以及優化其表示的必要算法，并克服了代表性不足和具有挑戰性的數據中的不平衡。最后，使用經過訓練的模型，我們將轉向部署設置，在該設置中，我們仍然應該預期我們的系統將面臨在訓練中從未遇到過的全新場景。為此，我們開發了自適應和不確定性感知算法來估計模型的不確定性，并利用它的存在來實現一般化的決策，即使是在存在意外事件的情況下。

近年來，深度學習已經將自己定位為機器學習最有前途的方向之一。然而，深度神經網絡在不確定性估計、模型選擇、先驗知識的整合等方面存在許多不足。幸運的是，所有這些問題都可以在貝葉斯深度學習框架內克服，使用貝葉斯神經網絡、變分自編碼器或深度神經網絡高斯過程等模型。不幸的是，這需要使用近似推理過程和先驗分布的規范。在這篇論文中，我們展示了這些模型中先驗規范不僅僅是一個麻煩，而是一個寶貴的機會，可以將領域知識和歸納偏見加入到學習算法中，從而提升全新應用的性能。為此，我們對相關文獻進行了全面的回顧，并進一步貢獻了不同的原創研究成果。

具體地說，我們證明了變分自編碼器中的高斯過程先驗可以改進時間序列的表示學習，并允許對缺失數據進行有效的插補，同時還可以提供校準的不確定性估計。我們還表明，通過使用變分高斯-馬爾可夫過程，這是可能的，在沒有顯著的額外計算成本。此外，我們表明，在變分自編碼器中使用自組織映射作為結構歸納偏差，可以提高學習表示的可解釋性，并使有效的潛在聚類。這些聚類表示可以作為潛在時間序列模型的輸入，從而準確地預測未來的狀態。在貝葉斯神經網絡中，我們證明了常用的各向同性高斯先驗不僅會導致次優性能，而且在某些情況下還會產生所謂的冷后驗效應，即經過緩和的后驗比真正的貝葉斯后驗表現更好。相反，我們提出了具有重尾性和空間相關性的備選先驗，可以提高性能，緩解冷后驗效應。最后，當沒有先驗知識可用時，我們表明先驗分布可以在元學習環境中從相關任務中學習。在深度神經網絡高斯過程的情況下，我們表明元學習的均值函數和核函數的先驗改進預測性能和不確定性估計。

我們希望本文將為貝葉斯深度學習框架奠定基礎，在該框架中，先驗分布的選擇將被視為建模任務的關鍵部分，手工設計和元學習的先驗將在任務之間自由共享，以實現貝葉斯深度學習。

//www.research-collection.ethz.ch/handle/20.500.11850/523269

深度卷積網絡的出現推動了視覺識別領域的新一波進步。這些學習到的表示大大優于手工設計的特征，在視覺任務上獲得更高的性能，同時在數據集上有更好的泛化性。盡管這些模型看起來很普遍，但當它們所訓練的數據與所要求操作的數據之間存在不匹配時，它們仍然會受到影響。領域適應提供了一種潛在的解決方案，允許我們將網絡從源領域訓練到新的目標領域。在這些領域中，標記數據是稀疏的或完全缺失的。然而，在端到端可學習表示出現之前，視覺域適應技術很大程度上局限于在固定的、手工設計的視覺特征上訓練的分類器。在這篇論文中，我們展示了如何將視覺域適應與深度學習相結合，以直接學習能夠適應域移動的表示，從而使模型能夠泛化到源域之外。

在第2章中，我們將演示如何設計損失，以衡量兩個領域的不同程度。我們表明，通過優化表示來最小化這些損失，我們可以學習從源到目標更好地泛化的表示。在第3章和第4章中，我們展示了我們可以訓練模型來嘗試測量域差異，而不是手工設計這些域損失。由于這些模型本身是端到端可學習的，我們可以通過它們反向傳播來學習表示，從而最小化學習的差異。這在概念上與生成式對抗網絡類似，我們還探索了兩者之間的關系，以及我們如何在對抗環境中使用為GANs開發的技術。最后，在第5章和第6章中，我們證明了適應性不需要局限于深度網絡的中間特征。對抗適應技術也可以用于訓練模型，直接改變圖像的像素，將它們轉換成跨域的類似物。然后，這些轉換后的圖像可以用作標記的偽目標數據集，以學習更適合目標領域的監督模型。我們表明，這種技術是基于特征的適應性的補充，當兩者結合時產生更好的性能。

//www2.eecs.berkeley.edu/Pubs/TechRpts/2020/EECS-2020-69.html