亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

機器學習算法的典型分析將其結果與它們對生成數據的過程或對學習感興趣的實體可能產生的影響隔離開來。然而，當前的技術趨勢意味著人們和組織越來越多地與學習系統交互，因此有必要考慮這些交互如何改變學習任務的性質和結果。

算法博弈論領域的發展是為了應對在存在戰略實體(如人)的大型交互系統中理解相互作用的需要。然而，在許多情況下，算法博弈論需要人們行為的精確模型。然而，在機器學習的應用中，大部分信息是不可用的或正在發展的。因此，除了算法博弈論所涉及的挑戰之外，還需要在不引起不良交互的情況下獲取信息。

在這篇論文中，我們提出了機器學習和算法博弈論的觀點，它考慮了機器學習系統和人之間的交互。我們探索了四條解釋這些互動的研究路線:了解人，在沒有準確的行為模型和不斷變化的環境下，通過與人們的偏好互動和學習，我們在博弈論的設置中學習最優政策;向人學習，我們在數據收集和機器學習方面管理人們的專業知識和資源;通過人的學習，人們可以相互交流，共同協作，有效地學習相關的基本概念;還有為人類學習，機器學習被用來造福人類和社會，特別是通過創建能夠適應環境不確定性的模型。

機器學習的現實應用通常具有復雜的目標和安全關鍵約束。當代的機器學習系統擅長于在具有簡單程序指定目標的任務中實現高平均性能，但它們在許多要求更高的現實世界任務中很困難。本文致力于開發可信的機器學習系統，理解人類的價值觀并可靠地優化它們。

機器學習的關鍵觀點是，學習一個算法通常比直接寫下來更容易，然而許多機器學習系統仍然有一個硬編碼的、程序指定的目標。獎勵學習領域將這種見解應用于學習目標本身。由于獎勵函數和目標之間存在多對一的映射，我們首先引入由指定相同目標的獎勵函數組成的等價類的概念。

在論文的第一部分，我們將等價類的概念應用于三種不同的情形。首先，我們研究了獎勵函數的可識別性:哪些獎勵函數集與數據兼容?我們首先對誘導相同數據的獎勵函數的等價類進行分類。通過與上述最優策略等價類進行比較，我們可以確定給定數據源是否提供了足夠的信息來恢復最優策略。

其次，我們解決了兩個獎勵函數等價類是相似還是不同的基本問題。我們在這些等價類上引入了一個距離度量，即等價策略不變比較(EPIC)，并表明即使在不同的過渡動態下，低EPIC距離的獎勵也會誘導具有相似回報的策略。最后，我們介紹了獎勵函數等價類的可解釋性方法。該方法從等價類中選擇最容易理解的代表函數，然后將代表函數可視化。

在論文的第二部分，我們研究了模型的對抗魯棒性問題。本文首先介紹了一個物理上現實的威脅模型，包括在多智能體環境中行動的對抗性策略，以創建對防御者具有對抗性的自然觀察。用深度強化學習訓練對手，對抗一個凍結的最先進的防御者，該防御者通過自訓練，以對對手強大。這種攻擊可以可靠地戰勝最先進的模擬機器人RL智能體和超人圍棋程序。

最后，研究了提高智能體魯棒性的方法。對抗性訓練是無效的，而基于群體的訓練作為一種部分防御提供了希望:它不能阻止攻擊，但確實增加了攻擊者的計算負擔。使用顯式規劃也有幫助，因為我們發現具有大量搜索的防御者更難利用。

。

深度學習經歷了巨大的增長，這主要得益于更強大的計算機、更大數據集的可用性和軟件基礎設施的進步，而深度神經網絡在機器學習中考慮的幾乎每一項任務中都設置了新的最先進的技術。深度神經網絡在經驗上的成功是無可爭議的，但我們對這些模型為什么有效(當它們有效時)的理解仍然有很大的差距，而且它們可能以令人驚訝的方式失敗(當被篡改時)。本文研究了為什么強大的深度神經網絡有時會失敗，以及可以做什么來防止這種情況。雖然深度神經網絡對隨機噪聲具有很強的魯棒性，但已有研究表明，在面對所謂的對抗性例子時，它們的準確性會急劇下降，即輸入信號的專門設計的小擾動，通常是人類無法察覺的，足以導致模型輸出的大變化。這種明顯的脆弱性令人擔憂，因為深度神經網絡開始在現實世界中激增，包括在安全關鍵部署中。最直接和流行的魯棒化策略稱為對抗訓練，它在訓練過程中使用對抗例子作為數據增強。本文在深度神經網絡的對抗性訓練和算子范數正則化之間建立了理論聯系。證明了?p -范數約束的投影梯度上升對抗性訓練，在干凈和擾動輸入的logits上具有?q -范數損失，與數據依賴(p, q)算子范數正則化等價。這種基本聯系證實了長期存在的論點，即網絡對對抗性樣本的敏感性與其譜特性有關，并暗示了增強和抵御對抗性攻擊的新方法。我們還提出了一種利用對抗性攻擊引入的某些異常的檢測方法。具體來說，我們提出了一種測量特征表示和對數概率在噪聲下如何變化的方法:如果輸入是對位攝動的，噪聲誘導的特征變化傾向于有一個特征方向，而如果輸入是自然的，它傾向于沒有任何特定的方向。我們評估了針對強迭代攻擊的方法，并表明即使對手意識到防御也無法躲過我們的檢測器。

量化對抗脆弱性的首選策略是針對特定的攻擊算法評估模型。然而，這種方法本身就有局限性，因為它很少提及模型對不包括在評估中的更強大攻擊的魯棒性。我們開發了一個統一的數學框架來描述基于松弛的魯棒性認證方法，它超越了對手特定的魯棒性評估，而是提供了可證明的魯棒性保證，以抵御任何對手的攻擊。

我們還提出一種新的正則化方法來穩定生成對抗網絡(GANs)的訓練。我們證明了使用噪聲或卷積密度的訓練等價于基于梯度的鑒別器正則化，這產生了一個更平滑的鑒別器家族，而不必顯式地添加噪聲。由此產生的正則化器是一種簡單而有效的GAN目標修改，計算成本低，產生穩定的GAN訓練過程。 我們還研究了貝葉斯神經網絡(BNN)，它學習模型參數的分布，或者等效地對可能模型的集合進行抽樣，而不是優化單個網絡。盡管貝葉斯神經網絡有望獲得更好的泛化性能(無過擬合)和原則性的不確定性量化(穩健預測)，但是，貝葉斯神經網絡的使用仍然受到限制。

我們通過仔細的MCMC抽樣證明，與SGD獲得的點估計等更簡單的方法相比，貝葉斯后驗預測誘導的后驗預測系統地產生了更糟糕的預測。另一方面，我們證明了貝葉斯預測性能可以通過使用夸大證據的“冷后驗”顯著提高。這種冷后驗嚴重偏離貝葉斯范式，但通常被用作貝葉斯深度學習中的啟發式。我們的研究結果對目前對貝葉斯深度學習的理解提出了質疑，并表明現在是時候關注理解冷后視表現改善的起源了。

機器學習(ML)系統的規模正在迅速增長，正在獲得新的能力，并越來越多地部署在高風險的環境中。為了滿足對安全ML系統日益增長的需求，我首先討論如何使系統可靠地執行。之后，我將討論如何使系統的行為符合人類的價值觀。最后，我討論了如何使ML系統更安全的開放問題。

//www2.eecs.berkeley.edu/Pubs/TechRpts/2022/EECS-2022-133.html

在這篇論文中，我們的目標是幫助塑造將促使強大的人工智能系統的過程，并將過程引導到更安全的方向。我們通過讓深度學習系統更安全來做到這一點，因為深度學習的工作可能會轉化為未來的系統。我們總結我們的發現并討論一般的教訓。

在第2章中，我們首先展示了上游功能可以提高安全性。特別是，自監督學習和預訓練可以改善許多安全指標。我們還表明，在大規模設置的尺度異常檢測方法可能存在挑戰。然后，我們展示了大規模的NLP模型在許多安全指標上有很高的性能。接下來，我們展示了盡管視覺模型在很多方面都有能力，但它們仍然可以很容易地通過反向策劃的例子被打破。在下一節中，我們將展示，即使在穩健性中，我們也可以在不改進一般功能的情況下改進安全度量。最后，PixMix表明，一個方法可以在多個安全指標方面接近帕累托最優。在第三章中，我們展示了模型可以模仿人類對規范性陳述的反應，而不僅僅是描述性陳述。這讓我們能夠將帶有道德知識的模型應用于基于文本的互動游戲中。這些模型過濾了其他主體模型，并阻止主體模型采取道德上不受歡迎的行為。這一切都是在沒有提高一般游戲能力的情況下完成的。

在第4章中，我們整合并完善了在以前的論文中探索的各個方向，為提高安全性提供了一個路線圖。本節介紹了“系統安全”，它明確承認社會技術考慮對于提高安全性是必要的。它還將對齊與其他不同的研究目標(如魯棒性和監控)分離開來。通過提供許多可供研究的問題，希望更多的研究人員能夠致力于提高安全性。最后，我們列舉了許多使機器學習系統更安全的新方向。這些都是讓未來強大的人工智能系統更安全的中間步驟。隨著模型的能力越來越強，我們希望研究界能夠更直接地研究先進人工智能系統的尾部風險，包括可能永久削弱人類長期潛力的風險。

在一個特定的數據集上訓練一個強大的神經預測器執行一項任務的主流NLP范式取得了在各種應用上的成功(如:情感分類、基于廣度預測的問答或機器翻譯)。然而，它建立在數據分布是平穩的假設之上，即。在訓練和測試時，數據都是從一個固定的分布中取樣的。這種訓練方式與我們人類在不斷變化的信息流中學習和操作的方式不一致。此外，它不適合于真實世界的用例，在這些用例中，數據分布預計會在模型的生命周期中發生變化。

本文的第一個目標是描述這種偏移在自然語言處理環境中可能采取的不同形式，并提出基準和評價指標來衡量它對當前深度學習體系結構的影響。然后，我們繼續采取步驟，以減輕分布轉移對NLP模型的影響。為此，我們開發了基于分布魯棒優化框架的參數化重構方法。從經驗上講，我們證明了這些方法產生了更魯棒的模型，正如在選擇的現實問題上所證明的那樣。在本文的第三部分和最后一部分，我們探索了有效地適應現有模型的新領域或任務的方法。我們對這個主題的貢獻來自于信息幾何學的靈感，獲得了一個新的梯度更新規則，緩解了適應過程中災難性的遺忘問題。

我們從評估開始，因為分布轉移特別難以描述和測量，特別是在自然語言方面。這部分是由于數據缺乏規范的度量結構。換句話說，如何有效地衡量兩個句子之間的語義相似度還不清楚，因此沒有直接的方法來衡量兩個樣本之間的差異，更不用說兩種分布了。因此，作為解決分布偏移的第一步，我們提出了一個新的基準(第3章)和評估指標(第4章)，分別評估域偏移和對抗擾動的魯棒性。有了這些工具在手，我們開始構建魯棒的模型，這些模型經過訓練，即使在沒有關于轉移本質的明確信息的情況下，對分布轉移也不那么敏感。這是通過利用訓練分布中的數據多樣性來實現的，以確保在訓練數據(子群體)中存在的各種領域上的統一性能。具體來說，我們制定了一個分布魯棒優化框架的參數化版本，該框架允許訓練模型對子群體轉移更為穩健(第5章和第6章)。最后，在靜態環境中學習從根本上是次優的:我們不能期望我們的模型在每一個可能的未來環境中都表現良好，我們必須能夠使它們適應我們遇到的任何新情況。因此，我們研究了一種機制，通過這種機制，我們能夠根據新的證據微調訓練模型，而不會忘記之前獲得的知識(第7章)。

//www.zhuanzhi.ai/paper/c5e7a9742d6a6313d63c5976499166dc

隨著機器學習模型越來越多地用于做出涉及人類的重大決策，重要的是，這些模型不能因為種族和性別等受保護的屬性而歧視。然而，模型持有人并不是受到歧視性模型傷害的首當其沖的人，因此模型持有人修復歧視性模型的自然動機很少。因此，如果其他實體也能發現或減輕這些模型中的不公平行為，將對社會有益。只需要對模型進行查詢訪問的黑盒方法非常適合這個目的，因為它們可以在不知道模型的全部細節的情況下執行。

在這篇論文中，我考慮了三種不同形式的不公平，并提出了解決它們的黑盒方法。第一個是代理使用，模型的某些組件是受保護屬性的代理。其次是個體公平性的缺乏，這使模型不應該做出任意決定的直覺觀念形式化。最后，模型的訓練集可能不具有代表性，這可能導致模型對不同的保護組表現出不同程度的準確性。對于這些行為中的每一個，我提出使用一個或多個方法來幫助檢測模型中的此類行為或確保缺乏此類行為。這些方法只需要對模型的黑箱訪問，即使模型持有者不合作，它們也能有效地使用。我對這些方法的理論和實驗分析證明了它們在這種情況下的有效性，表明它們是有用的技術工具，可以支持對歧視的有效回應。

強化學習(RL)智能體需要探索他們的環境，以便通過試錯學習最優策略。然而，當獎勵信號稀疏，或當安全是一個關鍵問題和某些錯誤是不可接受的時候，探索是具有挑戰性的。在本論文中，我們通過修改智能體解決的潛在優化問題，激勵它們以更安全或更有效的方式探索，來解決深度強化學習設置中的這些挑戰。

在這篇論文的第一部分，我們提出了內在動機的方法，在獎勵稀少或缺乏的問題上取得進展。我們的第一種方法使用內在獎勵來激勵智能體訪問在學習動力學模型下被認為是令人驚訝的狀態，并且我們證明了這種技術比單純探索更好。我們的第二種方法使用基于變分推理的目標，賦予個體不同的多種技能，而不使用特定任務的獎勵。我們證明了這種方法，我們稱為變分選擇發現，可以用來學習運動行為的模擬機器人環境。

在論文的第二部分，我們重點研究了安全勘探中存在的問題。在廣泛的安全強化學習研究的基礎上，我們提出將約束的RL標準化為安全探索的主要形式; 然后，我們繼續開發約束RL的算法和基準。我們的材料展示按時間順序講述了一個故事:我們首先介紹約束策略優化(Constrained Policy Optimization, CPO)，這是約束深度RL的第一個算法，在每次迭代時都保證接近約束的滿足。接下來，我們開發了安全健身基準，它讓我們找到CPO的極限，并激勵我們向不同的方向前進。最后，我們發展了PID拉格朗日方法，其中我們發現對拉格朗日原-對偶梯度基線方法進行小的修改，可以顯著改善求解Safety Gym中約束RL任務的穩定性和魯棒性。

//www2.eecs.berkeley.edu/Pubs/TechRpts/2021/EECS-2021-34.html