亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

機器學習(ML)的最新進展改變了世界。過去是人類主宰規則，現在是機器儲存數據并做出決定。雖然這一變化帶來了真正的好處，但它已經實現了大量基于人類的交互自動化，使其易于操作。研究已經確定，機器學習模型非常容易受到對抗性擾動，特別是對其輸入的更改，這些更改對人類來說是無法察覺的，但會迫使它們以意想不到的方式作業。在本文中，我們采取了一種相當非正統的方法來研究機器學習安全，并通過計算機安全的角度來研究機器學習的現狀。我們發現了大量潛伏在系統安全和機器學習交叉領域的新攻擊和問題。接下來，我們描述了文獻的現狀，強調了我們仍然缺少重要知識的地方，并描述了該領域的幾個新的貢獻。該領域的一些特征使當前的安全方法變得不太適用，使現代機器學習系統容易受到各種各樣的攻擊。我們的主要貢獻是對機器學習的可用性攻擊——針對推理或模型訓練延遲的攻擊。我們還解釋了攻擊者如何利用與模型環境的許多其他交集。一個重要的見解是，必須理解、承認機器學習模型的固有局限性，并通過在更大系統中使用組件來補償控制進行緩解。

機器學習(ML)徹底改變了現代計算機系統，因此，更多的任務現在是完全自動化和模型驅動的。盡管深度神經網絡的性能令人印象深刻，但人們很快發現，底層模型是極其敏感的，攻擊者可以找到微小的，有時甚至無法察覺的擾動，以控制底層模型的行為。圖1 - 1展示了這種對抗性示例的一個例子——一個輸入樣本，旨在迫使模型將鳥瞰圖視為一輛汽車。(每個像素顏色的微小擾動被放大，使它們在這些圖像中可見。)這一發現導致了對抗性機器學習領域的誕生，在那里我們研究如何攻擊和防御ML模型。起初，這主要是由對基礎數學的研究和構建不太敏感的函數(如對抗性訓練)驅動的。然而，令人驚訝的是，這對嵌入模型的大型系統的安全性影響甚微，因為相同的模型仍然容易受到其他攻擊者的攻擊，也容易受到減少效用的影響。在實踐中，使用不那么敏感的近似函數并不一定會提高或降低安全性。攻擊者很少受到擾動大小的限制，并且可能更喜歡獲得模型的控制權，而不是根據某些學術指標保持攻擊不可察覺。

//www.repository.cam.ac.uk/handle/1810/338197

這種認識導致了一個新領域的創建——機器學習的安全性——在這里，我們不是孤立地觀察ML，而是在其環境、依賴項和需求的上下文中分析它。我們在博士期間一直在做的工作對這一文獻做出了早期貢獻，特別是開創了三種新的攻擊和防御類型。

在許多現實世界的應用中，多主體決策是一個普遍存在的問題，如自動駕駛、多人視頻游戲和機器人團隊運動。多智能體學習的主要挑戰包括其他智能體行為的不確定性，以及由聯合觀察、行動和策略空間的高維性導致的維數災難。由于未知的智能體意圖和意外的、可能的對抗性行為，這些挑戰在對抗性場景中進一步加劇。本文提出了魯棒和可擴展的多智能體學習方法，目標是高效地構建可以在對抗性場景中魯棒運行的自主智能體。通過觀察智能體的行為準確推斷其意圖的能力是魯棒決策的關鍵。在這種情況下，一個挑戰是對手實際行為的高度不確定性，包括潛在的欺騙，這可能與先驗行為模型有很大的不同。捕捉自我主體和對手之間的交互以及對雙方主體可用信息的推理，對于建模這種欺騙行為至關重要。本文采用博弈論對手建模方法解決了這一意圖識別問題，該方法基于一種新的多樣性驅動的信念空間集合訓練技術，用于實現對欺騙的魯棒性**。為了將集成方法擴展到具有多個智能體的場景，本文提出了一種可擴展的多智能體學習技術，該技術通過稀疏注意力機制促進了接近最優的聯合策略學習。該機制的結果是集中的參數更新，這大大提高了采樣效率**。此外，本文還提出了一種新的隱式集成訓練方法，該方法利用多任務學習和深度生成策略分布，以較低的計算和內存成本獲得更好的魯棒性。將魯棒的意圖識別和可擴展的多智能體學習結合起來，可以實現魯棒的、可擴展的離線策略學習。然而，完全自主的智能體還需要能夠不斷地從新的環境和對等智能體中學習(并適應)。因此，本文還提出了一種安全的適應方法，既能適應新的對手，又能在對抗場景中對任何可能的對手剝削保持低可利用性。本文的貢獻有助于構建自主代理，使其能夠在具有不確定性的競爭多智能體場景下做出魯棒的決策，并通過計算效率學習安全地適應以前未見的對等智能體。

學習解決順序決策任務是困難的。人類花了數年時間，基本上以一種隨機的方式探索環境，直到他們能夠推理，解決困難的任務，并與他人合作實現一個共同的目標。人工智能智能體在這方面和人類很像。強化學習(RL)是一種眾所周知的通過與環境的交互來訓練自主智能體的技術。遺憾的是，學習過程具有很高的樣本復雜性來推斷一個有效的驅動策略，特別是當多個智能體同時在環境中驅動時。

然而，以前的知識可以用來加速學習和解決更難的任務。同樣，人類通過關聯不同的任務來構建技能并重用它們，RL代理可能會重用來自先前解決的任務的知識，以及來自與環境中其他智能體的知識交換的知識。事實上，目前RL解決的幾乎所有最具挑戰性的任務都依賴于嵌入的知識重用技術，如模仿學習、從演示中學習和課程學習。

本書概述了多agent RL中關于知識重用的文獻。作者為重用知識定義了最先進的解決方案的統一分類，提供了該領域最近進展的全面討論。在這本書中，讀者將發現關于知識在多智能體順序決策任務中重用的許多方法的全面討論，以及在哪些場景中每種方法更有效。作者還提供了他們對該地區目前低垂的發展成果的看法，以及仍然開放的大問題，可能導致突破性的發展。最后，本書為想要加入這一領域或利用這些技術的研究人員提供了資源，包括會議、期刊和實現工具的列表。

這本書將對廣大讀者有用;并有望促進社區間的新對話和該地區的新發展。

//www.morganclaypool.com/doi/10.2200/S01091ED1V01Y202104AIM049

這本書調研了大約20世紀90年代末機器學習的許多重要課題。我的意圖是在理論和實踐之間尋求一個中間橋梁帶。筆記集中在機器學習的重要思想上——它既不是一本實踐手冊，也不是一個理論證明的概要。我的目標是為讀者提供充分的準備，使一些關于機器學習的廣泛文獻易于理解。草稿只有200多頁(包括扉頁)。

這本書集中在機器學習的重要思想上。對于我所陳述的許多定理，我并沒有給出證明，但對于形式的證明，我確實給出了可信的論據和引用。而且，我沒有討論許多在應用中具有實際重要性的問題;這本書不是機器學習實踐手冊。相反，我的目標是為讀者提供充分的準備，使大量關于機器學習的文獻易于理解。

學習，就像智力一樣，涵蓋了如此廣泛的過程，很難精確定義。詞典的定義包括這樣的短語:“通過學習、指導或經驗獲得知識、或理解、或技能”和“通過經驗改變行為傾向”。動物學家和心理學家研究動物和人類的學習。在這本書中，我們關注的是機器學習。動物和機器學習之間有一些相似之處。當然，機器學習的許多技術都來自心理學家的努力，他們通過計算模型使動物和人類學習的理論更加精確。機器學習研究人員正在探索的概念和技術似乎也可能闡明生物學習的某些方面。

機器學習在許多部署的決策系統中發揮著作用，其方式通常是人類利益相關者難以理解或不可能理解的。以一種人類可以理解的方式解釋機器學習模型的輸入和輸出之間的關系，對于開發可信的基于機器學習的系統是至關重要的。一個新興的研究機構試圖定義機器學習的目標和解釋方法。在本文中，我們試圖對反事實解釋的研究進行回顧和分類，這是一種特殊類型的解釋，它提供了在模型輸入以特定方式改變時可能發生的事情之間的聯系。機器學習中反事實可解釋性的現代方法與許多國家的既定法律原則相聯系，這使它們吸引了金融和醫療等高影響力領域的實地系統。因此，我們設計了一個具有反事實解釋算法理想性質的準則，并對目前提出的所有反事實解釋算法進行了綜合評價。我們的標題便于比較和理解不同方法的優缺點，并介紹了該領域的主要研究主題。我們也指出了在反事實解釋空間的差距和討論了有前途的研究方向。

機器學習作為一種在許多領域實現大規模自動化的有效工具，正日益被人們所接受。算法能夠從數據中學習，以發現模式并支持決策，而不是手工設計的規則。這些決定可以并確實直接或間接地影響人類;備受關注的案例包括信貸貸款[99]、人才資源[97]、假釋[102]和醫療[46]的申請。在機器學習社區中，新生的公平、責任、透明度和倫理(命運)已經成為一個多學科的研究人員和行業從業人員的團體，他們感興趣的是開發技術來檢測機器學習模型中的偏見，開發算法來抵消這種偏見，為機器決策生成人類可理解的解釋，讓組織為不公平的決策負責，等等。

對于機器決策，人類可以理解的解釋在幾個方面都有優勢。例如，關注一個申請貸款的申請人的用例，好處包括:

• 對于生活受到該決定影響的申請人來說，解釋是有益的。例如，它幫助申請人理解他們的哪些因素是做出決定的關鍵因素。

• 此外，如果申請人覺得受到了不公平待遇，例如，如果一個人的種族在決定結果時至關重要，它還可以幫助申請人對決定提出質疑。這對于組織檢查其算法中的偏見也很有用。

• 在某些情況下，解釋為申請人提供了反饋，他們可以根據這些反饋采取行動，在未來的時間內獲得預期的結果。

• 解釋可以幫助機器學習模型開發人員識別、檢測和修復錯誤和其他性能問題。

• 解釋有助于遵守與機器生產決策相關的法律，如GDPR[10]。

機器學習中的可解釋性大體上是指使用固有的可解釋的透明模型或為不透明模型生成事后解釋。前者的例子包括線性/邏輯回歸、決策樹、規則集等。后者的例子包括隨機森林、支持向量機(SVMs)和神經網絡。

事后解釋方法既可以是模型特定的，也可以是模型不可知的。特征重要性解釋和模型簡化是兩種廣泛的特定于模型的方法。與模型無關的方法可以分為視覺解釋、局部解釋、特性重要性和模型簡化。

特征重要性(Feature importance)是指對模型的整體精度或某個特定決策最有影響的特征，例如SHAP[80]、QII[27]。模型簡化找到了一個可解釋的模型，該模型緊致地模仿了不透明模型。依存圖是一種常用的直觀解釋，如部分依存圖[51]、累積局部效應圖[14]、個體條件期望圖[53]。他們將模型預測的變化繪制成一個特征，或者多個特征被改變。局部解釋不同于其他解釋方法，因為它們只解釋一個預測。局部解釋可以進一步分為近似解釋和基于實例的解釋。近似方法在模型預測需要解釋的數據點附近抽取新的數據點(以下稱為explainee數據點)，然后擬合線性模型(如LIME[92])或從中提取規則集(如錨[93])。基于實例的方法尋求在被解釋數據點附近找到數據點。它們要么以與被解釋數據點具有相同預測的數據點的形式提供解釋，要么以預測與被解釋數據點不同的數據點的形式提供解釋。請注意，后一種數據點仍然接近于被解釋的數據點，被稱為“反事實解釋”。

回想一下申請貸款的申請人的用例。對于貸款請求被拒絕的個人，反事實的解釋為他們提供反饋，幫助他們改變自己的特征，以過渡到決策邊界的理想一面，即獲得貸款。這樣的反饋被稱為可執行的。與其他幾種解釋技術不同，反事實解釋不能明確回答決策中的“為什么”部分;相反，他們提供建議以達到預期的結果。反事實解釋也適用于黑箱模型(只有模型的預測功能是可訪問的)，因此不限制模型的復雜性，也不要求模型披露。它們也不一定能近似底層模型，從而產生準確的反饋。由于反事實解釋具有直覺性，因此也符合法律框架的規定(見附錄C)。

在這項工作中，我們收集、審查和分類了最近的39篇論文，提出了算法，以產生機器學習模型的反事實解釋。這些方法大多集中在表格或基于圖像的數據集上。我們在附錄b中描述了我們為這項調查收集論文的方法。我們描述了這個領域最近的研究主題，并將收集的論文按照有效的反事實解釋的固定需求進行分類(見表1)。