亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

神經網絡在處理大量數據方面表現優異，從家庭助手到自動駕駛汽車，在很多方面都極大地造福了我們的生活。然而，人們發現神經網絡是脆弱的。通過以一種人類察覺不到的方式輕微擾亂輸入，神經網絡幾乎不能做出任何正確的預測。這嚴重限制了它們在安全關鍵領域的應用，如醫療健康和金融。在本文中，我們研究了魯棒神經網絡，希望促進神經網絡的更廣泛和更可靠的應用。具體來說，我們專注于評估和訓練魯棒的神經網絡。我們首先考慮魯棒性評估。評估神經網絡魯棒性的一種常用方法是通過形式化驗證，這通常是計算開銷很大的。我們為加快這一進程做出了一些貢獻。簡單地說，我們采用了在統一的分支和定界框架下可以重新制定大多數驗證方法的思想。通過直接處理統一框架，對分支和邊界組件提出了高層次的改進，包括啟發式和學習框架。此外，我們引入了新的數據集，使我們的方法能夠與其他現有的方法進行綜合比較分析。在構造魯棒神經網絡方面，我們提出了一種新的魯棒訓練算法。許多流行的魯棒訓練方法依賴于強對手，當模型復雜度和輸入維數較高時，計算成本較高。我們設計了一個新的框架，可以更有效地利用對手。因此，為了達到類似的性能，可以使用廉價而弱小的對手。在此基礎上，介紹了算法ATLAS。我們通過展示ATLAS在幾個標準數據集上的出色表現來證明它的有效性和效率。

深度學習模型最近徹底改變了在線環境，為改善用戶體驗打開了許多令人興奮的機會。然而，這些模型也可能通過故意或惡意用戶制造或推廣虛假信息來引入新的威脅。在這篇論文中，我們提出了新的方法來對抗網上虛假信息的擴散。我們專注于自動事實驗證的任務，即根據外部可靠來源檢查給定索賠的準確性。我們分析了事實驗證系統所需的規范，并描述了對大量全面的免費文本信息資源進行操作時對效率的需求，同時確保對具有挑戰性的輸入的魯棒性和對參考證據修改的敏感性。我們的方法是通用的，正如我們所證明的，提高了事實驗證之外的許多其他模型的穩健性、效率和可解釋性。

在本文的第一部分，我們重點研究了句子對分類器的魯棒性、敏感性和可解釋性。我們提出了在大型策劃數據集中識別和量化特性的方法，這些方法不希望導致模型依賴于不可普遍化的統計線索。我們演示了對比證據對如何通過強制模型執行句子對推理來緩解這一問題。為了自動獲得這些例子，我們開發了一種新的基于原理的去噪管道，用于修改反駁證據以同意給定的主張。此外，我們提出了一個半自動的解決方案，從維基百科修訂中創建對比對，并共享一個新的大型數據集。

在第二部分中，我們轉向提高證據檢索和聲明分類模塊的推理效率，同時可靠地控制它們的準確性。我們引入了新的置信度測度，并對共形預測框架進行了新的擴展。我們的方法可以為每個輸入動態分配所需的計算資源，以滿足任意用戶指定的容忍水平。我們在多個數據集上演示了我們經過良好校準的決策規則可靠地提供了顯著的效率提高。

//dspace.mit.edu/handle/1721.1/140022

隨著越來越多的優化和人工智能(AI)方法用于輔助高風險的現實生活決策，公平已經成為這些工具的設計者和用戶考慮的一個基本因素。本文研究的是制定、實現和引出公平的新途徑。第一章通過優化模型研究公平與效率的平衡。我們提出新的社會福利函數(SWFs)作為羅爾斯法則公平性和功利主義兩大著名標準的綜合衡量。然后，我們設計了一個程序，用混合整數/線性規劃模型順序地最大化這些SWFs，以找到社會最優解。該方法具有廣泛的資源分配應用的實際潛力，并在醫療保健提供和災害準備避難所分配的實際規模應用中得到了證明。第二章考慮了一個由公平機器學習驅動的優化任務。在開發公平的ML算法時，了解公平的計算代價與標準的不公平設置相比是很有用的。對于利用優化模型進行訓練的公平ML方法，專門的優化算法可能比通用求解器提供更好的計算性能。在本章中，我將探討支持向量機(SVM)的這個問題，并設計塊坐標下降型算法來訓練包含線性公平性約束的SVM。數值實驗表明，在訓練公平支持向量機方面，新的專門算法比現成的求解器更有效。

第三章探討了優化作為人工智能系統中基于福利的公平正式化的一般范式。與公平人工智能中常用的統計偏差指標相反，優化社會福利目標支持基于分配正義考慮的更廣泛的公平視角。我們提出了社會福利優化和人工智能，特別是機器學習之間的處理中和處理后的集成方案。我們以按揭貸款處理為動機，進行個案研究，以評估整合方案的有效性。接下來的兩章探討了以人為中心的觀點，以引出人們的公平偏好，即了解在不同的決策環境下人們認為什么是公平。第四章從揭示的偏好出發，研究了基于在線學習(OL)的一般偏好學習框架:學習者在變化的環境中通過相互作用學習代理的私人效用函數。通過設計一個新的凸損失函數，我們設計了一個靈活的OL框架，可以統一處理文獻中常見的損失函數，并支持各種在線凸優化算法。該框架在后悔性能和求解時間方面優于文獻中的其他OL算法。最后，第五章研究了資源順序配置過程中人們動態倫理判斷的建模和引出問題。我們利用馬爾可夫決策過程(MDP)模型來表示順序分配任務，其中國家獎勵捕獲了人們的道德偏好，從而人們的道德判斷通過政策獎勵反映出來。我們設計了一個偏好推理模型，它依賴于基于主動偏好的獎勵學習來推斷未知的獎勵函數。將該學習框架應用于Amazon Mechanical Turk的人-被試實驗，以理解人們在分配稀缺醫療資源的假設情景下的道德推理。

//www.cmu.edu/tepper/programs/phd/program/assets/dissertations/2022-operations-research-chen-violet-dissertation.pdf

【摘 要】

機器學習是一種很有前途的處理復雜信息的工具，但它仍然是一個不可靠不可信的控制和決策工具。將為靜態數據集開發的技術應用到現實世界的問題中，需要克服反饋和系統隨時間變化的影響。在這些設置中，經典的統計和算法保證并不總是有效。在部署機器學習系統之前，我們如何預測機器學習系統的動態行為?為了確保可靠可信的行為，本論文采取步驟來發展對反饋設置中出現的權衡和限制的理解。

在第一部分，我們關注機器學習在自動反饋控制中的應用。受物理自治系統的啟發，我們試圖為數據驅動的最優控制器設計建立理論基礎。我們關注的是由線性動力學控制的系統，其未知組件必須從數據中表征出來。研究了經典最優控制問題線性二次調節器(LQR)設定中的未知動力學問題，證明了最小二乘估計和魯棒控制設計過程保證了安全性和有界次最優性。在機器人技術中使用攝像機的啟發下，我們還研究了控制器必須根據復雜的觀察來行動的設置，其中狀態的子集由未知的非線性和潛在的高維傳感器進行編碼。我們提出使用一種感知映射作為近似逆，并表明只要a)控制器是魯棒設計來解釋感知誤差或b)感知映射是從足夠密集的數據中學習到的，由此產生的感知控制環具有良好的特性。

在第二部分，我們將注意力轉移到算法決策系統，其中機器學習模型用于與人反饋。由于測量的困難、有限的可預測性以及將人類價值轉化為數學目標的不確定性，我們避開了最優控制的框架。相反，我們的目標是在一步反饋模型下闡明簡單決策規則的影響。我們首先考慮相應的決策，這是受信用評分中放貸的例子啟發。在一個簡單的影響模型下，我們表明，幾個群體公平約束，提出減輕不平等，可能損害群體，他們的目標是保護。事實上，公平標準可以被視為一個更廣泛框架的特殊案例，用于設計在私人和公共目標之間權衡的決策政策，其中影響和福祉的概念可以直接編碼。最后，我們轉向推薦系統的設置，該系統根據個性化的相關性預測從廣泛的選擇中進行選擇。我們開發了一個基于可達性的新視角，量化了代理和訪問。雖然經驗審計表明，為準確性而優化的模型可能會限制可達性，但理論結果表明，這不是由于固有的權衡，這表明了一條前進的道路。從廣義上講，這項工作試圖重新想象機器學習中普遍存在的預測模型的目標，朝著優先考慮人類價值的新設計原則前進。

1 引 言

許多現代數字系統——從汽車到社交媒體平臺——都具有前所未有的測量、存儲和處理數據的能力。機器學習的并行進展推動了從這些數據中受益的潛力，其中巨大的數據集和強大的計算能力推動了圖像識別和機器翻譯等復雜任務的進步。然而，許多應用程序超出了處理復雜信息的范圍，而是基于它采取行動——從分類和轉變為做出決策和采取行動。將針對靜態數據集開發的技術應用于現實世界的問題需要處理隨時間變化的反饋和系統的影響。在這些設置中，經典的統計和算法保證并不總是成立。即使是嚴格評估性能也可能很困難。在部署機器學習系統之前，我們如何預測它們的行為？我們可以設計它們以確保良好的結果嗎？基本的限制和權衡是什么？

在本論文中，我們為各種動態設置開發了原則性技術，以實現可信機器學習的愿景。這項工作借鑒了控制理論中的工具和概念，控制理論在制定動態系統行為的保證方面有著悠久的歷史，優化提供了一種語言來表達目標和權衡，當然還有機器學習，它使用數據來理解和作用于世界。機器學習模型旨在做出準確的預測，無論是關于自動駕駛汽車的軌跡、償還貸款的可能性，還是對新聞文章的參與程度。傳統上，在靜態監督學習的框架中，這些模型一旦被用于采取影響環境的行動，就會成為動態系統的一部分（圖 1）。無論上下文是駕駛自動駕駛汽車、批準貸款還是推薦內容，將學習到的模型整合到策略中都會產生反饋循環。

圖1 盡管機器學習模型通常在大腦中以一個靜態的監督學習框架進行訓練(左)，但當部署時，它們成為反饋循環的一部分(右)。

在動態環境中使用靜態模型存在一些問題。無論是由于分布偏移、部分可觀察性還是錯誤累積，它們的預測能力都可能在反饋設置中失敗。監督學習通常旨在保證良好的平均情況性能，但平均工作良好的車道檢測器仍可能對特定圖像進行錯誤分類并導致崩潰。此外，用于進行準確預測的統計相關性實際上可能包含我們希望避免傳播的偏差或其他有害模式。在貸款決定中考慮申請人的郵政編碼可能在統計上是最優的，但會導致紅線的做法。推薦內容令人反感的視頻可能會增加參與度，但會損害觀看者的心理健康。應對這些挑戰需要仔細考慮如何使用機器學習模型，并設計確保理想結果和對錯誤具有魯棒性的策略。

在接下來的章節中，大致分為兩部分：數據驅動的最優控制和社交數字系統中的反饋。在第一部分中，我們展示了如何結合機器學習和魯棒控制來設計具有非漸近性能和安全保證的數據驅動策略。第 2 章回顧了一個框架，該框架能夠對具有不確定動態和測量誤差的系統進行策略分析和綜合。在第 3 章中，我們考慮了具有未知動力學的線性系統的設置，并研究了具有安全約束的經典最優控制問題的樣本復雜度。在第 4 章中，我們轉而關注復雜傳感模式帶來的挑戰，并為基于感知的控制提供保證。在第二部分中，從物理系統的動力學轉向對社會系統的影響，我們考慮學習與人互動的算法。在第 5 章中，我們描述了后續決策中公平和幸福之間的關系。我們將在第 6 章重點介紹內容推薦的設置，并開發一種在交互系統中表征用戶代理的方法。在本章的其余部分中，我們將介紹和激發后續章節的設置。

1.1 數據驅動的最優控制

在視頻游戲和圍棋中超越了人類的表現后，人們對將機器學習技術應用于規劃和控制重新產生了興趣。特別是，在開發自主系統與物理環境交互的連續控制新技術方面已經付出了相當大的努力。盡管在操縱等領域取得了一些令人印象深刻的成果，但近年來，由于自動車輛控制系統的故障。處理學習模型產生的錯誤不同于傳統的過程和測量噪聲概念。我們如何確保我們新的數據驅動自動化系統安全可信？

在本文的第一部分，我們試圖通過分析簡單的最優控制問題，為機器學習如何與控制接口建立理論理解的基礎。我們開發了基線來描述給定從具有未知組件的系統收集的固定數量的數據可實現的可能控制性能。標準最優控制問題旨在找到使給定成本最小化的控制序列。我們假設一個狀態為的動力系統可以被一個控制作用并服從動力學：

其中是過程噪聲。允許控制動作取決于系統狀態的觀測值，這可能是部分的和不完善的：，其中是測量噪聲。然后最優控制力求最小化：

這里，表示依賴于軌跡的成本函數，輸入允許依賴于所有先前的測量和動作。一般來說，問題（1.1.2）包含了強化學習文獻中考慮的許多問題。這也是一個一般難以解決的問題，但對于受限設置，控制理論中的經典方法在動力學和測量模型已知的情況下提供易于處理的解決方案。

當它的組成部分未知并且必須從數據中估計時，我們會研究這個問題。即使在線性動力學的情況下，推理機器學習錯誤對不確定系統演化的影響也是具有挑戰性的。第 2 章介紹了對我們的研究至關重要的線性系統和控制器的背景。它概述了系統級綜合，這是一個最近開發的優化控制框架，使我們能夠以透明和易于分析的方式處理不確定性。

在第 3 章中，我們研究了當系統動力學未知且狀態可以準確觀察時，機器學習如何與控制交互。我們分析了經典最優控制中研究最充分的問題之一，即線性二次調節器 (LQR)。在這種情況下，要控制的系統服從線性動力學，我們希望最小化系統狀態和控制動作的一些二次函數。我們通過考慮狀態和輸入都滿足線性約束的附加要求來進一步研究與安全性的權衡。這個問題已經被研究了幾十年并得到控制。無約束版本在無限時間范圍內具有簡單的封閉形式解決方案，在有限時間范圍內具有高效的動態規劃解決方案。約束版本在模型預測控制 (MPC) 社區中受到了廣泛關注。通過將線性回歸與穩健控制相結合，我們限制了保證安全性和性能所需的樣本數量。

在第 4 章中，我們轉向一個受以下事實啟發的設置：結合豐富的感知傳感模式（例如相機）仍然是控制復雜自主系統的主要挑戰。我們專注于實際場景，其中系統的基本動力學得到了很好的理解，并且與復雜傳感器的交互是限制因素。具體來說，我們考慮控制一個已知的線性動態系統，其部分狀態信息只能從非線性和潛在的高維觀測中提取。我們的方法是通過學習感知圖來設計虛擬傳感器，即從復雜觀察到狀態子集的地圖。表明感知圖中的錯誤不會累積并導致不穩定需要比機器學習中的典型情況更強的泛化保證。我們表明，魯棒控制或足夠密集的數據可以保證這種基于視覺的控制系統的閉環穩定性和性能。

1.2 社交數字系統中的反饋

從信用評分到視頻推薦，許多與人交互的機器學習系統都有時間反饋組件，隨著時間的推移重塑人口。例如，借貸行為可以改變人口中債務和財富的分布。招聘廣告分配機會。視頻推薦塑造興趣。在這些情況下使用的機器學習算法大多經過訓練以優化單個性能指標。此類算法做出的決定可能會產生意想不到的負面影響：利潤最大化貸款可能會對借款人產生不利影響，而假新聞可能會破壞民主制度。

然而，很難圍繞種群和算法之間的動態交互進行明確的建模或規劃。與物理系統不同，存在測量困難、可預測性有限以及將人類價值轉化為數學目標的不確定性。動作通常是離散的：接受或拒絕，選擇要推薦的特定內容。我們的目標是開發一個框架來闡明簡單決策規則的影響，而不是試圖設計一種策略來優化受不正確動態模型影響的可疑目標。因此，我們研究了在不使用最佳控制的完整框架的情況下量化和納入影響因素的方法。這項工作試圖重新構想機器學習中普遍存在的預測模型的目標，朝著優先考慮人類價值的新設計原則邁進。

第 5 章側重于相應的決策。從醫療診斷和刑事司法到金融貸款和人道主義援助，后續決策越來越依賴數據驅動的算法。現有的關于自動決策公平性的學術批評無限制的機器學習有可能傷害人口中歷史上代表性不足或弱勢群體。因此，已經提出了各種公平標準作為對標準學習目標的約束。盡管這些限制顯然旨在通過訴諸直覺來保護弱勢群體，但通常缺乏對此效果的嚴格論證。在第 5 章中，我們通過描述群體公平標準的延遲影響來將其置于語境中。通過以幸福的時間衡量來構建問題，我們看到僅靠靜態標準無法確保獲得有利的結果。然后我們考慮一個替代框架：直接對制度（例如利潤）和個人（例如福利）目標進行雙重優化。通過以特定的群體相關方式定義福利，可以通過雙重物鏡等效地看待被約束為遵守公平標準的決策。這種源自約束優化和正則優化之間的等價性的見解表明，公平約束可以被視為平衡多個目標的特例。

第 6 章側重于推薦系統，它提供了一系列不同的挑戰。通過推薦系統，個性化偏好模型可以調解對互聯網上多種類型信息的訪問。針對將被消費、享受和高度評價的表面內容，這些模型主要用于準確預測個人的偏好。提高模型準確性的重點有利于使人類行為變得盡可能可預測的系統——這些影響與極化或激進化等意外后果有關。在第 6 章中，我們試圖通過考慮用戶控制和訪問的概念來形式化一些風險價值。我們研究可達性作為在交互式系統中描述用戶代理的一種方式。我們開發了一種計算上易于處理的指標，可用于在部署之前審核推薦系統的動態屬性。我們的實驗結果表明，準確的預測模型在用于對信息進行分類時，可能會無意中使部分內容庫無法訪問。我們的理論結果表明，沒有內在的權衡，這表明可以設計出在保持準確性的同時提供代理的學習算法。

最終，將數據驅動的自動化集成到重要領域需要我們了解和保證安全、公平、代理和福利等屬性。這是動態和不確定系統中的挑戰。第一部分中介紹的工作朝著建立理論基礎邁出了一步，以保證數據驅動的最優控制的安全性。將重要屬性正式定義為易于處理的技術規范存在進一步的挑戰。對于代理和福祉等定性和上下文概念尤其如此。第二部分介紹的工作朝著評估提出的技術形式和闡明新的形式邁出了一步。為了在反饋系統中實現可信的機器學習，必須沿著這兩個方向取得進展。

【導讀】牛津大學的博士生Oana-Maria Camburu撰寫了畢業論文《解釋神經網絡 （Explaining Deep Neural Networks）》，系統性介紹了深度神經網絡可解釋性方面的工作，值得關注。

作者介紹：

Oana-Maria Camburu，來自羅馬尼亞，目前是牛津大學的博士生，主修機器學習、人工智能等方向。

Explaining Deep Neural Networks

深度神經網絡在計算機視覺、自然語言處理和語音識別等不同領域取得了革命性的成功，因此越來越受歡迎。然而，這些模型的決策過程通常是無法向用戶解釋的。在各種領域，如醫療保健、金融或法律，了解人工智能系統所做決策背后的原因至關重要。因此，最近研究了幾個解釋神經模型的方向。

在這篇論文中，我研究了解釋深層神經網絡的兩個主要方向。第一個方向由基于特征的事后解釋方法組成，也就是說，這些方法旨在解釋一個已經訓練過的固定模型(事后解釋)，并提供輸入特征方面的解釋，例如文本標記和圖像的超級像素(基于特征的)。第二個方向由生成自然語言解釋的自解釋神經模型組成，也就是說，模型有一個內置模塊，為模型的預測生成解釋。在這些方面的貢獻如下：

• 首先，我揭示了僅使用輸入特征來解釋即使是微不足道的模型也存在一定的困難。我表明，盡管有明顯的隱含假設，即解釋方法應該尋找一種特定的基于真實值特征的解釋，但對于預測通常有不止一種這樣的解釋。我還展示了兩類流行的解釋方法，它們針對的是不同類型的事實基礎解釋，但沒有明確地提及它。此外，我還指出，有時這兩種解釋都不足以提供一個實例上決策過程的完整視圖。

• 其次，我還介紹了一個框架，用于自動驗證基于特征的事后解釋方法對模型的決策過程的準確性。這個框架依賴于一種特定類型的模型的使用，這種模型有望提供對其決策過程的洞察。我分析了這種方法的潛在局限性，并介紹了減輕這些局限性的方法。引入的驗證框架是通用的，可以在不同的任務和域上實例化，以提供現成的完整性測試，這些測試可用于測試基于特性的后特殊解釋方法。我在一個情緒分析任務上實例化了這個框架，并提供了完備性測試s1，在此基礎上我展示了三種流行的解釋方法的性能。

• 第三，為了探索為預測生成自然語言解釋的自解釋神經模型的發展方向，我在有影響力的斯坦福自然語言推斷(SNLI)數據集之上收集了一個巨大的數據集，數據集約為570K人類編寫的自然語言解釋。我把這個解釋擴充數據集稱為e-SNLI。我做了一系列的實驗來研究神經模型在測試時產生正確的自然語言解釋的能力，以及在訓練時提供自然語言解釋的好處。

• 第四，我指出，目前那些為自己的預測生成自然語言解釋的自解釋模型，可能會產生不一致的解釋，比如“圖像中有一只狗。”以及“同一幅圖片中沒有狗”。不一致的解釋要么表明解釋沒有忠實地描述模型的決策過程，要么表明模型學習了一個有缺陷的決策過程。我將介紹一個簡單而有效的對抗性框架，用于在生成不一致的自然語言解釋時檢查模型的完整性。此外，作為框架的一部分，我解決了使用精確目標序列的對抗性攻擊的問題，這是一個以前在序列到序列攻擊中沒有解決的場景，它對于自然語言處理中的其他任務很有用。我將這個框架應用到e-SNLI上的一個最新的神經模型上，并表明這個模型會產生大量的不一致性。

這項工作為獲得更穩健的神經模型以及對預測的可靠解釋鋪平了道路。

地址： //arxiv.org/abs/2010.01496