學習從高維數據中提取與任務相關的特征是機器學習的一個重要挑戰。機器學習最近的成功在很大程度上歸因于深度神經網絡的進步，它將數據轉換為一種新的表示，適合下游機器學習算法。因此，深度神經網絡將任務相關特征的提取視為一個表征學習問題，通過端到端訓練與感興趣的任務共同解決。本文對表示學習的過程進行了更深入的研究，認為通常可以通過對學習到的表示施加額外的約束來補充現有的訓練信號。這些約束使我們能夠在表示空間中注入先驗已知的可取特征，從而有利于下游的任務。在這篇論文中，我們將考慮各種任務的例子，然后展示如何利用關于任務的見解，以一種有益的方式約束表征。這些見解是特定于任務的，利用任務的特定特征來確定對潛在空間的適當約束(例如，施加平滑性，施加信息優先級方案，或捕獲一個特定的解釋因素的興趣，等等)。我們的演示廣泛地涵蓋了跨領域對齊、控制和生成建模的任務類別——從而展示了在表示學習期間設計和施加特定于任務的約束的普遍有效性。

深度學習模型最近徹底改變了在線環境，為改善用戶體驗打開了許多令人興奮的機會。然而，這些模型也可能通過故意或惡意用戶制造或推廣虛假信息來引入新的威脅。在這篇論文中，我們提出了新的方法來對抗網上虛假信息的擴散。我們專注于自動事實驗證的任務，即根據外部可靠來源檢查給定索賠的準確性。我們分析了事實驗證系統所需的規范，并描述了對大量全面的免費文本信息資源進行操作時對效率的需求，同時確保對具有挑戰性的輸入的魯棒性和對參考證據修改的敏感性。我們的方法是通用的，正如我們所證明的，提高了事實驗證之外的許多其他模型的穩健性、效率和可解釋性。

在本文的第一部分，我們重點研究了句子對分類器的魯棒性、敏感性和可解釋性。我們提出了在大型策劃數據集中識別和量化特性的方法，這些方法不希望導致模型依賴于不可普遍化的統計線索。我們演示了對比證據對如何通過強制模型執行句子對推理來緩解這一問題。為了自動獲得這些例子，我們開發了一種新的基于原理的去噪管道，用于修改反駁證據以同意給定的主張。此外，我們提出了一個半自動的解決方案，從維基百科修訂中創建對比對，并共享一個新的大型數據集。

在第二部分中，我們轉向提高證據檢索和聲明分類模塊的推理效率，同時可靠地控制它們的準確性。我們引入了新的置信度測度，并對共形預測框架進行了新的擴展。我們的方法可以為每個輸入動態分配所需的計算資源，以滿足任意用戶指定的容忍水平。我們在多個數據集上演示了我們經過良好校準的決策規則可靠地提供了顯著的效率提高。

//dspace.mit.edu/handle/1721.1/140022

預測是許多機器學習應用的關鍵目標。準確、可靠和穩健的預測對于人工智能系統的下游組件做出最優和公平的決定至關重要，尤其是在高風險的應用領域，如個性化健康、自動駕駛汽車、金融、新藥開發、選舉結果預測和流行病。許多現代機器學習算法輸出過度自信的預測，導致錯誤的決策和技術接受問題。經典的校準方法依賴于人工假設，經常導致過擬合，而現代校準方法試圖通過修改黑盒深度學習系統的組件來解決校準問題。雖然這提供了部分解決方案，但這種修改不能提供預測有效性的數學保證，而且具有侵入性、復雜性和實現成本。

本文介紹了一種用于機器學習分類和回歸問題的良好校準概率預測的新方法。提出了一種新的多類分類方法，并與傳統的標定方法進行了比較。在回歸模型中，本文提出了一種新的概率回歸方法，以推導出在非參數IID假設下有效的、與經典共形預測方法相比包含更多信息的預測分布函數，并保證覆蓋率，同時提高了計算效率。對本文介紹的方法進行的實驗研究表明，在最先進的技術方面具有優勢。分離共形預測系統的主要優勢是其保證有效性，而交叉共形預測系統在沒有過多隨機化的情況下享有更高的預測效率和經驗有效性。

從教育到招聘，社會中的重要決策越來越依賴于數據驅動的算法。然而，算法決策的長期影響在很大程度上沒有得到充分理解，在理論和實踐中，確保公平利益存在嚴重挑戰。在本文中，我從兩個角度考察了機器學習算法的社會動力學:(I)算法決策的長期公平性，以及(ii)匹配市場的長期穩定性。

在計算機科學中，算法公平這個主題受到了廣泛的關注，但最近才認識到算法可以通過各種動態機制對種群產生不同的影響。我們通過提出機器學習算法和感興趣群體的動態交互的兩種不同模型來促進這一不斷發展的理解。首先，我們引入了延遲影響的概念——決策結果被觀察后，決策算法對人口的福利影響，其動機是，例如，在應用新的貸款批準算法后，平均信用分數的變化。我們證明了研究界提出的公平機器學習的幾個統計標準，如果應用于決策約束，可能會對弱勢群體的福利造成損害。t，我們考慮一個動態的環境，在這個環境中，個人投資于一個基于算法決策規則的預期回報的積極結果。我們表明，不良的長期結果是由于群體間的異質性和缺乏可實現性而產生的，并研究了干預措施的有效性，如按群體“脫鉤”決策規則和提供補貼。

除了長期公平的問題，利用機器學習為社會造福面臨的另一個挑戰是社會選擇。在市場中，個人學習目標(通常是構想出來的)可能與實現有效市場結果的長期社會目標相沖突。受在線市場和平臺中重復匹配問題的激勵，我們研究了雙邊匹配市場，參與者重復匹配，并通過匹配獲得關于其偏好的不完全信息。由于競爭，一個參與者試圖了解自己的偏好可能會影響其他參與者的效用。我們為市場平臺設計了一種機器學習算法，使市場作為一個整體能夠足夠有效地學習他們的偏好，從而快速獲得稱為穩定的市場公平概念。此外，我們研究了上述問題的分散化版本，并設計了參與者的學習算法，以在給定過去數據的情況下戰略性地避免競爭，從而消除了對中央平臺的需要。我們還研究了具有獨立行動誘惑的策略參與者是否仍應遵循算法的建議，結果顯示了算法的激勵兼容性方面的幾個積極結果。

//www2.eecs.berkeley.edu/Pubs/TechRpts/2022/EECS-2022-41.pdf

機器學習是現代戰爭系統的關鍵組成部分。本文探討了人工智能的 7 個關鍵軍事應用。

機器學習已成為現代戰爭的重要組成部分，也是我（Nicholas Abell）作為陸軍退伍軍人和數據科學家的主要興趣點。與傳統系統相比，配備人工智能/機器學習的軍事系統能夠更有效地處理大量數據。此外，人工智能由于其固有的計算和決策能力，提高了作戰系統的自我控制、自我調節和自我驅動能力。

人工智能/機器學習幾乎被部署在所有軍事應用中，軍事研究機構增加研發資金有望進一步推動人工智能驅動系統在軍事領域的應用。

例如，美國國防部 (DoD) 的國防高級研究計劃局 (DARPA) 正在資助一種機器人潛艇系統的開發，該系統預計將用于從探測水下水雷到參與反潛行動的各種應用。此外，美國國防部在 2017 財年在人工智能、大數據和云計算方面的總體支出為 74 億美元。預計到 2025 年，軍事 ML 解決方案的市場規模將達到 190 億美元。

以下是機器學習將在未來幾年證明其重要性的七種主要軍事應用。

1. 作戰平臺

來自全球不同國家的國防軍隊正在將人工智能嵌入陸地、海軍、空中和太空平臺上使用的武器和其他系統中。

在基于這些平臺的系統中使用人工智能，可以開發出更少依賴人工輸入的高效作戰系統。它還增加了協同作用，提高了作戰系統的性能，同時需要更少的維護。人工智能還有望使自主和高速武器能夠進行協作攻擊。

2. 網絡安全

軍事系統通常容易受到網絡攻擊，這可能導致機密軍事信息丟失和軍事系統損壞。然而，配備人工智能的系統可以自主保護網絡、計算機、程序和數據免受任何未經授權的訪問。

此外，支持人工智能的網絡安全系統可以記錄網絡攻擊的模式，并開發反擊工具來應對它們。

3. 物流運輸

人工智能有望在軍事后勤和運輸中發揮關鍵作用。貨物、彈藥、武器和部隊的有效運輸是成功軍事行動的重要組成部分。

將人工智能與軍事運輸相結合可以降低運輸成本并減少人力工作負荷。它還使軍用艦隊能夠輕松檢測異常并快速預測組件故障。最近，美國陸軍與 IBM 合作，使用其 Watson 人工智能平臺來幫助預先識別 Stryker 戰車的維護問題。

4. 目標識別

正在開發人工智能技術以提高復雜戰斗環境中目標識別的準確性。這些技術使國防軍隊能夠通過分析報告、文檔、新聞提要和其他形式的非結構化信息來深入了解潛在的作戰領域。此外，目標識別系統中的人工智能提高了這些系統識別目標位置的能力。

支持人工智能的目標識別系統能力包括基于概率的敵人行為預測、天氣和環境條件匯總、潛在供應線瓶頸或漏洞的預測和標記、任務方法評估以及建議的緩解策略。機器學習還用于從獲得的數據中學習、跟蹤和發現目標。

例如，DARPA 的競爭環境中的目標識別和適應 (TRACE) 計劃使用機器學習技術在合成孔徑雷達 (SAR) 圖像的幫助下自動定位和識別目標。

5. 戰場醫療

在戰區，人工智能可以與機器人手術系統 (RSS) 和機器人地面平臺 (RGP) 集成，以提供遠程手術支持和疏散活動。美國尤其參與了 RSS、RGP 和其他各種用于戰場醫療保健的系統開發。在困難條件下，配備人工智能的系統可以挖掘士兵的病歷并協助進行復雜的診斷。

例如，IBM 的 Watson 研究團隊與美國退伍軍人管理局合作開發了一種稱為電子病歷分析器 (EMRA) 的臨床推理原型。這項初步技術旨在使用機器學習技術來處理患者的電子病歷，并自動識別和排列他們最嚴重的健康問題。

6. 戰斗模擬與訓練

模擬與訓練是一個多學科領域，它將系統工程、軟件工程和計算機科學結合起來構建計算機模型，使士兵熟悉在軍事行動中部署的各種作戰系統。美國正在越來越多地投資于模擬和訓練應用。

美國海軍和陸軍都在進行戰爭分析，啟動了幾個傳感器模擬程序項目。美國海軍已經招募了 Leidos、SAIC、AECOM 和 Orbital ATK 等公司來支持他們的計劃，而美國陸軍的計劃得到了包括 SAIC、CACI、Torch Technologies 和 Millennium Engineering 在內的公司的支持。

7. 威脅監控和態勢感知

威脅監控和態勢感知在很大程度上依賴于情報、監視和偵察 (ISR) 工作。ISR 行動用于獲取和處理信息以支持一系列軍事活動。

用于執行 ISR 任務的無人系統既可以遠程操作，也可以按照預先定義的路線發送。為這些系統配備人工智能有助于防御人員進行威脅監控，從而提高他們的態勢感知能力。

具有集成 AI 的無人駕駛飛行器 (UAV) - 也稱為無人機 - 可以巡邏邊境地區，識別潛在威脅，并將有關這些威脅的信息傳輸給響應團隊。因此，使用無人機可以加強軍事基地的安全，并提高軍事人員在戰斗中或偏遠地區的安全性和效率。

結論

人工智能在軍事技術硬件和軟件的大規模采用，向我們展示了現代戰爭中令人難以置信和可怕的范式轉變。毫不奇怪，世界上最大的軍隊比其他任何事情都更加關注這項技術，而這場技術競賽的獲勝者可能會比美國在研制原子彈后擁有更多的全球影響力。 （作者：Nicholas Abell，美國陸軍退伍軍人）

摘要

戰術軍事陸地行動嚴重依賴地形，因此在軍事決策過程中始終需要考慮地形。地形相關（地理空間）戰術信息產品，例如最佳路線或近場途徑通常由情報單元中的地形分析師確定，但也可以自動生成。這些產品可用于決策支持工具，以支持規劃過程。當在這些決策支持工具中使用機器學習時，這些產品還有助于對軍事單位的行為進行建模，這是通過機器學習找到表現良好的行動方案所需的。這項工作概述了地理空間產品，并將它們分類為基于層的體系結構，其中產品基于底層的產品。我們進一步規范了創建機器學習所需的戰術地形模型和戰術任務模型的步驟。基于兩個實際示例，我們演示了如何在提出的架構中生成地理空間產品，這些產品如何用于機器學習以進行戰術規劃，以及如何將學習到的行動和情報產品提供給規劃者以支持決策。

自2012年卷積神經網絡(CNNs)在ImageNet任務中取得最佳性能以來，深度學習已成為解決計算機視覺、自然語言處理、語音識別和生物信息學任務的首選方法。然而，盡管表現令人印象深刻，神經網絡往往會做出過于置信的預測。為了構建更安全的機器學習系統，有必要對模型預測中的不確定性進行健壯的、可解釋的和可處理的估計。這對于錯誤成本高的應用至關重要，例如自動駕駛汽車控制、高風險的自動熟練程度評估以及醫療、金融和法律領域。本文的第一部分詳細討論了基于集成和單模型的不確定性估計方法，并提出了一種新的不確定性估計模型——先驗網絡。先前的網絡能夠使用單一的確定性神經網絡來模擬模型集成，它允許在與基于集成的方法相同的概率框架內確定不確定性的來源，但具有單一模型方法計算簡單和易于訓練。因此，先驗網絡結合了集成方法和單模型方法的優點來估計不確定性。在這篇論文中，先前的網絡是在一個范圍分類數據集上進行評估的，在檢測分布外輸入的任務上，它們的表現優于基線方法，如蒙特卡羅Dropout。本文的第二部分將深度學習和不確定性估計方法應用于非母語口語能力的自動評估。具體來說，基于深度學習的評分者和口語反應相關性評估系統是使用劍橋英語語言評估提供的BULATS和LinguaSkill考試數據構建的。本文前半部分討論和評估的不確定性估計基線方法，隨后應用于這些模型，并在拒絕由人工考官評分的預測和發現錯誤分類的任務上進行評估。

//www.repository.cam.ac.uk/handle/1810/298857