人工智能(AI)通過提供決策建議和與問題相關的信息來協助人類決策者,具有改善人類決策的潛力。然而,要充分發揮人類與人工智能合作的潛力,仍然面臨著一些挑戰。首先,我們必須了解支持互補性的條件,即人類在人工智能輔助下的表現超過無輔助的人類或單獨的人工智能的情況。這項任務要求人類能夠識別在哪些情況下應該利用人工智能,以及開發新的人工智能系統,使其能夠學習如何與人類決策者互補。其次,我們需要準確評估人類對人工智能的心理模型,其中既包括對人工智能的期望,也包括依賴策略。第三,我們需要了解不同的人機交互設計選擇所產生的影響,包括人工智能輔助的時機以及應該向人類決策者展示的模型信息量,以避免認知超載和無效的依賴策略。針對這三大挑戰,我們將基于最新的經驗和理論研究成果提出跨學科觀點,并討論新的研究方向。
有效決策是組織成功的核心。在數字化轉型時代,企業越來越多地采用數據驅動的方法來獲得競爭優勢。根據現有文獻,人工智能(AI)代表了這一領域的重大進步,它能夠分析大量數據、識別模式、做出準確預測,并為組織提供決策支持。本研究旨在探討人工智能技術對組織決策不同層面的影響。通過將這些決策按照其屬性分為戰略決策和運營決策,本研究可以更全面地了解人工智能在組織決策中實施的可行性、當前采用率以及阻礙因素。
人工智能(AI)和統計機器學習(ML)與復雜系統的集成,給傳統的測試與評估(T&E)實踐帶來了各種挑戰。隨著更多不同級別的決策由人工智能系統(AIES)處理,我們需要測試與評估流程為確保系統的有效性、適用性和生存性奠定基礎。這涉及到評估 ML 模型和人工智能算法組件的方法,包括展示它們如何產生可重復和可解釋的決策的能力,以及對任何故障模式和故障緩解技術的了解。此外,還需要人工智能保證,以證明人工智能算法按預期運行,不存在因設計缺陷或惡意插入數據或算法代碼而產生的漏洞。T&E 需要新的流程來鑒定 ML 模型的訓練數據是否充足、算法和模型性能、系統性能以及運行能力。弗里曼(Freeman,2020 年)概述了當前復雜軟件支持系統的測試與評價方法所面臨的挑戰、嵌入式人工智能所加劇的關鍵挑戰,以及針對 AIES 的測試與評價需要如何改變的 10 個主題[1]。
為了充分測試 AIES,測試與評估界需要應對以下挑戰:
圖 1 總結了加強測試與評估的 10 個不同主題,以應對充分測試和評估 AIES 所面臨的挑戰。在過去的一年中,弗吉尼亞理工大學致力于測試和評估各種 AIES。本最佳實踐指南對圖 1 中的主題進行了進一步的完善和補充。本文所包含的最佳實踐將這些主題轉化為可執行的測試與評估實踐。在編寫本指南的過程中,我們充分利用了我們在人工智能系統開發和與更廣泛的人工智能社區合作方面的 T&E 工作經驗。這里所包含的最佳實踐反映了我們為使人工智能系統的測試與評估具有可操作性所做的初步嘗試。這些實踐需要在各種人工智能系統中進行測試,以確保它們是真正的最佳實踐。貫穿許多最佳實踐的一個亮點是數據的重要作用。數據不再僅僅是 T&E 的產物。現在,它已成為人工智能系統開發本身的輸入。這一顯著變化推動了對人工智能系統的技術與評估提出新的要求和實踐。此外,這份清單還遠遠不夠完整,應被視為一份活生生的實踐文檔。隨著越來越多的人工智能系統可供測試,新的實踐將不斷發展,本清單也需要不斷更新。不過,本文件中的每種做法都已證明在美國防部 AIES 測試中非常有用。
人工智能(或稱 AI)的應用正以各種方式影響著戰爭的性質和更廣泛的國際安全。在我們討論這些人工智能軍事應用的影響之前,先就如何思考它們的影響提出一些更具普遍性的想法:
通常情況下,人們會把人工智能這個詞賦予那些新穎的、能解決以往與人類智能相關問題的應用,賦予它神奇的光環。然而,當這種應用成為主流時,人工智能的標簽往往就會被摘掉。
在人類戰爭史上,影響戰爭方式的新技術層出不窮。從步槍到雷達,從刀劍到潛艇,從電報到戰斧:每一次新技術的出現都會激發烏托邦式的觀點,但當然也有烏托邦式的觀點,即特定的技術或武器系統將如何極大地影響戰爭的性質。我們的歷史證明了這一點:在萊特兄弟于 1903 年首飛之后,科幻小說家和軍事戰略家們紛紛宣稱空戰時代即將到來。最近,隨著網絡空間的出現,人們開始討論未來的戰爭是否會是網絡戰爭,觀察家們對網絡珍珠港的相關風險提出了警告。目前,學者、專業人士和普通人正在就人工智能對未來戰爭的影響展開激烈辯論,REAIM 會議當然也是一個證明。同樣,辯論也呈現出類似的模式,既有合理的擔憂,也有許多夸張的說法,還有未來戰爭將由機器而非人類自主發動的強大而可怕的畫面。
這次的不同之處在于,"一個人工智能系統 "并不存在。取而代之的是大量的算法應用,它們共同代表了一種萬能技術,一種在多個維度和整個 OODA 循環(軍事術語,即觀察-定向-決策-行動)中影響戰爭特征的萬能技術。這種技術既適用于戰場內外,也適用于戰爭與和平時期。
軍事史也表明,戰爭性質的真正變化往往是漸進的而不是點狀的,是進化的而不是革命的。變革不是通過某種新的銀彈或殺手級應用來實現的,而是通過軍事組織的艱苦工作來實現的,在這些工作中,軍事組織發展和完善作戰概念,將技術嵌入到新的作戰方式中,同時相應地調整組織結構。
有鑒于此,我們現在可以談談人工智能如何改變戰爭性質的問題。一些觀察家對變化的程度感到失望。他們將充滿機器人士兵的烏托邦式軍營與當前俄烏戰爭中充滿人類尸體的血腥戰壕這一同樣烏托邦式的現實相比較,發現戰爭仍然是 "To ánthrōpos,或者說是 "人類的事情"--這是有充分理由的。
盡管至少在可預見的未來,戰爭仍將是人類的事情,但很明顯,ANI(人工狹義智能)的突破與計算能力的爆炸性增長相結合,已經產生了大量的算法應用,國防組織在發動戰爭時可以加以利用。女士們、先生們,這并不是遙遠未來的某種烏托邦式現實,而是此時此地正在發生的算法戰爭現實的一部分。因此,人工智能應用正以各種方式影響著戰爭的性質,(目前)還不是通過人形終結者營,而是通過在整個 OODA 循環中將人工智能集成到現有應用中。
在戰場上,這已經產生了重大變化,通過更好的態勢感知和理解,以及通過所謂的 "戰斗云 "中壓縮殺傷鏈的分散式指揮網絡縮短決策周期,提高了武裝部隊的戰場效率。
沖突的加速為沿著 OODA 循環進一步整合算法提供了戰略依據,并標志著半人馬團隊的出現,人類仍處于循環中,但與人工智能應用近乎無縫整合。對 Sigint 的算法分析還提高了戰場透明度--無處可藏!- 并要求武裝部隊在有爭議和混亂的環境中開展分散行動。算法還用于無人駕駛飛機的導航和目標捕獲,包括進攻性的(通過閑逛彈藥)和防御性的(綜合防空和導彈防御)。
然而,算法的應用并不局限于戰場,它對核穩定也有相當大的影響。首先,徹底透明化將以各種方式改變核威懾的基本原則。例如,發射系統位置的曝光以及運載工具更高的精確度和機動性將影響威懾動態,并可能引發新的第一次和第二次打擊的不穩定性。此外,與技術變革相關的不確定性正促使人們擴大核武庫,并采用更靈活的核指揮與控制態勢--這些發展目前已在發揮作用。
算法也在開辟新的領域,沖突各方試圖在其中施加影響,包括通過我的同事弗蘭克-霍夫曼(Frank Hoffman)所說的 "認知戰爭"。現在有了經過實戰檢驗的劇本、現成的腳本,還有類似劍橋分析的服務可供雇傭。同樣,這不僅會影響戰爭的戰術層面,也會影響戰爭的戰略層面。想象一下,普京宣布發射核武器的 Deep Fake 會給戰略穩定帶來怎樣的影響,即使管理得當,也會造成怎樣的社會動蕩。重要的是要注意到,我們僅僅處于信息時代的黎明:5G、AR(增強現實)和 VR(虛擬現實)的出現以及 Metaverse 的出現將為沖突參與者帶來大量制造混亂的新機會。
總之,人工智能對戰爭性質和國際穩定的影響已經到來,它是真實存在的,并有望在未來幾年逐步實現。
這催化了倫理和法律領域的變革,并對如何限制和規范此類技術的生產、擴散和使用提出了多層次的重要挑戰。
這個項目的目標是開發一個框架,在這個框架中,不同的認知技能和行為可以被結合起來,產生智能和安全的機器人行為。美國防部自主性委員會最近發現了自主性和人工智能研究中的一個問題;即正在產生的大多數人工智能行為基本上是獨立工作的,如果沒有重大的研究和開發努力,就無法與其他行為或技能相結合。
為了說明這一點,請考慮一個機器人,它的工作是在一個安全設施周圍巡邏,只需完成幾個簡單的任務:確保它看到的每個人都被授權在那里,并掃描大樓以確保實驗室和辦公室的門在沒有人的時候總是關閉和安全。現在,假設該設施的主管來到機器人身邊,與它并肩而行,要求它報告其一天的工作情況。機器人應該怎么做?機器人可以獲得相關的行為和知識(它知道如何巡邏,它知道如何和人類一起走過走廊,它的各個行為都知道它們當天做了什么),但它沒有被明確設計為一起做這些事情。
完全處理這種情況需要機器人超越執行孤立的、獨立的行為的模式,在任務執行和知識方面結合其組成行為。例如,它對做什么的推理,要求機器人考慮與主管交談或繼續執行其巡邏期限的相對效用。例如,最高效用的行動方案是同時追求兩個潛在的目標,在繼續沿著走廊巡邏時與主任交談;但這種交錯的行為引起了潛在的安全問題,在制定行動計劃時需要加以考慮(例如在轉身看門口時要確保不碰到人類)。它向主管報告當天的情況時,需要機器人將當天執行的行為的知識匯總到一個全面的知識庫中,以便提供一個智能的、有意義的報告。隨著我們朝著合格的戰術機器人在戰場上工作的目標邁進,這些問題將更加需要解決,以確保機器人能夠安全和智能地協助作戰人員。
在這項工作中,我們的目標是開發一個框架,通過研究這兩個重要的問題,采取步驟將單個行為和技能結合起來:(1)我們如何選擇在任何特定時間執行和交錯的行為和技能,同時考慮實用性和安全性? 2)在執行不相關的技能和行為時,如何有意義地結合知識,以支持智能行為?
圖4. 人工智能對目標定位的增強:人工智能可以通過搜索目標并在發現后發出警報來增強動態目標定位周期。
開發和使用新的軍事技術是一個軍事專業人員工作的一部分。事實上,軍事歷史在很大程度上是一個技術革新的故事,士兵需要學習如何操作新系統。因此,關于整合人工智能的很多東西并不新鮮。就像坦克、飛機甚至弩一樣,隨著時間的推移,士兵們學會了使用和運用技術,工業界學會了以足夠的數量和質量生產技術,高級領導人學會了運用技術來實現戰略效果。如前所述,人工智能技術與它們的顛覆性“前輩”之間的區別在于,前者有能力改善廣泛的軍事武器、系統和應用。由于這種潛在的普遍性,幾乎所有的士兵都必須在某種程度上變得熟練,才能有效地和道德地運用AI技術。隨著這項技術在應用上的擴展,戰爭將像管理暴力一樣管理數據。
這種普遍性也提出了關于人類發展和人才管理的問題。盡管培訓計劃最終會培養出更多的知識型士兵,人事系統也會提高管理士兵的能力,但軍警人員能夠獲得知識和技能的限制仍然存在,特別是在作戰層面。盡管討論的目的不是要建立嚴格的指導方針,但討論確定了士兵需要獲得的許多知識。例如,士兵將需要知道如何策劃和培訓數據庫,而該數據庫對他們正在執行的任務有著重要作用。這樣做需要確保數據的準確、完整、一致和及時。使用這些數據需要熟練應用推薦模型卡中描述的條件,而熟練的操作有助于確保算法以有效和道德的方式執行。
當然,信任不能僅靠政策和程序來保證。指揮官、參謀員和操作員需要知道他們被信任做什么,以及他們信任系統做什么。指揮官、參謀員和操作員信任人工智能系統來識別合法目標,并避免識別非法目標。參與這一過程的人必須在使用這些信息時,既需要擊敗敵人,又必須避免友軍和非戰斗人員的傷亡。要找到這種平衡,就需要判斷人應該承擔多大的風險。
只要參與流程的人類能夠與系統進行有效的互動,由人工智能賦能的系統就能促進找到這種平衡。在將人類控制整合到機器流程中時,人們經常被迫在控制和速度之間做出選擇:強加的人類控制越多,系統的運行速度就越慢。但本研究發現這種兩難的局面是錯誤的。盡管在某些情況下,在人的控制和速度之間進行平衡可能是必要的,但如果系統要最佳地運作,人的輸入是必要的。
實現最佳性能首先要求指揮官確保參謀和操作人員了解模型能力,理解數據質量的重要性,以及洞悉模型在作戰環境中的表現。盡管它可能不會使系統更加精確或準確,但實現這些任務可使系統能夠更好地對輸出進行概率分配。第二,指揮官需要確定對任務、友軍戰斗人員和敵方非戰斗人員的風險有多大才合適。這一決定很復雜,其中關鍵任務可能是需要容忍更多的友軍和非戰斗人員傷亡。同樣,如果非戰斗人員的密度較低,即使任務不那么緊急,也可以容忍較高的風險。尋找這種平衡將是人類的工作。
但在前面描述的模糊邏輯控制器的幫助下,指揮官可以更好地確定什么時候可以信任一個人工智能系統在沒有人類監督的情況下執行一些目標定位步驟。此外,可以通過構建交互的邏輯,以找到多種不同的人機互動配置,確保系統的最佳使用,同時避免不必要的傷害。在LSCO期間,讓指揮官在需要時選擇智能和負責任地加快目標定位過程將是至關重要的,本報告中提出的設計實現了這一目標。這一成就在未來尤其重要,因為為了保護部隊并實現任務目標,指揮官將面臨大量時間敏感目標,及面臨承擔更多風險的操作條件。
在培養具有正確技能的足夠數量士兵以充分利用人工智能技術方面,仍有大量的工作。目前的人才管理計劃尚未達到管理這一挑戰的要求,盡管多個有前途的計劃準備最終滿足需求。然而,在大多數情況下,這些計劃都是為了滿足機構層面的要求,在機構層面上做出全軍采買人工智能和相關技術的決策。但是,這些技能將如何滲透到作戰陸軍,尚不清楚。
盡管人工智能在目標定位中的使用并不違反當前的戰爭法,但它確實引起了一些道德倫理問題。在所討論的目標定位系統背景下,這些倫理問題中最主要的是問責制差距和自動化偏見。第一個問題對于回答核心問題至關重要,“指揮官在什么基礎上可以信任人工智能系統,從而使指揮官可以對這些系統的使用負責?”自動化偏見和數據衛生與問責制差距有關,因為當這些問題存在時,它們會破壞指揮官可能希望實施的有意義的人類控制措施。指揮官可以通過以下方式縮小問責差距:首先,確保人員受到適當的教育、技能和培訓,以整理相關數據;其次,確保指揮官允許的風險,準確地反映完成任務與保護友軍士兵和非戰斗人員之間的平衡需求。指揮官還可以通過在機器需要更多監督時向參與該過程的人類發出信號來減少自動化偏見的機會及其潛在影響。
作為一個專業人員,不僅僅意味著要提供服務,還要在出問題時承擔責任。專業人員還必須了解各種利益相關者,包括公眾和政府及私營部門實體,如何與本行業互動和競爭。鑒于這些技術的潛力,軍事專業人員必須首先學會在技術及其應用的發展中管理預期。由于這種演變影響到專業工作的特點,軍事專業人員還必須注意專業以外的人如何重視、獎勵和支持這項工作。因此,隨著美軍繼續將人工智能和數據技術整合到各種行動中,對其專業性的考驗將在于擁有專業知識的能力,以及建立能夠繼續發展、維護和認證這種專業知識的機構,這些機構既能滿足美國人民的國防需求,又能反映他們的價值觀。
近幾十年來,國防系統的規劃已經演變成基于能力的規劃(CBP)過程。本文試圖回答兩個問題:首先,如何表達一個復雜的、真實世界的能力需求;其次,如何評估一個具有交互元素的系統是否滿足這一需求。我們建議用一套一致的模型以可追蹤的方式來表達能力需求和滿足該需求的解決方案。這些模型將目前的能力模型,具體到規劃級別和能力觀點,與系統思維方法相結合。我們的概念模型定義了環境中的防御系統,數據模型定義并組織了CBP術語,類圖定義了CBP規劃元素。通過給出一個能力參數化的例子來說明這個方法,并將其與DODAF能力觀點和通用CBP過程進行比較。我們的數據模型描述了能力在行動中是如何退化的,并將該方法擴展到能力動態。定量能力定義的目的是支持解決現實世界中相互作用的子系統,這些子系統共同實現所需的能力。
在本節中,能力被定義為執行任務的效果或功能并作為系統時,我們討論CBP;在1.2小節中進一步討論Anteroinen的分類中的第三和第五類。為了專注于軍事系統或軍事單位的結構定義和未來的數學建模,只考慮系統的物理組成部分,即人員和物資,以及他們與能力的關系。環境的影響--天氣條件、地形、周圍的基礎設施和其他軍事單位--被省略,以關注兩種力量之間的相互作用;盡管在實踐中,環境和其他更廣泛的系統問題顯然是相關的。通常情況下,CBP過程定義了環境的相關方面和軍事行動的類型,為能力需求定義、能力評估和解決方案選擇制定了可能的規劃情況集合。
一個軍事單位或一個組織由其人員和物資組成。經過組織和訓練的人員配備了適當的物資,代表、擁有或產生能力。當兩個軍事單位相互作戰時,他們會啟動自己的能力,以造成敵人的物資和人員的退化。為了定義能力需求并計劃如何作為軍事單位或系統來實施,需要解決的問題是:在與敵人的互動過程中,能力將如何演變,而敵人的能力卻鮮為人知?圖1說明了在敵人能力的作用下,自己的軍事作戰和維持能力的動態互動。我們的能力削弱了敵方的人員和物資,對敵方的能力產生了影響;而敵方的能力削弱了我們的人員和物資,對我們的能力產生了影響。外部資源,也就是供應和維持能力,維持著被削弱的人員和物資。如因果循環圖所示,敵方的能力可以與我方的能力對稱地表示。第3節的進一步建模集中在我們自己的能力上,由圖1中的虛線表示,以便更純粹地表示。
對我們自己的能力的定義說明,由人員和物資提供,表明了復雜的結構和與能力有關的功能和元素之間的相互作用。此外,真正的軍事單位,通常由較小的編隊組成,有幾種能力,由大量不同的物資和人員組成,并與環境互動。
架構被定義為 "一個系統在其環境中的基本概念或屬性,體現在其元素、關系以及設計和進化的原則中"。因此,架構描述是一種表達架構的工作產品。架構框架是在一些應用領域或社區應用架構描述的基礎。架構框架為網絡系統的復雜性管理提供了結構化的方法,使利益相關者之間能夠進行溝通,并支持未來和現有系統的系統分析和設計。企業架構的Zachman框架是這類通用框架的一個例子。DoDAF、MODAF和NAF是用于國防系統分析和定義的架構框架,特別是用于指揮、控制、通信、計算機、情報、監視和偵察系統(C4ISR)。這些架構框架由觀點組成,定義了代表特定系統關注點的一組架構視圖的規則。架構視圖由一個或多個模型組成。架構框架基礎的元模型定義了不同視點中元素之間的關系。DoDAF元模型DM2有一個概念數據模型圖(DIV-1),用來向管理者和執行者傳達架構描述的高層數據構造的概念。MODAF元模型詳細定義了每個架構視圖的數據模型。
利益相關者需要適當的支持,以促進他們彼此之間以及與規劃專家團體的溝通,從而從CBP方法中獲益。軍事專家的作用不是參與復雜的工具和方法,而是為規劃過程提供重要的領域專業知識。架構框架是一個很好的工具,可以定義當前的防御系統,確定能力需求,并描述系統解決方案。不幸的是,架構框架和相關元模型的精確但復雜的機制與復雜的符號并不一定能以明顯的方式解釋能力觀點和要素之間的關系。因此,架構觀點和典型的CBP流程并沒有明顯的聯系。因此,參與能力規劃的軍事專家和決策者很少能夠加深理解,或者在沒有專門掌握這些工具和方法的人員的情況下,通過應用架構框架確定解決方案。需要對能力進行更簡單的定義,與流程兼容。
圖2提出了一個高層次的數據模型,它代表了能力定義問題的抽象。數據模型描述了能力模型類型及其關系,作為能力和防御系統建模的框架。符號的選擇是為了保持信息量,但對更多的人來說是可讀的,因此它不遵循任何特定的方法,但與SODA的認知圖譜有一些共同點。
能力的現實世界實例在圖的左邊,而概念模型類型在右邊。該模型的第一個版本已經被Koivisto和Tuukkanen應用于一個基于研發的自下而上的過程和概念性的未來系統,即認知無線電。原始模型描述,系統模型定義了物資、戰斗力和功能能力。實際上,這是一種雙向的關系:在所需能力和所需資源的驅動下建立系統模型,然后用系統模型來預測特定環境和實例中的結果。
防御系統由系統、系統要素及其相互作用組成,其突發屬性由系統、系統要素和它們的相互作用界定。圖3中的模型代表了系統層次結構中的防御系統層次。防御系統可以被看作是SoS,但我們應用一般的系統術語來保持模型的可擴展性,并為防御系統層次結構的較低層次提供合適的術語。在國防系統層次結構的任何一級,系統代表一個由系統元素組成的軍事單位:人員和物資。
圖3 國防系統在其背景下的概念系統模型。防御系統,即利益系統(SOI),被環境和其他行為者的系統所包圍。這些系統包括相互作用的系統要素人員(P)和物資(M)。子系統和系統元素之間的聯系是示范性的。
除了系統元素和它們的組織之外,還要定義功能和相應的輸出,以獲得更全面的系統定義。我們將能力定義為執行任務的效果或功能,是一種功能能力。在CBP過程中,功能能力定義了一些當前或計劃中的軍事單位或由物資和人員組成的系統的能力潛力。最終,能力發展過程必須以現實世界的軍事單位來定義系統的實施。力量要素的概念定義了最終的系統結構,也就是要生產的現實世界的軍事單位的組織。在我們的數據模型中,功能能力被安排在SOI內部,以代表系統的涌現屬性。當這種潛力或涌現被計劃為引起某種效果時,系統,具體來說是其功能能力,在計劃過程中被分配到一個任務中。此外,當軍事單位執行任務時,效果就會產生。高層數據模型的作用,如圖4,是將關鍵的術語及其關系可視化。
圖 4 基于能力的規劃中術語及其關系的高級數據模型表示
圖5中的類圖將圖3所示的概念系統模型中確定的國防系統規劃要素與圖4中的能力模型類型結合起來。由于我們關注的是國防系統,國家權力和軍事力量的要素被認為是其環境的一部分,不在圖中。然而,我們建議,國家權力也可以通過效應來表示。
圖 5 基于能力的規劃元素的統一建模語言 (UML) 類圖表示
減少機器學習的時間成本可以縮短模型訓練的等待時間,加快模型更新周期。分布式機器學習使機器學習實踐者能夠將模型訓練和推理時間縮短幾個數量級。在本實用指南的幫助下,您將能夠將您的Python開發知識應用到分布式機器學習的實現中,包括多節點機器學習系統。首先,您將探索分布式系統如何在機器學習領域工作,以及分布式機器學習如何應用于最先進的深度學習模型。隨著學習的深入,您將看到如何使用分布式系統來增強機器學習模型訓練和服務速度。在優化本地集群或云環境中的并行模型訓練和服務管道之前,您還將掌握應用數據并行和模型并行方法。讀完這本書,您將獲得構建和部署高效數據處理管道所需的知識和技能,用于以分布式方式進行機器學習模型訓練和推理。
//www.packtpub.com/product/distributed-machine-learning-with-python/9781801815697
讀者
這本書是為數據科學家,機器學習工程師,和機器學習從業者在學術界和工業界。本文假設您基本了解機器學習概念和Python編程的工作知識。有使用TensorFlow或PyTorch實現機器學習/深度學習模型的經驗者優先。如果你對使用分布式系統來提高機器學習模型訓練和服務速度感興趣,你會發現這本書很有用。
內容目錄:
第1章,分割輸入數據,展示了如何將機器學習訓練或服務負載分配到輸入數據維上,稱為數據并行。第2章Parameter Server和All-Reduce描述了數據并行訓練過程中常用的兩種模型同步方案。第3章,構建數據并行訓練和服務管道,闡述了如何實現數據并行訓練和服務流程。第4章,瓶頸和解決方案,描述了如何使用一些高級技術來提高數據并行性能,例如更高效的通信協議,減少內存占用。第5章,模型分割,介紹了一般的模型并行方法。第6章,管道輸入和層拆分,展示了如何利用管道并行提高系統效率。第7章,實現模型并行培訓和服務流程,詳細討論了如何實現模型并行培訓和服務流程。第8章,實現更高的吞吐量和更低的延遲,涵蓋了在模型并行中減少計算和內存消耗的高級方案。第9章,數據和模型并行的混合,將數據和模型并行結合在一起作為一種高級的并行模型訓練/服務方案。第10章,聯邦學習和邊緣設備,討論了聯邦學習和邊緣設備如何參與這個過程。第11章,彈性模型訓練和服務,描述了一個更有效的方案,可以改變在飛行中使用的加速器的數量。第12章,進一步加速的高級技術,總結了幾個有用的工具,如性能調試工具,工作多路復用,和異構模型訓練。
人類具有不斷從經驗中學習的非凡能力。我們不僅可以把以前學到的知識和技能運用到新的情況下,我們也可以把這些作為以后學習的基礎。人工智能(AI)的宏偉目標之一是構建一個人工的“持續學習”代理,通過自主增量開發越來越復雜的知識和技能,從自身經驗構建對世界的復雜理解(Parisi, 2019年)。然而,盡管有早期的推測和很少的先前工作(Ring, 1998; Thrun, 1998; Carlson, 2010),很少有研究和努力致力于解決這一愿景。當前人工智能系統深受新數據或新環境的影響,這些新數據或新環境與他們所接受的訓練稍有不同(Goodfellow, 2013)。此外,學習過程通常被限制在限定和孤立的任務內的固定數據集,這可能很難導致出現更復雜和自主的智能行為。從本質上講,持續學習和適應能力,雖然經常被認為是每一個智能代理的基本支柱,但大多被排除在主要的人工智能研究重點之外。
在本教程中,我們提出根據機器學習研究和人工智能深度架構(Lomonaco, 2019)的最新進展總結這些想法的應用。從一個動機和一個簡短的歷史開始,我們將最近的持續學習進展與之前在相關主題上的研究努力聯系起來,并總結了主要方法、基準和關鍵結果方面的最新進展。在教程的第二部分,我們計劃涵蓋更多關于低監督信號的持續學習的探索性研究,以及與其他范式的關系,如無監督,半監督和強化學習。我們還將強調神經科學的最新發現對原始持續學習算法設計的影響,以及它們在現實應用中的部署。最后,我們將強調持續學習的概念,作為可持續機器學習的關鍵技術推動者及其社會影響,并概述有趣的研究問題和未來值得解決的方向。
隨著廣泛的應用,人工智能(AI)催生了一系列與人工智能相關的研究活動。其中一個領域就是可解釋的人工智能。它是值得信賴的人工智能系統的重要組成部分。本文概述了可解釋的人工智能方法,描述了事后人工智能系統(為先前構建的常規人工智能系統提供解釋)和事后人工智能系統(從一開始就配置為提供解釋)。解釋的形式多種多樣:基于特征的解釋、基于說明性訓練樣本的解釋、基于嵌入式表示的解釋、基于熱度圖的解釋。也有結合了神經網絡模型和圖模型的概率解釋。可解釋人工智能與許多人工智能研究前沿領域密切相關,如神經符號人工智能和機器教學
人工智能(AI)為改善私人和公共生活提供了很多機會,以自動化的方式在大型數據中發現模式和結構是數據科學的核心組件,目前驅動著計算生物學、法律和金融等不同領域的應用發展。然而,這種高度積極的影響也伴隨著重大的挑戰:我們如何理解這些系統所建議的決策,以便我們能夠信任它們?在這個報告中,我們特別關注數據驅動的方法——特別是機器學習(ML)和模式識別模型——以便調查和提取結果和文獻觀察。通過注意到ML模型越來越多地部署在廣泛的業務中,可以特別理解本報告的目的。然而,隨著方法的日益普及和復雜性,業務涉眾對模型的缺陷、特定數據的偏差等越來越關注。類似地,數據科學從業者通常不知道來自學術文獻的方法,或者可能很難理解不同方法之間的差異,所以最終使用行業標準,比如SHAP。在這里,我們進行了一項調查,以幫助行業從業者(以及更廣泛的數據科學家)更好地理解可解釋機器學習領域,并應用正確的工具。我們后面的章節將圍繞一位公認的數據科學家展開敘述,并討論她如何通過提出正確的問題來解釋模型。