2022年7月,喬治城大學的安全與新興技術中心(CSET)與斯坦福大學網絡政策中心的地緣政治、技術與治理項目共同召集了一次專家研討會,以研究人工智能系統中的漏洞與傳統軟件漏洞之間的關系。討論的主題包括AI漏洞在多大程度上可以在標準的網絡安全流程下處理,目前阻止準確分享AI漏洞信息的障礙,針對AI系統的對抗性攻擊相關的法律問題,以及政府支持可能改進AI漏洞管理和緩解的潛在領域。 參加研討會的人員包括網絡安全和AI紅隊角色的行業代表;有進行對抗性機器學習研究經驗的學者;網絡安全法規、AI責任和計算機相關刑事法的法律專家;以及有重大AI監督責任的政府代表。 這份報告的目的是兩個。首先,它提供了對AI漏洞的高級別討論,包括它們與其他類型的漏洞的不相似之處,以及關于AI漏洞的信息共享和法律監管的當前狀態。其次,它試圖表述研討會上大多數參與者支持的廣泛建議。這些建議按四個高級別主題分類,如下:
主題:擴展傳統網絡安全以應對AI漏洞
1.1. 建議:構建或部署AI模型的組織應使用一個風險管理框架,涵蓋AI系統生命周期中的安全性。1.2. 建議:對抗性機器學習研究者、網絡安全實踐者和AI組織應積極嘗試擴展現有的網絡安全流程以涵蓋AI漏洞。1.3. 建議:對抗性機器學習領域的研究者和實踐者應與處理AI偏見和魯棒性的人員,以及其他具有相關專業知識的社區進行協商。 1. 主題:改善信息共享和組織安全思維
2.1. 建議:部署AI系統的組織應尋求信息共享安排,以促進對威脅的理解。2.2. 建議:AI部署者應強調在產品生命周期的每個階段都將安全文化融入AI開發中。2.3. 建議:高風險AI系統的開發
2022年7月,喬治敦大學安全與新興技術中心(CSET)和斯坦福大學網絡政策中心的地緣政治、技術和治理項目召開了一次專家研討會,研究人工智能系統的漏洞與更傳統類型的軟件漏洞之間的關系。討論的主題包括:人工智能漏洞在多大程度上可以根據標準網絡安全程序進行處理,目前阻礙準確分享人工智能漏洞信息的障礙,與人工智能系統的對抗性攻擊有關的法律問題,以及政府支持可以改善人工智能漏洞管理和緩解的潛在領域。
參加研討會的人員包括擔任網絡安全和人工智能紅隊角色的行業代表;具有進行對抗性機器學習研究經驗的學者;網絡安全監管、人工智能責任和計算機相關刑法方面的法律專家;以及負有重要人工智能監督職責的政府代表。
本報告旨在完成兩件事。首先,它提供了一個關于人工智能漏洞的高層次討論,包括它們與其他類型的漏洞不相似的方式,以及關于人工智能漏洞的信息共享和法律監督的當前狀況。其次,它試圖闡明研討會上大多數與會者所認可的廣泛建議。這些建議分為四個高層次的主題,具體內容如下:
1.主題:為人工智能漏洞擴展傳統的網絡安全
1.1. 建議:構建或部署人工智能模型的組織應使用一個風險管理框架,解決整個人工智能系統生命周期的安全問題。
1.2. 建議:惡意機器學習研究人員、網絡安全從業人員和人工智能組織應積極嘗試擴展現有的網絡安全流程,以涵蓋人工智能漏洞。
1.3. 建議:對抗性機器學習領域的研究人員和從業人員應與處理人工智能偏見和穩健性的人員以及其他具有相關專業知識的社區進行磋商。
2.主題: 改善信息共享和組織安全心態
2.1. 建議:部署人工智能系統的組織應追求信息共享安排,以促進對威脅的理解。
2.2. 建議:人工智能部署者應強調建立一種安全文化,在產品生命周期的每個階段都嵌入人工智能開發中。
2.3. 建議:高風險人工智能系統的開發者和部署者必須將透明度放在首位。
3.主題:澄清人工智能漏洞的法律地位
3.1. 建議: 擁有網絡安全權力的美國政府機構應澄清基于人工智能的安全問題如何適應其監管結構。
3.2. 建議: 目前沒有必要修改反黑客法來專門解決攻擊人工智能系統的問題。
4.主題: 支持有效研究以提高人工智能安全
4.1. 建議: 攻擊性機器學習研究人員和網絡安全從業人員應尋求比過去更緊密的合作。
4.2. 建議: 促進人工智能研究的公共努力應更多地強調人工智能安全,包括通過資助可促進更安全的人工智能開發的開源工具。
4.3. 建議: 政府政策制定者應該超越標準的制定,提供測試平臺或促成審計以評估人工智能模型的安全性。
這份美國國家標準技術研究所的“NIST AI”報告旨在成為開發對抗性機器學習(AML)的分類學和術語的一個步驟,這反過來可能有助于確保人工智能(AI)的應用安全,防止AI系統受到對抗性操縱。人工智能系統的組成部分至少包括數據、模型、訓練、測試和部署機器學習(ML)模型的過程以及使用它們所需的基礎設施。除了大多數操作系統所面臨的經典安全和隱私威脅外,ML的數據驅動方法在ML操作的不同階段引入了額外的安全和隱私挑戰。這些安全和隱私挑戰包括對訓練數據進行惡意操縱的可能性,對模型漏洞進行惡意利用以對ML分類和回歸的性能產生不利影響,甚至惡意操縱、修改或僅僅與模型進行互動以滲出數據中代表的人或模型本身的敏感信息。這種攻擊已經在現實世界的條件下被證明,其復雜性和潛在的影響一直在穩步增加。AML關注的是研究攻擊者的能力和他們的目標,以及在ML生命周期的開發、培訓和部署階段利用ML的漏洞的攻擊方法的設計。AML還關注設計能夠抵御這些安全和隱私挑戰的ML算法。當攻擊是出于惡意的時候,ML的穩健性指的是旨在管理這種攻擊的后果的緩解措施。
本報告采用了NIST人工智能風險管理框架[170]中關于ML系統的安全性、復原力和穩健性的概念。安全性、復原力和穩健性是通過風險來衡量的,風險是衡量一個實體(如系統)受到潛在情況或事件(如攻擊)威脅的程度,以及一旦發生這種事件的結果的嚴重程度。然而,本報告并沒有對風險容忍度(組織或社會可接受的風險水平)提出建議,因為它是高度背景性的,并且是針對具體應用/案例的。這種一般的風險概念為評估和管理人工智能系統組件的安全性、復原力和穩健性提供了一種有用的方法。對這些可能性的量化超出了本文的范圍。相應地,AML的分類法是針對AML風險評估的以下四個方面來定義的:(i)學習方法和發動攻擊時的ML生命周期過程的階段,(ii)攻擊者的目標和目的,(iii)攻擊者的能力,(iv)和攻擊者對學習過程及其他的知識。
針對ML的有效攻擊范圍很廣,發展迅速,涵蓋了ML生命周期的所有階段--從設計和實施到培訓、測試,最后到在現實世界的部署。這些攻擊的性質和力量是不同的,不僅可以利用ML模型的漏洞,還可以利用部署AI系統的基礎設施的弱點。盡管人工智能系統組件也可能受到各種非故意因素的不利影響,如設計和實施缺陷以及數據或算法偏差,但這些因素不是故意攻擊。即使這些因素可能被對手利用,但它們不屬于對抗性機器學習文獻或本報告的范圍。
本文件定義了攻擊的分類法,并介紹了對抗性機器學習領域的術語。該分類法建立在對對抗性機器學習文獻的調查基礎上,并按概念層次排列,包括關鍵類型的ML方法和攻擊的生命周期階段,攻擊者的目標和目的,以及攻擊者的能力和學習過程的知識。報告還提供了相應的緩解和管理攻擊后果的方法,并指出了在人工智能系統的生命周期中需要考慮的相關公開挑戰。報告中使用的術語與對抗性機器學習方面的文獻一致,并輔以詞匯表,定義了與人工智能系統安全相關的關鍵術語,以幫助非專業的讀者。綜上所述,分類法和術語旨在為評估和管理人工智能系統安全的其他標準和未來實踐指南提供參考,為快速發展的對抗性機器學習領域建立共同語言和理解。與分類法一樣,術語和定義并不打算詳盡無遺,而是為了幫助理解對抗性機器學習文獻中出現的關鍵概念。
本文件的主要讀者包括負責設計、開發、部署、評估和管理AI系統的個人和團體。
關鍵詞:人工智能;機器學習;攻擊分類法;規避;數據中毒;隱私泄露;攻擊緩解;數據模式;木馬攻擊,后門攻擊;聊天機器人。
圖1:對人工智能系統的攻擊分類。
過去的十年見證了人工智能和機器學習(AI/ML)技術的廣泛采用。
然而,由于缺乏對其廣泛實施的監督,導致了有害的結果,而這些結果本可以通過適當的監督避免。在我們認識到AI/ML的真正好處之前,從業者必須了解如何減輕其風險。本書描述了負責任的人工智能,這是一種基于風險管理、網絡安全、數據隱私和應用社會科學的最佳實踐,用于改進AI/ML技術、業務流程和文化能力的整體方法。這是一項雄心勃勃的事業,需要各種各樣的人才、經驗和視角。需要招募數據科學家和非技術監督人員,并授權他們審計和評估高影響力的AI/ML系統。作者Patrick Hall為新一代審計師和評估人員創建了本指南,他們希望讓AI系統更好地為組織、消費者和廣大公眾服務。
如今,機器學習(ML)是人工智能(AI)中最具商業可行性的子學科。ML系統被用于在就業、保釋、假釋、貸款和世界各地的許多其他應用中做出高風險決策。在企業環境中,ML系統用于組織的所有部分——從面向消費者的產品到員工評估、后臺辦公自動化等等。事實上,過去十年帶來了ML技術的廣泛采用。但它也證明了ML會給運營商和消費者帶來風險。不幸的是,就像幾乎所有其他技術一樣,ML可能會失敗——無論是由于無意的誤用還是故意的濫用。截至目前,人工智能事件數據庫伙伴關系擁有超過1000份關于算法歧視、數據隱私侵犯、訓練數據安全漏洞和其他有害故障的公開報告。在組織和公眾能夠意識到這項令人興奮的技術的真正好處之前,必須減輕這些風險。直到今天,這仍然需要人們的行動——不僅僅是技術人員。解決復雜的ML技術帶來的各種風險需要不同的人才、經驗和觀點。這種整合了技術實踐、業務流程和文化能力的整體風險緩解方法,正被稱為負責任的人工智能。
讀完本書,讀者將了解負責任人工智能的文化能力、業務流程和技術實踐。本書分為三個部分,呼應負責任人工智能的每個主要方面。本書的每一部分都進一步分成幾章,討論特定的主題和案例。雖然本書仍在規劃和編寫中,但《面向高風險應用的機器學習》將以介紹這個主題開始,然后進入第1部分。下面是本書的初步提綱。
第1部分:人類的觸覺——負責任的機器學習的文化能力
第一部分針對的是組織文化在更廣泛的負責任人工智能實踐中的重要性。第一部分第一章的計劃涉及呼吁停止快速前進和破壞事物,重點是眾所周知的AI系統故障以及相關的詞匯和案例。第2章將分析消費者保護法、風險管理模型,以及其他指導方針、教訓和案例,這些對人工智能組織和系統中培養問責制很重要。第3章將探討團隊、組織結構和人工智能評估器的概念。第4章將討論人類與AI系統進行有意義交互的重要性,第5章將詳細介紹傳統組織約束之外的重要工作方式,如抗議、數據新聞和白帽黑客。
第2部分:為成功做準備——負責任的機器學習的組織過程關注點
第二部分將介紹負責任的人工智能過程。它將從第6章開始,探索組織策略和過程如何影響人工智能系統的公平性,以及令人吃驚的公平性缺失。第7章將概述人工智能系統的常見隱私和安全政策。第8章將考慮管理在美國部署人工智能的現有和未來法律和法規。第9章將強調AI系統的模型風險管理的重要性,但也指出了一些缺點。最后,第10章的藍圖是討論在未來負責任的人工智能采用的背景下,企業如何聽取過去對社會和環境責任的呼吁。
第三部分: 增強人類信任和理解的技術方法
第三部分的議程涵蓋了負責任人工智能的新興技術生態系統。第11章將介紹實驗設計的重要科學,以及當代數據科學家如何在很大程度上忽視了它。第12章將總結提高人工智能透明度的兩種主要技術:可解釋的機器學習模型和事后可解釋的人工智能(XAI)。第13章計劃深入探討機器學習模型的偏差測試和補救的世界,并應該解決傳統的和緊急的方法。第14章將介紹ML算法和AI系統的安全性,第15章將結束第3部分,廣泛討論AI系統的安全性和性能測試,有時也稱為模型調試。
近年來,人工智能(AI)在醫學和醫療領域的應用因其巨大的潛力而備受贊譽,但也一直處于激烈爭議的中心。這項研究概述了人工智能如何有益于未來的醫療保健,特別是提高臨床醫生的效率,改善醫療診斷和治療,以及優化人力和技術資源的配置。該報告確定并澄清了人工智能在醫療保健領域造成的主要臨床、社會和倫理風險,更具體地說: 潛在錯誤和患者傷害;存在偏見和衛生不平等加劇的風險;缺乏透明度和信任;易受黑客攻擊和數據隱私泄露的影響。該研究提出了緩解措施和政策選項,以最大限度地降低這些風險,并使醫療人工智能的利益最大化,包括通過人工智能生產生命周期的多方參與,提高透明度和可追溯性,對人工智能工具進行深入的臨床驗證,以及對臨床醫生和公民進行人工智能培訓和教育。
目標
近年來,人們對人工智能(AI)在醫學和醫療保健領域的應用的興趣和關注迅速增長,成為跨學科科學研究、政治辯論和社會行動主義的中心。本報告的目標是解釋人工智能可以在醫療和保健領域做出貢獻的領域,查明在這個高風險和快速變化的領域中應用人工智能的最重大風險,并提出應對這些風險的政策選項,以優化生物醫學人工智能的使用。這不僅能確保接受人工智能醫療的患者的安全和尊重,還能幫助參與實施人工智能醫療的臨床醫生和開發人員。
方法
本研究采用跨學科方法,基于對現有科學論文、白皮書、近期指南和法規、治理建議、人工智能研究和在線出版物的全面(但非系統性)文獻綜述和分析。本報告涉及的多學科資源包括計算機科學、生物醫學研究、社會科學、生物醫學倫理、法律、工業和政府報告等領域的著作。本報告探討了廣泛的技術障礙和解決方案、臨床研究和結果,以及政府建議和共識指南。
人工智能在醫學和醫療保健中的具體應用
這項研究首先概述了人工智能在醫學領域解決緊迫問題的潛力,特別是人口老齡化和慢性疾病的增加、衛生人員缺乏、衛生系統效率低下、缺乏可持續性和衛生不平等。報告還詳細介紹了生物醫學AI可能做出最重要貢獻的不同領域: 1) 臨床實踐,2)生物醫學研究,3)公共衛生,4)衛生管理。在臨床實踐領域,該報告進一步詳細介紹了具體貢獻-實現和潛在的-特定醫療領域,如放射學,心臟病學,數字病理學,急救醫學,外科手術,醫療風險和疾病預測,適應性干預家庭護理和心理健康。在生物醫學研究方面,該報告詳細介紹了人工智能對臨床研究、藥物發現、臨床試驗和個性化醫療的潛在貢獻。最后,報告介紹了人工智能在公共衛生一級以及對全球衛生的潛在貢獻。
隨著人類行為和交互繼續受到越來越普遍的技術的影響,必須不斷調整自己的能力來處理和防止惡意行為者利用不斷變化的技術環境。如果我們要釋放數字經濟的真正潛力,就必須在社會和經濟的所有領域優先考慮網絡安全。網絡安全不是一項單獨的技術,而是一套跨越第四次工業革命的技術、人員和流程的基礎系統。
在 COVID-19 大流行期間加速轉向遠程工作,再加上最近備受矚目的網絡攻擊,導致組織和國家的關鍵決策者將網絡安全放在首位。盡管人們越來越意識到網絡風險,但決策者和網絡專家在優先考慮網絡安全、將網絡風險納入業務戰略以及將網絡領導者納入業務流程方面往往意見不一。仍然需要做很多工作才能就如何加強網絡彈性達成共識。
建立網絡彈性是世界經濟論壇網絡安全中心的核心焦點。我們彌合網絡安全專家和最高級別決策者之間的差距,以加強網絡安全作為關鍵戰略優先事項的重要性。
2021 年,該中心聘請了 120 多名全球網絡領導者,就新興網絡威脅提出高層次見解。掌握網絡安全狀況的全球脈搏對于明確識別新出現的風險并制定可行的解決方案來解決這些風險至關重要。本報告的目的是深入分析安全領導者正在應對的挑戰、他們為領先于網絡犯罪分子而采取的方法以及他們在更廣泛的生態系統中正在實施的措施以增強其組織內部。
網絡空間超越國界。因此,我們需要動員全球應對以應對系統性網絡安全挑戰。我們希望本報告中的見解將有助于促進建立網絡彈性生態系統的協作方法。
全球網絡安全展望將是一份年度報告,重點介紹隨著開始從網絡防御姿態轉向更強的網絡彈性地位的趨勢和進展。隨著我們的網絡生態系統的擴展和整合,確保所有相關組織能夠快速預測、恢復和適應網絡事件變得越來越重要。以安全為中心的領導者必須能夠有效、清晰地向業務領導者傳達他們的風險和緩解策略。
我們在世界經濟論壇網絡安全領導力社區和埃森哲網絡安全論壇對來自 20 個國家的 120 位全球網絡領導者進行了調查,以從全球角度了解如何看待和實施網絡彈性,以及他們如何更好地保護我們的生態系統。要建立一個有足夠彈性的生態系統,能夠在當今環境中承受而不是動搖,需要一種統一的方法。
正如我們的調查和研討會所確定的,領導支持對于在組織內采用網絡彈性至關重要。同樣重要的是,確保網絡安全和業務領導者之間沒有溝通障礙或協調差距。鑒于在機器學習和自動化進步的推動下,技術不斷變化和快速發展,再加上網絡犯罪分子可獲得的能力越來越強且負擔得起的黑客資源,領導者必須在其網絡彈性計劃中團結一致并保持同步。
通過與世界經濟論壇網絡安全中心合作,我們的目標是提供見解和解決方案,以建立更強大的生態系統,使組織可以從中受益、學習并充滿信心地進入這個高度互聯和數字化的未來。
在撰寫本文時,數字趨勢及其因 COVID-19 大流行而呈指數級增長,已將全球人口推向數字化和互聯互通的新軌道。我們數字化帶來的最嚴重和最令人不安的新后果之一是網絡事件的發生越來越頻繁、代價高昂且具有破壞性,有時甚至會導致關鍵服務和基礎設施癱瘓。這種趨勢沒有放緩的跡象,特別是隨著復雜的工具和方法以相對較低(或在某些情況下沒有)成本更廣泛地提供給威脅參與者。
數字化程度不斷提高的跡象無處不在。國際電信聯盟最近報告稱,由于遠程辦公、遠程學習、遠程娛樂和遠程醫療的直接結果,各大洲的固定寬帶接入顯著增加。大多數技術先進的國家優先考慮擴展數字消費工具,促進數字創業和投資在大學、企業和數字當局的創新方面,而新興經濟體優先考慮增加移動互聯網接入、培訓數字人才以及對研發和數字企業進行投資。這就引出了一個問題:如果小國和實力較弱的國家無法保護其數字連接的基礎設施,它們將如何保護自己和自然資源?網絡安全貧困線問題在不斷增長的連接性浪潮中變得更加緊迫。
考慮到這些持續存在的網絡挑戰,世界經濟論壇網絡安全中心聘請了網絡安全領導社區,該社區由代表 20 個國家的私營和公共部門的 120 名網絡領導者組成。網絡安全中心的工作重點是通過網絡展望調查和網絡展望系列(見附錄)收集數據并對其進行分析,以了解網絡領導者的看法,以及網絡安全和網絡彈性的軌跡。
分析結果揭示了有關網絡狀態的寶貴見解以及對當前網絡彈性路徑的看法。
1.雖然許多因素推動網絡安全政策向前發展,但我們通過調查發現,81% 的受訪者認為數字化轉型是提高網絡彈性的主要驅動力。由于 COVID-19 大流行和我們工作習慣的轉變,數字化步伐加快,正在推動網絡彈性向前發展。多達 87% 的高管正計劃通過加強有關如何參與和管理第三方的彈性政策、流程和標準來提高其組織的網絡彈性。
2.我們的研究揭示了以安全為中心的高管(首席信息安全官)和業務高管(首席執行官)之間的三個主要和關鍵的認知差距。差距在三個方面最為明顯:
2.1 在業務決策中優先考慮網絡;雖然 92% 的受訪企業高管同意將網絡彈性整合到企業風險管理戰略中,但只有 55% 的受訪企業高管同意這一說法。
2.2 獲得領導層對網絡安全的支持; 84% 的受訪者表示,在領導層的支持和指導下,網絡彈性在其組織中被視為業務優先事項,但少得多的比例 (68%) 將網絡彈性視為其整體風險管理的主要部分。由于這種錯位,許多安全領導者仍然表示在業務決策中沒有征求他們的意見,這導致了不太安全的決策和安全問題。由于不協調的安全優先級和政策直接導致領導者之間的這種差距可能使公司容易受到攻擊。
2.3 招聘和留住網絡安全人才;我們的調查發現,由于團隊中缺乏技能,59% 的受訪者認為應對網絡安全事件具有挑戰性。雖然大多數受訪者將人才招聘和留住視為最具挑戰性的方面,但與以安全為中心的高管相比,業務主管似乎不太清楚這些差距,后者認為他們有足夠的人員應對攻擊的能力是他們的主要弱點之一。
3.勒索軟件的威脅持續增長。多達 80% 的網絡領導者強調,勒索軟件是對公共安全的危險且不斷演變的威脅。該調查證實,勒索軟件攻擊是網絡領導者最關心的問題,50% 的受訪者表示,勒索軟件是他們在網絡威脅方面最擔心的問題之一。勒索軟件攻擊的頻率和復雜程度都在增加,而這種永遠存在的威脅讓網絡領導者夜不能寐。勒索軟件攻擊緊隨其后,社會工程攻擊是網絡領導者關注的第二大問題;此列表中的第三位是惡意內部活動。惡意內部人員被定義為組織的現任或前任員工、承包商或受信任的業務合作伙伴,他們以對組織產生負面影響的方式濫用其對關鍵資產的授權訪問。
4.中小企業 (SME) 被視為對供應鏈、合作伙伴網絡和生態系統的主要威脅。在我們的研究中,88% 的受訪者表示他們擔心中小企業在其生態系統中的網絡彈性。
5.網絡領導者表示需要明確和富有成效的法規,以允許和鼓勵信息共享和協作。伙伴關系的價值已得到證實;超過 90% 的受訪者表示從外部信息共享小組和/或合作伙伴那里獲得了可行的見解。
本報告使用近年來的回顧性分析來分享網絡領導者的知識和擔憂,其目標是:幫助決策者為下一代網絡攻擊做好準備。
圖:2022年全球網絡安全展望:要點
使用軟件會暴露容易受到攻擊并造成嚴重后果的漏洞。雖然存在許多不同的漏洞,但其后果分為少數幾類。本文解釋了攻擊機器學習 (ML) 漏洞的后果如何歸入這些相同類別。然后將這些后果與特定于 ML 的攻擊、它們發生的上下文以及已建立的緩解它們的方法保持一致。這些防御性對策可以支持系統 ML 元素的安全性,并更大程度地保證使用 ML 的系統將按計劃運行。
本文提供了一種系統方法來解決使用 ML 的系統的攻擊、后果和緩解措施。它解釋了 ML 技術生命周期中的每一個問題,清楚地解釋了要擔心什么、何時擔心以及如何減輕它,同時假設對 ML 細節了解很少。
描述了軟件系統通常面臨的損害類型,并將它們與采用機器學習的系統所特有的公認后果類別聯系起來。然后,我們解釋導致這些后果的攻擊向量。然后,我們在最廣泛的類別中描述 ML 本身,包括從開始到部署和執行的生命周期。然后,我們確定生命周期中存在哪些漏洞,這些漏洞允許威脅對系統發起針對 ML 的攻擊。然后,我們通過不同的示例對 ML 漏洞、攻擊和緩解措施進行更深入的檢查。
了解 ML 系統的生命周期(其中漏洞存在于生命周期中)以及攻擊利用這些漏洞可能造成的損害,可以對采用 ML 所產生的風險進行明智的評估。我們對 ML 漏洞、攻擊和緩解措施的討論利用了 NISTIR 8269 文件中中開發的分類法。主要出發點在于將這些概念映射到我們在第 6 節中闡述的 ML 生命周期以及我們對 ML 安全性的系統方法的討論。
機器學習模型和數據驅動系統正越來越多地用于幫助在金融服務、醫療保健、教育和人力資源等領域做出決策。機器學習應用程序提供了諸如提高準確性、提高生產率和節約成本等好處。這一趨勢是多種因素共同作用的結果,最顯著的是無處不在的連通性、使用云計算收集、聚合和處理大量細粒度數據的能力,以及對能夠分析這些數據的日益復雜的機器學習模型的更好訪問。
開發負責任的人工智能解決方案是一個過程,涉及在人工智能生命周期的所有階段與關鍵利益相關者(包括產品、政策、法律、工程和人工智能/ML團隊,以及最終用戶和社區)進行輸入和討論。在本文中,我們主要關注ML生命周期中用于偏見和可解釋性的技術工具。我們還提供了一個簡短的章節,介紹了AI公平性和可解釋性的限制和最佳實踐。
//pages.awscloud.com/rs/112-TZM-766/images/Amazon.AI.Fairness.and.Explainability.Whitepaper.pdf
基于協同過濾(CF)的潛在因素模型(LFM),如矩陣分解(MF)和深度CF方法,由于其良好的性能和推薦精度,在現代推薦系統(RS)中得到了廣泛的應用。盡管近年來取得了巨大的成功,但事實表明,這些方法易受對抗性例子的影響,即,這是一種微妙但非隨機的擾動,旨在迫使推薦模型產生錯誤的輸出。這種行為的主要原因是,用于LFM訓練的用戶交互數據可能會受到惡意活動或用戶誤操作的污染,從而導致不可預測的自然噪聲和危害推薦結果。另一方面,研究表明,這些最初設想用于攻擊機器學習應用程序的系統可以成功地用于增強它們對攻擊的魯棒性,以及訓練更精確的推薦引擎。在這方面,本調查的目標有兩方面:(i)介紹關于AML-RS的最新進展,以保障AML-RS的安全性。(ii)展示了AML在生成對抗網絡(GANs)中的另一個成功應用,生成對抗網絡(GANs)使用了AML學習的核心概念(即用于生成應用程序。在這項綜述中,我們提供了一個詳盡的文獻回顧60篇文章發表在主要的RS和ML雜志和會議。這篇綜述為RS社區提供了參考,研究RS和推薦模型的安全性,利用生成模型來提高它們的質量。