機器學習已經被應用于越來越多影響我們日常生活的社交相關場景,從社交媒體和電子商務到自動駕駛汽車和刑事司法。因此,開發可信、可靠的機器學習方法至關重要,以避免對個人和社會產生負面影響。本文致力于理解和提升圖機器學習的可信性,由于圖數據的復雜關系結構,這提出了獨特的挑戰。
特別地,我們認為機器學習模型的可信性在異常情況下是可靠的。例如,機器學習模型在對抗攻擊下或在子種群上的性能不應嚴重退化,分別對應對抗魯棒性或公平性問題。值得信任的圖機器學習的獨特挑戰是,在圖數據的上下文中有許多更復雜的,有時是隱式的異常條件。本文識別了未充分挖掘的異常情況,理解了識別出的異常情況下的預期模型行為,并改進了現有模型在此類異常情況下的行為。
重點關注圖神經網絡(GNN),這是一類流行的圖機器學習模型,利用了深度學習的最新進展。**本文確定了圖神經網絡的三種異常情況。**首先,受社交網絡應用場景啟發,通過一個新的實際威脅模型研究了GNN的對抗魯棒性,并研究了GNN何時以及為什么會遭受對抗攻擊。發現現有的GNN對許多現實世界的圖數據可能會被錯誤指定,并開發了一個新的框架來改進現有的模型。發現了一種與節點結構位置相關的測試節點子種群之間的GNN預測的不公平性。本文還提出了一種主動學習框架來緩解不公平問題。
人工智能(AI),特別是機器學習(ML),已經作為一種通用技術融入人類社會1,有望在許多方面重塑我們的日常生活,從社交媒體和電子商務,到自動駕駛汽車和刑事司法。然而,盡管AI和ML帶來了巨大的經驗成功和商業價值,但要更廣泛地部署這些技術,需要更好地理解ML模型對社會的影響。因此,可信的ML成為了一個越來越受歡迎的研究方向。Trustworthy ML是一個概括性的概念,包括關于ML可靠性和透明度的各種主題,如公平性、魯棒性、可解釋性等。
例如,機器學習模型可能在特定子種群上的系統表現較差,這導致了公平性問題。因此,對機器學習公平性的研究興趣迅速增加。也有現實世界的ML應用程序證明了偏見和不公平:亞馬遜的人工智能招聘工具被發現具有性別偏見[37];一種曾經廣泛使用的犯罪預測工具,矯正罪犯管理分析替代制裁(COMPAS),被發現具有種族偏見[4]。另一個例子是,ML模型已被證明對添加到數據中的小的對抗性擾動很敏感,因此容易受到對抗性攻擊[136]。例如,最先進的計算機視覺模型可能通過停車標志[45]上看似隨機的涂鴉,將停車標志識別為限速標志。
由于相關主題的多樣性和我們對可信機器學習的科學理解的文獻歷史,社區自然發展出了一套相對被廣泛接受的可信性問題的概念類別,包括但不限于公平性、魯棒性、安全性、隱私、可問責性、可解釋性和因果性。雖然這種概念分類,像任何分類系統一樣,有助于簡化對該領域的理解,但有時也會產生誤導。
首先,這種分類可以使可信機器學習的不同問題被視為孤立的主題。然而,這些不同的可信性問題可能相互沖突或相關。例如,在某些隱私和公平概念之間存在固有的沖突[32,24]。另一方面,公平性也可以與域外泛化相關[99]。此外,可解釋的ML[41]和因果推理[113]可以成為一些公平性或魯棒性問題的候選解決方案。一個扁平的概念類別分類方法無法捕捉不同主題之間豐富的相互關系。
其次,這種分類傾向于為每個主題尋找過度通用的解決方案,這可能不是解決可信機器學習問題的最佳方法。由于主題的概念性質,通常有各種直觀合理的方法來將可信性概念(例如,公平性或魯棒性)形式化為定量概念,而同時實現所有概念的可信性是不現實的。例如,Kleinberg等人[78]證明,通常不可能有一種算法同時滿足三個常見的公平標準。因此,沒有一個通用的解決方案是所有應用的萬能藥。此外,不同的可信性問題的重要性和恰當表述是高度特定于應用程序的。就可信性不同方面的重要性而言,例如,自動駕駛汽車可能會遭受對抗性攻擊,因為它在野生[45]中接受數據輸入;相比之下,對電子健康記錄(EHR)數據進行對抗性攻擊實際上要困難得多,因為這些數據由授權的醫療專家生成,并且在封閉的系統中循環。另一方面,EHR數據的隱私標準遠高于駕駛數據。在可信性的正確制定方面,研究表明,制定的選擇應該利用利益相關者在具體應用[28]中的感知。總的來說,應該將可信性作為位于特定類型的應用程序場景中的ML技術的屬性來研究,而不是作為通用ML技術的屬性。
許多現有的可信性概念可以按照這個程序重新制定。例如,機器學習模型的不公平性問題往往是由于它們在特定少數子種群上的性能下降,而與它們在多數子種群上的性能相比。機器學習的對抗漏洞是指與在干凈數據上的性能相比,它們在對抗攻擊下的性能下降。另一方面,其他一些可信性概念,如可解釋性或因果關系,不能通過上述過程直接表述。在某種程度上,不公平或不魯棒的模型將產生直接后果,而可解釋性或因果關系可以被視為緩解問題的候選解決方案(例如,不公平或不魯棒)。上述過程關注的是作為問題而不是解決方案的可信性概念。這個過程還強調應用場景的可信性問題。
為約束特定應用場景下的可信范圍,本文對圖機器學習(GML)的可信性進行了研究。現實世界的數據中存在大量的關系結構,通常以圖的形式表示。例如,社交媒體上的用戶或物聯網系統中的傳感器通過圖結構進行連接。如果在預測任務中使用得當,這種關系圖結構可以提供顯著的預測能力。GML是一個流行的機器學習技術家族,它將圖結構用于預測模型。近年來,GML在許多影響人們日常生活的應用中表現出了優異的性能。舉個常見的例子,GML在Uber Eats[65]、亞馬遜[162]和Pinterest[157]的工業推薦系統中發揮著重要作用;GML還被廣泛用于在谷歌Map[38]中的ETA預測或房地產價格估計等任務中對地理數據進行建模[114]。此外,由于關系結構的普遍性,GML方法已經應用于或準備應用于高利害攸關的決策問題,如社會正義。例如犯罪預測和數據驅動的起訴[68,156],警察不當行為預測[22],假釋決定的風險評估[132],公共安全監視[95],以及許多其他社會公正和安全問題[111]。
鑒于GML的眾多社會相關應用場景,這類ML系統的可信性問題變得至關重要。此外,與傳統的ML相比,由于GML復雜的關系結構,在理解和改進GML的可信性問題方面存在獨特的挑戰。特別是,在GML的上下文中,有許多更復雜,有時甚至是隱式的異常條件。以對抗性攻擊為例,在傳統的機器學習設置中,攻擊者大多通過向輸入特征添加對抗性擾動來進行攻擊。對于GML,在實際應用中存在著更復雜的威脅:攻擊者不僅可以擾動GML節點屬性,還可以擾動圖結構;攻擊者還可以通過擾動鄰居節點來間接影響節點的預測結果。在子種群之間的機器學習公平性方面,大多數傳統文獻研究的是有關某些敏感屬性的子種群,如性別或種族。在圖數據中,人們可以根據圖結構來調查子群體,例如節點中心性[12,13]或社區結構[51,47]。社會科學理論認為,社會網絡中人們的結構特征往往與其社會經濟地位相關[53,16]。圖數據中獨特的對抗性威脅和基于結構的子群呈現出在傳統ML文獻中沒有充分探索的例外情況,使可信的GML更具挑戰性。
本文旨在解決這些對理解和提高GML可信性的獨特挑戰。具體而言,本文旨在回答以下3類研究問題,并在3種應用場景下展示研究方法。
在過去的十年中,我們目睹了人們對機器學習(ML)的興趣急劇上升。深度神經網絡已經在從圖像分類到游戲玩的各種任務上實現或超過了人類水平。在這些應用中,我們通常觀察到模型的輸入具有某種形式的規則結構:例如,圖像是一個2D網格。最近,人們有興趣將ML革命的成功擴展到沒有統一結構的數據,如圖。圖由一組節點和一組定義節點之間關系的邊組成,為建模提供了極大的靈活性。這些模型應用于從代碼分析到推薦系統再到藥物發現的各種問題,實現了最先進的性能并為ML打開了新的應用。
由于圖神經網絡(gnn)已被證明的潛力和可能應用的巨大空間,當我們打算將這些模型部署到研究背景之外時,自然會將注意力轉向出現的實際問題。一個主要的問題是效率:我們如何設計消耗更少資源(如時間和內存)的GNN,以將我們的訓練擴展到更大的模型和數據集,并將我們的模型部署到更資源受限的設備?此外,一旦我們將這些模型發布到野外,我們如何確保它們能夠抵御來自潛在對手的攻擊?這些是激勵本文工作的問題:哪些新技術是必要的,以解決這些效率和安全問題? 本文中反復出現的一個主題是,正則結構的丟失給GNNs帶來了幾個獨特的挑戰:適用于其他常見神經網絡架構的技術不一定適用于GNNs。本文首先嚴格評估了在其他神經網絡架構中流行的兩種軟硬件協同設計技術:量化,在推理時使用低精度的算法,以及剪枝,從網絡中刪除權重。研究了高效的架構設計,首先是通用gnn的架構設計,其次是專門為處理點云數據而設計的模型。最后,本文描述了與這些模型相關的一種新型安全漏洞,并討論了可能的緩解措施。
機器學習的現實應用通常具有復雜的目標和安全關鍵約束。當代的機器學習系統擅長于在具有簡單程序指定目標的任務中實現高平均性能,但它們在許多要求更高的現實世界任務中很困難。本文致力于開發可信的機器學習系統,理解人類的價值觀并可靠地優化它們。
機器學習的關鍵觀點是,學習一個算法通常比直接寫下來更容易,然而許多機器學習系統仍然有一個硬編碼的、程序指定的目標。獎勵學習領域將這種見解應用于學習目標本身。由于獎勵函數和目標之間存在多對一的映射,我們首先引入由指定相同目標的獎勵函數組成的等價類的概念。
在論文的第一部分,我們將等價類的概念應用于三種不同的情形。首先,我們研究了獎勵函數的可識別性:哪些獎勵函數集與數據兼容?我們首先對誘導相同數據的獎勵函數的等價類進行分類。通過與上述最優策略等價類進行比較,我們可以確定給定數據源是否提供了足夠的信息來恢復最優策略。
其次,我們解決了兩個獎勵函數等價類是相似還是不同的基本問題。我們在這些等價類上引入了一個距離度量,即等價策略不變比較(EPIC),并表明即使在不同的過渡動態下,低EPIC距離的獎勵也會誘導具有相似回報的策略。最后,我們介紹了獎勵函數等價類的可解釋性方法。該方法從等價類中選擇最容易理解的代表函數,然后將代表函數可視化。
在論文的第二部分,我們研究了模型的對抗魯棒性問題。本文首先介紹了一個物理上現實的威脅模型,包括在多智能體環境中行動的對抗性策略,以創建對防御者具有對抗性的自然觀察。用深度強化學習訓練對手,對抗一個凍結的最先進的防御者,該防御者通過自訓練,以對對手強大。這種攻擊可以可靠地戰勝最先進的模擬機器人RL智能體和超人圍棋程序。
最后,研究了提高智能體魯棒性的方法。對抗性訓練是無效的,而基于群體的訓練作為一種部分防御提供了希望:它不能阻止攻擊,但確實增加了攻擊者的計算負擔。使用顯式規劃也有幫助,因為我們發現具有大量搜索的防御者更難利用。
。
機器學習的對抗性魯棒性綜述了該課題的最新進展,介紹了對抗性攻擊、防御和驗證的常用算法。章節涵蓋了對抗性攻擊、驗證和防御,主要關注圖像分類應用程序,這是對抗性魯棒性社區考慮的標準基準。其他部分討論了圖像分類以外的對抗例子,測試時間攻擊以外的其他威脅模型,以及對抗魯棒性的應用。對于研究人員,本書提供了一個全面的文獻綜述,總結了該領域的最新進展,可以作為一個很好的參考,進行未來的研究。此外,本書還可以作為研究生課程的教材,講授對抗魯棒性或可信賴機器學習。雖然機器學習(ML)算法在許多應用中取得了顯著的性能,但最近的研究表明,它們對對抗性擾動缺乏魯棒性。魯棒性的缺乏給實際應用(如自動駕駛汽車、機器人控制和醫療保健系統)的ML模型帶來了安全問題。
//www.elsevier.com/books/adversarial-robustness-for-machine-learning/chen/978-0-12-824020-5
隨著機器學習理論和算法的最新進展,高容量和可擴展模型的設計,如神經網絡、豐富的數據集和充足的計算資源,機器學習(ML),或更廣泛地說,人工智能(AI),已經以前所未有的速度改變了我們的行業和社會。當我們期待著機器學習技術帶來的積極影響時,我們往往會忽視潛在的負面影響,這可能會帶來相當大的道德擔憂,甚至由于法律法規和災難性的失敗而帶來挫折,特別是對于關鍵任務和高風險的決策任務。因此,除了準確性,值得信賴的機器學習是基于機器學習的技術實現和發展的最后一個里程碑。值得信賴的機器學習包含了一系列基本主題,如對抗魯棒性、公平性、可解釋性、問責性和倫理。
這本書的重點是實現對機器學習算法、模型和系統的評估、改進和利用對抗魯棒性的努力,以實現更好、更值得信任的版本。利用不受信任的機器學習作為漏洞,為有意的一方創造無人看管的入口,操縱機器預測,同時避開人類的注意,以獲得自己的利益。無論一個人在ML中的角色是什么,作為模型開發人員、利益相關者還是用戶,我們相信每個人都必須了解機器學習的對抗魯棒性,就像在開車前了解自己車輛的性能和限制一樣。對于模型開發人員,我們提倡對您自己的模型和系統進行主動的內部魯棒性測試,以進行錯誤檢查和降低風險。對于利益相關者,我們主張承認產品和服務可能存在的弱點,并以前瞻性的方式進行誠實和徹底的風險和威脅評估,以防止收入/聲譽損失和對社會和環境的災難性破壞。對于使用機器學習副產品的用戶,我們主張積極了解其安全使用的局限性,并了解可能的誤用。這些與對抗魯棒性相關的方面,以及可用的技術和工具,在本書中進行了闡述。
一般來說,對抗魯棒性集中在機器學習中最壞情況性能的研究,而標準機器學習實踐則關注平均性能,例如對測試數據集的預測精度。最壞情況分析的概念是由確保機器學習對訓練環境和部署場景的變化進行魯棒和準確預測的必要性激發的。具體來說,這種變化可能是由自然事件(例如,由于不同的光照條件導致的數據漂移)或惡意嘗試(例如,旨在妥協并獲得基于機器學習的系統/服務控制權的黑客)引起的。因此,與其問“機器學習在給定數據集/任務上的表現如何?”,在對抗性魯棒性中,我們問“如果數據集或模型可以經歷不同的可量化水平的變化,機器學習的魯棒性和準確性如何?”這種干預過程通常涉及在機器學習中引入虛擬對手以進行魯棒性評估和改進,這是對抗性機器學習的關鍵因素。
本書旨在提供對抗性魯棒性的整體概述,涵蓋機器學習的生命周期,從數據收集,模型開發,到系統集成和部署。內容為機器學習的對抗魯棒性研究提供了一套全面的研究技術和實用工具。本書涵蓋了以下四個研究重點在對抗魯棒性:(i)攻擊-尋找機器學習的失敗模式;(ii)防御——加強和保護機器學習;核證-制定可證明的穩健性業績保證;和(iv)應用——基于對抗性魯棒性研究發明新的用例。
我們將本書各部分的內容總結如下。在第1部分中,我們介紹了本書的初步內容,將對抗性魯棒性與對抗性機器學習聯系起來,并提供了有趣的發現來激勵對抗性魯棒性。在第2部分中,我們介紹了不同類型的對抗攻擊,對攻擊者在機器學習生命周期、目標機器學習系統知識、數字和物理空間的實現以及數據模態中的能力進行了不同的假設。在第3部分中,我們介紹了量化神經網絡可證明魯棒性水平的認證技術。在第4部分中,我們將介紹用于提高機器學習對對抗性攻擊的魯棒性的防御。最后,在第5部分中,我們介紹了幾個從機器學習的對抗魯棒性研究中獲得靈感的新應用。
本文探討了
需要GNN的可解釋性 解釋GNN預測的挑戰 不同的GNN解釋方法 GNNExplainer的直觀解釋 使用GNNExplainer實現解釋節點分類和圖分類
如果你不解釋預測背后的原因,深度學習算法就像黑匣子,因此不能完全信任。不提供預測背后的原因,會阻止深度學習算法在涉及公平、隱私和跨領域安全的關鍵應用中使用。
深度學習模型的可解釋性有助于 增加對模型預測的信任 改進模型的透明度,用于與公平、隱私和其他安全挑戰相關的關鍵決策應用 在將模型部署之前,可以通過對網絡特征的理解來識別和糾正模型所犯的系統模式錯誤。
深度神經網絡的發展徹底改變了機器學習和人工智能領域。深度神經網絡在計算機視覺[1]、[2]、自然語言處理[3]、[4]、圖數據分析[5]、[6]等領域取得了良好的研究成果。這些事實促使我們開發深度學習方法,用于在跨學科領域的實際應用,如金融、生物學和農業[7]、[8]、[9]。然而,由于大多數深度模型是在沒有可解釋性的情況下開發的,所以它們被視為黑盒。如果沒有對預測背后的底層機制進行推理,深度模型就無法得到完全信任,這就阻止了它們在與公平性、隱私性和安全性有關的關鍵應用中使用。為了安全可靠地部署深度模型,有必要提供準確的預測和人類可理解的解釋,特別是為跨學科領域的用戶。這些事實要求發展解釋技術來解釋深度神經網絡。
深度模型的解釋技術通常研究深度模型預測背后的潛在關系機制。一些方法被提出來解釋圖像和文本數據的深度模型。這些方法可以提供與輸入相關的解釋,例如研究輸入特征的重要分數,或對深度模型的一般行為有較高的理解。例如,通過研究梯度或權重[10],[11],[18],我們可以分析輸入特征和預測之間的靈敏度。現有的方法[12],[13],[19]映射隱藏特征圖到輸入空間和突出重要的輸入特征。此外,通過遮擋不同的輸入特征,我們可以觀察和監測預測的變化,以識別重要的特征[14],[15]。與此同時,一些[10]、[16]研究側重于提供獨立于輸入的解釋,例如研究能夠最大化某類預測得分的輸入模式。進一步探究隱藏神經元的含義,理解[17]、[22]的整個預測過程。近年來對[23]、[24]、[25]、[26]等方法進行了較為系統的評價和分類。然而,這些研究只關注圖像和文本域的解釋方法,忽略了深度圖模型的可解釋性。
近年來,圖神經網絡(Graph Neural network, GNN)越來越受歡迎,因為許多真實世界的數據都以圖形的形式表示,如社交網絡、化學分子和金融數據。其中,節點分類[27]、[28]、[29]、圖分類[6]、[30]、鏈路預測[31]、[32]、[33]等與圖相關的任務得到了廣泛的研究。此外,許多高級的GNN操作被提出來提高性能,包括圖卷積[5],[34],[35],圖注意力[36],[37],圖池化[38],[39],[40]。然而,與圖像和文本領域相比,圖模型的可解釋性研究較少,這是理解深度圖神經網絡的關鍵。近年來,人們提出了幾種解釋GNN預測的方法,如XGNN[41]、GNNExplainer [42]、PGExplainer[43]等。這些方法是從不同的角度發展起來的,提供了不同層次的解釋。此外,它仍然缺乏標準的數據集和度量來評估解釋結果。因此,需要對GNN解釋技術的方法和評價進行系統的綜述。
然而,將圖結構和特征信息結合在一起會導致復雜的模型;因此,解釋GNN的預測是具有挑戰性的。
圖數據不如圖像和文本直觀,這使得人類理解圖深度學習模型的解釋具有挑戰性。
圖像和文本使用類似網格的數據;然而,在一個圖、拓撲中,信息是用特征矩陣和鄰接矩陣表示的,每個節點有不同的鄰居。因此,圖像和文本的解釋方法不適合獲得高質量的圖的解釋。
圖節點和邊對GNN的最終預測有很大的貢獻;因此,GNN的可解釋性需要考慮這些交互作用。
節點分類任務通過從它的鄰居執行消息遍歷來預測節點的類。研究消息遍歷可以更好地理解為什么由GNN做出預測,但與圖像和文本相比具有挑戰性。
圖神經網絡可解釋性
圖的可解釋性需要回答諸如此類的問題
*哪些輸入邊對預測更關鍵,貢獻最大?哪個輸入節點更重要? *哪個Node特征更重要? *什么樣的圖模式能最大限度地預測某一類?
根據GNN提供的解釋類型,解釋GNN的方法可分為兩個分支。這些圖解釋方法集中在圖模型的不同方面,并提供了不同的視圖來理解GNN模型。
實例級方法: 給定一個輸入圖,實例級方法通過識別用于預測的重要輸入特征來解釋深度模型。
模型級方法 提供了一般的見解和高層次的理解來解釋深度圖模型。模型級方法專門研究哪些輸入圖模式可以通過GNN實現一定的預測。
首先,實例級方法為每個輸入圖提供依賴于輸入的解釋。給出一個輸入圖,這些方法通過識別用于預測的重要輸入特征來解釋深度模型。根據獲得的重要度分數,我們將方法分為4個不同的分支:基于梯度/特征的方法[53]1,[50],基于微擾的方法[42],[53]0,[53]3,[52],[53],分解方法[53]2,[50],[54],[55],以及代理方法[56],[57],[58]。具體來說,基于梯度/特征的方法使用梯度或特征值來表示不同輸入特征的重要性。此外,基于擾動的方法監測預測的變化與不同的輸入擾動,以研究輸入的重要性得分。分解方法首先將預測得分(如預測概率)分解到最后一隱藏層的神經元中。然后逐層反向傳播這些分數,直到輸入空間,并使用這些分解后的分數作為重要分數。與此同時,對于給定的輸入示例,基于代理的方法首先從給定示例的鄰居中采樣數據集。接下來,這些方法擬合一個簡單的和可解釋的模型,如決策樹,以采樣數據集。然后使用代理模型的解釋來解釋最初的預測。第二,模型級方法不考慮任何特定的輸入實例來解釋圖神經網絡。獨立于輸入的解釋是高層次的,解釋一般行為。與instance level方法相比,這個方向的研究仍然較少。現有的模型級方法只有基于圖生成的XGNN[41]。它生成圖形模式來最大化某個類的預測概率,并使用這些圖模式來解釋該類。
總之,**這兩類方法從不同的角度解釋了深度圖模型。**實例級方法提供了特定于示例的解釋,而模型級方法提供了高層次的見解和對深度圖模型如何工作的一般理解。要驗證和信任深度圖模型,需要人工監督檢查解釋。對于實例級方法,需要更多的人工監督,因為專家需要探索不同輸入圖的解釋。對于模型級方法,由于解釋是高層次的,因此涉及的人力監督較少。此外,實例級方法的解釋基于真實的輸入實例,因此它們很容易理解。然而,對模型級方法的解釋可能不是人類能夠理解的,因為獲得的圖形模式甚至可能不存在于現實世界中。總之,這兩種方法可以結合起來更好地理解深度圖模型,因此有必要對兩者進行研究。
圖神經網絡可解釋性綜述
深度學習方法在許多人工智能任務中實現了不斷提高的性能。深度模型的一個主要限制是它們不具有可解釋性。這種限制可以通過開發事后技術來解釋預測來規避,從而產生可解釋的領域。近年來,深度模型在圖像和文本上的可解釋性研究取得了顯著進展。在圖數據領域,圖神經網絡(GNNs)及其可解釋性正經歷著快速的發展。然而,對GNN解釋方法并沒有統一的處理方法,也沒有一個標準的評價基準和試驗平臺。**在這個綜述中,我們提供了一個統一的分類的視角,目前的GNN解釋方法。**我們對這一問題的統一和分類處理,闡明了現有方法的共性和差異,并為進一步的方法論發展奠定了基礎。為了方便評估,我們為GNN的可解釋性生成了一組基準圖數據集。我們總結了當前的數據集和評價GNN可解釋性的指標。總之,這項工作為GNN的解釋提供了一個統一的方法處理和一個標準化的評價測試平臺。
地址:
//www.zhuanzhi.ai/paper/9a56925995fc3dfa1e88dbd945a2d358
本綜述提供了對深度圖模型的現有解釋技術的系統和全面的回顧。據我們所知,這是第一次也是唯一一次關于這一主題的綜述工作。
我們對現有的GNN解釋技術提出了一個新的分類方法。我們總結了每個類別的關鍵思想,并提供了深刻的分析。
我們詳細介紹了每種GNN解釋方法,包括其方法論、優缺點以及與其他方法的區別。
我們總結了常用的GNN解釋任務的數據集和評估指標。我們討論了它們的局限性,并推薦了幾個令人信服的度量標準。
通過將句子轉換為圖表,我們從文本領域構建了三個人類可理解的數據集。這些數據集不久將向公眾開放,并可直接用于GNN解釋任務。
參考文獻以及代碼:
隨著機器學習模型越來越多地用于做出涉及人類的重大決策,重要的是,這些模型不能因為種族和性別等受保護的屬性而歧視。然而,模型持有人并不是受到歧視性模型傷害的首當其沖的人,因此模型持有人修復歧視性模型的自然動機很少。因此,如果其他實體也能發現或減輕這些模型中的不公平行為,將對社會有益。只需要對模型進行查詢訪問的黑盒方法非常適合這個目的,因為它們可以在不知道模型的全部細節的情況下執行。
在這篇論文中,我考慮了三種不同形式的不公平,并提出了解決它們的黑盒方法。第一個是代理使用,模型的某些組件是受保護屬性的代理。其次是個體公平性的缺乏,這使模型不應該做出任意決定的直覺觀念形式化。最后,模型的訓練集可能不具有代表性,這可能導致模型對不同的保護組表現出不同程度的準確性。對于這些行為中的每一個,我提出使用一個或多個方法來幫助檢測模型中的此類行為或確保缺乏此類行為。這些方法只需要對模型的黑箱訪問,即使模型持有者不合作,它們也能有效地使用。我對這些方法的理論和實驗分析證明了它們在這種情況下的有效性,表明它們是有用的技術工具,可以支持對歧視的有效回應。
摘要
在過去的幾十年里,人工智能技術迅猛發展,改變了每個人的日常生活,深刻改變了人類社會的進程。開發人工智能的目的是通過減少勞動、增加生活便利、促進社會公益來造福人類。然而,最近的研究和人工智能應用表明,人工智能可能會對人類造成意外傷害,例如,在安全關鍵的情況下做出不可靠的決定,或通過無意中歧視一個或多個群體而破壞公平。因此,值得信賴的人工智能最近受到越來越多的關注,人們需要避免人工智能可能給人們帶來的負面影響,以便人們能夠充分信任人工智能技術,與人工智能技術和諧相處。近年來,人們對可信人工智能進行了大量的研究。在本次綜述中,我們從計算的角度對值得信賴的人工智能進行了全面的評述,幫助讀者了解實現值得信賴的人工智能的最新技術。值得信賴的人工智能是一個大而復雜的課題,涉及方方面面。在這項工作中,我們關注實現值得信賴的人工智能的六個最關鍵方面: (i) 安全性和健壯性,(ii) 非歧視和公平,(iii) 可解釋性,(iv) 隱私,(v) 問責性和可審計性,和(vi) 環境福祉。對于每個維度,我們根據一個分類回顧了最近的相關技術,并總結了它們在真實系統中的應用。我們還討論了不同維度之間的協調和沖突互動,并討論了值得信賴的人工智能在未來研究的潛在方面。
引言
人工智能(AI)是一門研究和發展模擬、擴展和拓展人類智能的理論、方法、技術和應用系統的科學,為現代人類社會帶來了革命性的影響。從微觀角度來看,人工智能在我們生活的許多方面發揮著不可替代的作用。現代生活充滿了與人工智能應用的互動: 從用人臉識別解鎖手機,與語音助手交談,到購買電子商務平臺推薦的產品; 從宏觀角度看,人工智能創造了巨大的經濟成果。世界經濟論壇的《2020年就業前景報告》[136]預測,人工智能將在5年內創造5800萬個新就業崗位。到2030年,人工智能預計將產生13萬億美元的額外經濟利潤,對全球GDP的年增長率貢獻1.2%[54]。然而,隨著其快速而令人印象深刻的發展,人工智能系統也暴露了其不值得信任的一面。例如,安全至關重要的人工智能系統在對抗攻擊時很脆弱。無人駕駛汽車的深度圖像識別系統可能無法識別被惡意攻擊者修改的路標[345],對乘客安全構成極大威脅。此外,人工智能算法可能會導致偏見和不公平。在線人工智能聊天機器人可能會產生不雅、種族主義和性別歧視的內容[335],冒犯用戶,并產生負面社會影響。此外,人工智能系統還存在泄露用戶隱私和商業秘密的風險。黑客可以利用人工智能模型產生的特征向量來重構私人輸入數據,如指紋[25],從而泄露用戶的敏感信息。這些漏洞會使現有的人工智能系統無法使用,并可能造成嚴重的經濟和安全后果。對于人工智能來說,要想在一個領域取得進步、得到更廣泛的應用并創造更多的經濟價值,對誠信的擔憂已經成為一個巨大的障礙。因此,如何構建可信的人工智能系統成為學術界和業界關注的焦點。
近年來,出現了大量關于可信人工智能的文獻。隨著構建可信人工智能的需求日益增長,總結已有成果并探討未來可能的研究方向勢在必行。在本次綜述中,我們提供了值得信賴的人工智能的全面概述,以幫助新手對什么使人工智能系統值得信賴有一個基本的了解,并幫助老兵跟蹤該領域的最新進展。我們澄清了可信人工智能的定義,并介紹了可信人工智能的六個關鍵維度。對于每個維度,我們給出了它的概念和分類,并回顧了有代表性的算法。我們還介紹了不同維度之間可能的互動,并討論了值得信賴的人工智能尚未引起足夠關注的其他潛在問題。除了定義和概念,我們的綜述還關注實現可信人工智能每個維度的具體計算解決方案。這一視角有別于現有的一些相關工作,如政府指南[307],建議如何以法律法規的形式建立一個值得信賴的人工智能系統,或綜述[51,318],從高層次、非技術的角度討論值得信賴的人工智能的實現。
根據歐盟(EU)最近提供的人工智能倫理指南[307],一個值得信賴的人工智能系統應符合四項倫理原則: 尊重人類自主、防止傷害、公平和可解釋性。基于這四個原則,人工智能研究人員、實踐者和政府提出了值得信賴的人工智能的各個具體維度[51,307,318]。在這項調查中,我們重點關注已經被廣泛研究的六個重要和相關的維度。如圖1所示,它們是安全性和穩健性、非歧視性和公平性、可解釋性、隱私性、可審計性和可問責性,以及環境福祉。
余下論文綜述組織如下。在第2節中,我們明確了值得信賴的AI的定義,并提供了值得信賴的AI的各種定義,幫助讀者理解來自計算機科學、社會學、法律、商業等不同學科的研究人員是如何定義值得信賴的AI系統的。然后,我們將值得信賴的人工智能與倫理人工智能和負責任的人工智能等幾個相關概念區分開來。在第3節中,我們詳細介紹了安全性和穩健性的維度,這要求人工智能系統對輸入的噪聲擾動具有穩健性,并能夠做出安全的決策。近年來,大量研究表明,人工智能系統,尤其是那些采用深度學習模型的系統,可能對有意或無意的輸入擾動非常敏感,對安全至關重要的應用構成巨大風險。例如,如前所述,自動駕駛汽車可能會被改變的路標欺騙。此外,垃圾郵件檢測模型可能會被設計良好的文本[30]郵件欺騙。因此,垃圾郵件發送者可以利用這個弱點,使他們的電子郵件不受檢測系統的影響,這將導致糟糕的用戶體驗。已經證明,人工智能算法可以通過提供的訓練例子學習人類的歧視,并做出不公平的決定。例如,一些人臉識別算法難以識別非洲裔美國人的面孔[280]或將其誤分類為大猩猩[168]。此外,語音聽寫軟件在識別男性聲音時通常比識別女性聲音表現得更好[277]。
在第4節中,我們介紹了非歧視和公平的維度,在這個維度中,人工智能系統被期望避免對某些群體或個人的不公平偏見。在第5節中,我們討論了可解釋性的維度,這表明AI的決策機制系統應該能夠向利益相關者解釋(他們應該能夠理解解釋)。例如,人工智能技術已經被用于根據患者的癥狀和身體特征進行疾病診斷[289]。在這種情況下,黑箱決策是不可接受的。推理過程應該對醫生和患者透明,以確保診斷的每個細節都是準確的。
研究人員發現,一些人工智能算法可以存儲和暴露用戶的個人信息。例如,在人類會話語料庫上訓練的對話模型可以記住敏感信息,如信用卡號碼,這些信息可以通過與模型交互而得到[164]。在第6節中,我們提出了隱私的維度,這需要一個人工智能系統來避免泄露任何私人信息。在第7節中,我們描述了可審計性和問責性的維度,該維度期望人工智能系統由第三方評估,并在必要時為人工智能故障分配責任,特別是在關鍵應用中[307]。最近,人工智能系統對環境的影響引起了人們的關注,因為一些大型人工智能系統消耗了大量的能源。作為一項主流的人工智能技術,深度學習正在朝著追求更大的模型和更多的參數的方向發展。因此,會消耗更多的存儲和計算資源。一項研究[312]表明,訓練BERT模型[110]需要排放大約1400磅二氧化碳,這與跨美國的往返飛行相當。因此,人工智能系統應該是可持續的和環境友好的。
在第8節中,我們回顧了環境福利的維度。在第9節中,我們將討論不同維度之間的相互作用。最近的研究表明,值得信賴的AI的不同維度之間存在一致性和沖突[307,333]。例如,深度神經網絡的魯棒性和可解釋性緊密相連,魯棒模型往往更具有可解釋性[122,322],反之亦然[255]。此外,研究表明,在某些情況下,健壯性和隱私之間存在權衡。例如,對抗性防御方法會使模型更容易受到成員推理攻擊,增加了訓練數據泄漏的風險[308]。
除了上述六個維度,值得信賴的人工智能還有更多的維度,如人工代理和監督、可信性等。盡管這些額外的維度與本文中考慮的6個維度一樣重要,但它們還處于開發的早期階段,相關文獻非常有限,特別是對于計算方法而言。因此,在第10節中,我們將討論值得信賴的人工智能的這些方面,作為未來需要專門研究的方向。