近年來，人工智能技術突飛猛進，人工智能系統已經滲透到人們生活中，成為人們生活中不可或缺的一部分. 然而，人工智能系統需要數據訓練模型，數據擾動會對其結果造成影響.并且隨著人工智能系統業務多樣化，規模復雜化，人工智能系統的可信性愈發受到人們的關注. 首先，在梳理不同組織和學者提出的人工智能系統可信屬性基礎上，提出了人工智能系統的九個可信屬性; 接著, 從數據可信性、模型可信性和結果可信性分別介紹現有的人工智能系統數據、模型、結果可信性度量方法，設計了人工智能系統可信證據收集方法.其次, 總結當前人工智能系統的可信度量評估理論與方法.然后, 結合基于屬性的軟件可信評估方法與區塊鏈技術, 建立了一個人工智能系統可信度量評估框架，包括可信屬性分解及可信證據獲取方法、聯邦式可信度量模型與以及基于區塊鏈的人工智能系統可信度量評估架構。最后，討論人工智能系統可信度量技術面臨的機遇和挑戰.
引言
人工智能自 1956 年誕生以來，經歷了從繁榮到衰退再到繁榮的螺旋式發展過程，出現了三次發展高潮[1]。第三次高潮起源于辛頓(Hinton)在 2006 年提出的深度學習概念[2]，2016 年圍棋機器人 AlphaGo[3]以該模型為 核心的算法戰勝了人類頂級棋手引發廣泛關注，極大地推動了人工智能的研究與應用高潮。近年來，歐美日 等國持續加大對人工智能基礎理論和應用的重點投入，以保持其在人工智能技術方面的領先地位。我國政府 在 2017 年發布了《新一代人工智能發展規劃》，將人工智能正式列入國家發展戰略[4]，學術界和產業界也掀 起了人工智能研發熱潮，李國杰院士和陸汝鈐院士等多位人工智能科學家在多個場合呼吁重視人工智能的發 展態勢[5]，華為、百度、騰訊、科大訊飛等人工智能領域企業也在不斷增強其人工智能方面的研發力量，人工智能在圖像識別、數據挖掘、自然語言處理、推薦算法、信息檢索、語言識別和自動駕駛等領域均得到了 不同程度的應用。
然而，隨著人工智能不斷融入我們的日常生活，人工智能系統的表現還不盡如人意。例如，近年來，許 多學者發現，在圖像識別領域，人工智能模型對訓練數據非常敏感，當訓練數據受到擾動時可能輸出不恰當 的結果，這種對抗性擾動已經成為人工智能模型，尤其是神經網絡模型的夢魘：對抗攻擊[6][7][8]。而且，在自動駕駛領域也有研究發現，除了人為的對抗攻擊，極端光照條件也會影響視覺系統識別，從而影響自動駕駛 [9]。另一方面，如果訓練數據被偏見性地標注，相應機器學習模型的輸出結果往往也會具有一定偏見性[10]。復旦大學管理學院企業管理系孫金云教授研究團隊 2021 年發表的“2020 打車軟件出行狀態調研報告”表明， 打車軟件通過“差異化的偏差信息”提高了平臺自身的收益[11]。這些數據一旦被濫用于機器學習算法，不僅 可能導致偏見性的結果，還可能導致隱私泄露問題的出現。這類事件頻繁出現，越來越多的專家和學者開始 關注人工智能系統的可信性[1][5][12]。系統的“可信性”是基于傳統的“安全”“可靠”等概念產生的，簡單來 說是指一個系統在實現給定目標時，其行為及其結果符合人們的期望[13]。劉克等人認為軟件系統“可信性” 是人類心中對客觀對象各屬性較為整體的反映[14]。
在政府機構和有關學者的引導下，學術界和產業界都愈發關注人工智能系統可信性[15]，構造可信人工智 能已經成為現代人工智能發展和應用的重要趨勢和必然選擇。然而，構造可信人工智能需要人們對人工智能 系統的可信性有著清晰的認知，因而如何綜合評估判斷人工智能系統的可信性已經成為可信人工智能研究中 的一個重要問題。因為人工智能系統可信性由其多維屬性反映，并且人工智能系統的可信性問題需要從其訓 練數據可信性、學習模型可信性和預測結果可信性三個方面來考慮，所以對人工智能系統可信性的綜合評估 較為困難。本文從人工智能的可信屬性入手，總結梳理人工智能應有的可信屬性；接著討論了數據、模型和 結果可信性的度量方法，為度量人工智能系統可信性提供證據基礎。在此基礎上，本文討論了現有的人工智 能可信度量模型。然后，本文提出了一個基于可信屬性的人工智能系統可信度量框架，期待推動人工智能可 信度量的研究與發展。本文將從以下幾個方面討論人工智能系統可信評估的研究現狀和面臨的挑戰：
(1) 人工智能系統的可信屬性
可信性是人類心中對客觀對象各屬性較為整體的反映，傳統軟件的可信屬性通常包含可靠性、安全 性、可用性、正確性等諸多屬性[14]，人工智能系統作為軟件系統的一種，其可信屬性包括部分傳統 軟件的可信屬性。但是，人工智能系統本身的特性又導致其具有普通軟件所不具有的其他屬性，例 如描述對抗數據干擾能力的魯棒性，沒有偏見的公平性等。因此，如何準確描述這些屬性對人工智 能系統的可信評估有著重要作用。
(2) 人工智能系統數據、模型和結果可信性與人工智能系統度量模型
人工智能系統的可信性依賴于大量可靠的數據支撐、恰當的模型選擇和符合預期輸出結果，即其可 信性依賴于其訓練數據可信性、學習模型可信性和預測結果可信性。數據可信性是訓練出可信模型 的基礎，模型可信性又是得到符合人們心理預期結果的基礎，三者相輔相成，相互依賴，共同影響 著人工智能系統的可信性。為了實現對人工智能系統可信性的度量，需要從數據、模型和結果三方 面的度量結果收集可信證據。此外，現有對人工智能系統度量的工作也為人工智能系統可信性度量 模型建立打下了堅實的基礎。
(3) 基于可信屬性的的人工智能系統可信度量評估體系
傳統軟件可信評估理論經過數十年的發展，已經被證明在傳統軟硬件系統開發中是確保系統可信必 不可少的技術。例如列車控制系統和航空飛行系統開發國際標準中均要求將該方法貫穿于整個系統 的開發周期以獲得較高的可信等級認證[16]。尤其是基于可信屬性的軟件可信度量評估，現在已經有 了較為成熟的研究成果，并被用于各種安全攸關軟件的可信性度量中[17]。然而，由于目前人工智能 系統本身特有的性質，使得不能直接將軟件可信評估理論簡單地移植到人工智能系統，而是要針對 人工智能系統本身的可信性進一步研究可信度量評估理論與技術。本文結合人工智能系統可信性現 狀和軟件可信評估理論提出了一個人工智能系統可信度量評估框架，具體包括可信屬性分解及可信 證據獲取方法、聯邦式可信度量模型與基于區塊鏈的人工智能系統可信度量評估架構。該框架還將 保障數據可信性常用的區塊鏈技術融入可信度量全過程，從而可以保障整個度量過程的不可篡改性。
1 研究現狀和動機
1.1 人工智能現狀
1950 年，計算機科學之父圖靈在論文《計算機器與智能》中描述了智能的概念，并提出機器智能的測試 方法，即“圖靈測試”[18]。隨后在 1956 年的達特茅斯會議上，美國 10 位學者正式提出了人工智能概念，達 特茅斯會議也成為第一次人工智能研討會，1956 年被稱為“人工智能元年”[19]。人工智能的發展自其誕生以 來經歷了三次高潮。2006 年辛頓提出的深度學習算法的概念[2]，不僅掀起了深度學習研究與應用的熱潮，而 且促進了人工智能第三次高潮的興起。人工智能發展的潮起潮落引領著人工智能不斷健康地發展，也使得人 工智能技術健康地服務人類。現在，人工智能技術在各個領域已經取得了豐碩的研究成果，圖像識別[20]、自 然語言處理[21]、計算機視覺[22]、自動駕駛[23]、推薦系統[24]等技術中處處可見其身影。
1.2 可信人工智能發展戰略規劃
如何保障人工智能的健康發展已經成為當前社會和國家關注的主要問題之一，許多政府和學者都倡導科 學發展人工智能。2016 年 9 月，英國下議院提出應對機器人發展帶來的倫理、法律和道德問題[25]。2018 年 3 月，歐洲政治戰略中心提出要解決人工智能在發展過程中出現的偏見問題，研究人工智能的道德準則[26]。2018 年 4 月，歐盟確立人工智能的倫理和法律框架[27]。2018 年 12 月，歐盟委員會的人工智能高級專家組 (High-LevelExpertGrouponArtificialIntelligence,AIHLEG)發布了《可信人工智能倫理指南草案》，該指南提出了 一個可信人工智能框架，總計 10 項可信人工智能要求和 12 項實現人工智能的技術和非技術方法[28]。
2016 年 10 月，美國國家科學技術委員會（NSTC）探討了人工智能潛在的公共問題[29][30]。2017 年年初, 美國國家科學基金會、國防部高級研究項目局（DARPA）啟動可解釋人工智能計劃，發展可解釋、可信的人 工智能技術[31]。2018 年 4 月，美國國防部發表《國防部人工智能戰略》，旨在促進美國人工智能安全[32]。2018 年 9 月 DARPA 啟動了 20 億美元的 AINext 戰略，明確發展第三代人工智能基礎理論和技術，重點內容包括 魯棒、對抗、高效知識推理，以及更強能力的人工智能理論和技術[33]。
2018 年 6 月，新加坡成立人工智能倫理委員會，以幫助政府制定倫理標準[34]。同一時間，印度政府發布 《人工智能國家戰略》，其中重點涉及了道德隱私方面的問題[35]。我國政府從 2015 年開始就大力推進人工智 能技術發展[36]，2016 年發展人工智能技術被列入“十三五”發展規劃[37]。2017 年國務院和工信部提出新一 代人工智能發展規劃[4][38]，強調人工智能健康發展，2018 年國家標準化管理委員會發布的人工智能標準化白 皮書中提到關注人工智能的安全、倫理和隱私問題[39]。
1.3 軟件可信性研究現狀
1.3.1 軟件可信性概念
隨著科技的不斷發展，計算機在人類社會的普及程度越來越高，無論是經濟、軍事還是社會生活中的方方面面，人們都越來越離不開軟件，對軟件的功能需求也在不斷增加。隨著軟件系統日益復雜化，開發規模 不斷擴大，或多或少都存在的軟件缺陷使得人們越來越難以控制軟件質量。各種各樣的軟件事故不斷給用戶 帶來嚴重的損失，軟件經常不按人們期望的方式工作[17][40]，使得人們逐漸失去對軟件的信任，可信性的概念 應運而生[14]。
“可信性”是在軟件傳統的“可靠”“安全”等概念的基礎上發展而來的。1972 年，Anderson 提出可信 系統的概念[41]，這是人們對計算機系統可信性的首次探索。但是此時人們大多關注硬件的可信性，直到美國 國防部制定可信計算機標準時才提到軟件可信性的概念[42]。Laprie 指出可信性與可靠性是兩個不同的概念， 前者比后者要復雜的多[43]。美國科學與技術委員會 NSTC 則認為即使在系統在危險情況下，即系統本身存在 錯誤，環境存在危險或者系統遭到其他人的致命攻擊，設計者、實現者和使用者都能保障系統的大部分功能， 使其不會失效，則該系統是高可信的[44]。美國國家研究委員會 NRC 認為一個系統即使在運行環境出現問題、 操作人員失誤操作、系統受到外界的致命攻擊或者系統的設計和實現存在 Bug 的情況下，也能夠按照原來設 定的預期運行，得到預期的結果，那么該系統是可信的[45]。德國奧爾登堡研究生院的研究發現可信性應該包 括正確性、安全性、服務質量、保密性和隱私性[46]。在我國國家自然科學基金委“可信軟件基礎研究”重大 研究計劃中，何積豐等人[14]認為可信性是人類心中對客觀對象各屬性較為整體的反映，提出了可信軟件 （TrustworthySoftware）是指軟件系統的動態行為及其結果總是符合人們預期，并在受到干擾時不會失效， 并能提供連續服務的軟件，這里的“干擾”包括操作錯誤、環境影響和外部攻擊等。陳火旺院士則認為高可 信性質包括可靠性、防危性、安全性、可生存性、容錯性和實時性[47]。
1.3.2 軟件可信性發展計劃
軟件可信性保證對整個軟件產業，特別對安全攸關軟件研發的影響日益加深。各國政府、研究機構以及 各大公司都對軟件可信性研究提出了相應的研究計劃。美國自然科學基金會從 2005 年開始便在可信計算研究 領域投入約數億美元[48]，政府的“網絡與信息技術研究發展計劃”中重點強調“可信軟件”相關領域[49]；歐 洲于 2006 年 1 月啟動了名為“開放式可信計算”(OpenTrustedComputing)的研究計劃，旨在開發開源可信計 算軟件，已有 23 個研究機構參加[50]；歐盟于 1997 年 12 月通過的“第五框架計劃”[51]和 2002 年 11 月通過 的“第六框架計劃”[52]都把高可信軟件作為軟件技術發展的重點。構造可信軟件已成為現代軟件技術發展和 應用的重要趨勢和必然選擇。我國國家中長期科學和技術發展規劃綱要(2006-2020 年)中將可信計算機的研究 作為發展重點[53]；2007 年，“863”計劃開展“高可信軟件生產工具及集成環境”重點項目[54]；國家自然科 學基金委于 2007 年提出開展“可信軟件基礎研究”重大研究計劃[14]，并將“軟件的可信性度量與評估”列 為四個重要核心問題之首。
1.3.3 軟件可信性度量評估
軟件可信度量評估有助于軟件可信性保障，因而其研究成果具有重大意義。國內外一系列學者專家專注 于此，并取得了豐碩的研究成果。Marascas 等使用問卷調查的方法，結合多元統計分析方法，將人的主觀評 價和軟件的客觀度量結果相結合，形成綜合的度量結果[55][56][57]。美國國家標準與技術研究院 NIST 提出一種 自上而下的軟件可信性評估框架，使用形式化方法來確定軟件可信值[58]。Alexopoulos 等將貝葉斯概率和 DS 證據理論結合，使用模塊化的思想，量化相關風險并對軟件組件可信性進行度量[59]。CHO 等提出了一個系統 級別的可信度度量框架，從可信屬性的角度度量軟件可信性，該框架包含安全性、信任、彈性和敏捷性度量 標準，稱為 STRAM 框架[60]。
國內的許多科研團隊同樣在軟件可信度量領域取得了豐碩的研究成果。楊善林院士團隊采用專家打分的 效用值結合 DS 證據理論來計算軟件可信性[61][62]。鄭志明和李未院士團隊使用動力學分析，研究軟件在動態 開放環境下的行為統計學特征，建立軟件關于可信屬性的縮小化最優統計分析方法[63][64][65]。王懷民院士團隊 對可信軟件的概念做了進一步規范，也從可信屬性的角度建立軟件可信屬性模型和軟件可信等級，給出一種 基于驗證的可信證據模型[66]。王青教授團隊建立了支持軟件過程可信評估的可信證據，從開發過程數據來評 估軟件可信性[67]。陳儀香教授團隊同樣面向多維屬性，基于公理化的方法建立面向軟件多維屬性的軟件可信度量模型，并提出軟件可信性分配模型與增強規范[17][68][69]。他們還從軟件源代碼角度，建立基于 Extensive 結構的軟件可信性度量模型[70]。
1.4 人工智能系統可信度量動機研究
在人工智能技術發展初期，其應用主要是專家系統、定理證明、問題求解等領域[71]，這些領域任務相對 較為簡單，初期人工智能技術足以應付這些問題。隨著人工智能技術發展，人們對人工智能系統和智能軟件 的需求不僅僅停留在這些簡單問題上，圖像識別、語音識別、無人駕駛、推薦系統等越來越多的領域開始應 用人工智能技術，由此人工智能走向了第三次發展高潮。
然而，和軟件發展一樣，人工智能系統愈發復雜化的同時，其可信性越來越受到人們的關注。2015 年 8 月，印度一名配件公司員工由于離焊接金屬板機器人太近而被機器人殺死[72]。2016 年 8 月，浙江大學徐文淵 教授帶領的團隊在 Defon 黑客大會上對特斯拉自動駕駛技術進行攻擊，導致其自動駕駛失效[73]。2018 年 3 月 Uber 自動駕駛汽車在行駛過程中沒有識別路上行人，撞倒了該行人并導致其死亡[74]。人工智能系統不僅 面臨著傳統軟件所存在的可信問題，而且存在人工智能特有的問題。文獻[75]發現醫療診斷工具對黑人患者分 配較少的醫療資源，并且對許多白人患者，該醫療診斷工具拒絕使用黑人患者已使用過的治療設備。同樣， 2018 年 5 月，亞馬遜公司智能音箱出現故障，錯誤地把俄勒岡州一名女士和其丈夫的對話發到了他人郵箱[76]。這類事件使得人們對人工智能系統的可信性愈發關注，各個國家也在人工智能發展戰略中提到發展可信人工 智能。
人工智能系統可信度量可以幫助人工智能系統的開發者和使用者了解人工智能的可信程度，使他們對人 工智能系統的可信程度有一個明確的認知。開發者可以通過可信度量得出的結果進一步改進開發的系統，使 得該系統可以保證用戶安全的同時，讓用戶有更好的智能體驗。用戶也可以根據可信度量的結果對自己使用 的智能系統的可信程度有所了解，在使用過程中可以放心享受智能帶來的快樂和方便。因而，對人工智能系 統進行可信度量是人工智能系統健康發展的必然選擇。
2.人工智能可信屬性
目前，越來越多的組織和學者關注人工智能系統的可信性，他們意識到，人工智能系統可信性不同于傳 統軟件的可信性，它的可信屬性除了包含傳統軟件所需要的可信屬性外，還應包含許多人工智能本身特性而 產生的相關性質。例如，人工智能模型的黑盒特性需要關注人工智能的可解釋性與透明性。
歐盟委員會人工智能高級專家組提出可信人工智能倫理指南草案[28]，為可信人工智能提出了可追責性、 數據治理、普惠性、人工智能自主性的管控、非歧視、尊重和強化人類自治、隱私保護、魯棒性、安全性、 透明性共 10 個基本要求，這些要求給人工智能提出了可追責性、普惠性、自主性、公平性、隱私性、魯棒性、 安全性、透明性共八個可信屬性。美國和 OECD 組織認為，可信人工智能需要擁有包容性增長、可持續發展 和福祉、以人為本的價值觀與公平、透明度和可解釋性、魯棒性以及安全性和防危性[77]，這些要求對應了可 持續發展、價值觀、公平性、透明性、可解釋性、魯棒性、安全性、防危性八個可信屬性。美國國家標準與 技術研究所 NIST 對人工智能提出其需要擁有互操作性、安全性、可靠性、魯棒性、公平性和可解釋性共六 個可信屬性的要求[78]。IBM 公司則認為，人工智能系統應擁有公平性、魯棒性、透明度和問責制、價值觀、 可解釋性、隱私[79]。這意味著他們認為，人工智能系統的可信性應具有公平性、魯棒性、透明性、可追責性、 價值觀、可解釋性、隱私性七個可信屬性。
許多學者也對人工智能應用有的可信屬性提出了自己的見解。Singh 等認為可信人工智能不應具有偏見， 應保證公平性，模型具有可解釋性與透明度、應對對抗性攻擊的魯棒性，系統本身還要做到隱私保護，保證 安全性的同時也要具有得體性[80]。Singh 等對人工智能提出了公平性、可解釋性、魯棒性、隱私性、安全性、 得體性六個可信屬性。Fujii 等則認為人工智能系統要保證數據的完整性、模型的魯棒性、系統的高質量、過 程的敏捷性以及滿足客戶的期望[81]，他們更加強調完整性、魯棒性、系統質量以及敏捷性。而對于 Chatila 等而言，他們關注的是人工智能系統的透明性、可驗證性、可解釋性、安全性與魯棒性[82]。Ashoori 等也提出了影響人們信任人工智能的七個因素[83]，分別是決策風險、決策者、訓練方法、模型的可解釋性、訓練和 測試集的說明、社會透明性與模型置信度。這些因素強調了可信人工智能的公平性、魯棒性、可解釋性、透 明性與置信度。我國何積豐院士也提出人工智能應具有魯棒性、自我反省性、自適應性和公平性[12]。下表 1 中列出了各個不同組織機構和學者對可信屬性的見解。這些可信屬性從不同的角度提出了對人工智能系統可 信性的要求。從傳統軟件可信性的角度提出了人工智能系統可信性應滿足的要求：隱私性、安全性、防危性、 可靠性、系統質量和敏捷性；從人工智能模型的黑盒特性對其行為結果產生的影響提出了：公平性、魯棒性、 可解釋性、透明性、可追責性、可驗證性和置信度等屬性；從人工智能要為人類服務的角度提出了可信需求：普惠性、可持續發展和互操作性；從人工智能應具有人的特征提出了：自主性、價值觀、得體性、自適應性 和自我反省性。
人工智能系統作為軟件系統的一種，其可信性需要滿足傳統軟件的要求，而作為人工智能系統，其可信 性又要強調其本身的特性和人的特征。因而，本文認為人工智能系統的可信屬性應包含可靠性、隱私性、安 全性、防危性、公平性、魯棒性、可解釋性、自適應性和自我反省性共九個屬性。其中，可靠性要求人工智 能系統能提供可靠服務，其數據、結果等應是可靠的；隱私性要求人工智能系統能保護其所擁有和使用的數 據隱私不被泄露；安全性要求人工智能系統可以抵抗外來因素，保護系統信息完整性、機密性和可用性；防 危性要求人工智能系統失效時不會產生不可接受的風險；公平性要求人工智能系統可以公平地對待所有使用 者；魯棒性要求人工智能系統可以在受到擾動時輸出正確的結果；可解釋性要求人工智能系統中的模型可解 釋，其判斷過程可以被人類所理解；自適應性要求人工智能系統在新環境下可以適應，輸出正確的結果；自 我反省性要求人工智能系統對自身性能或錯誤能夠有所感知。這些屬性不僅結合了人工智能系統本身的特性、 和傳統軟件可信屬性，而且也從為人類服務的角度考慮，更加準確地反應了人工智能系統的可信性特征，為 度量人工智能系統的可信性奠定多維屬性基礎。
3 人工智能系統可信度量證據
人工智能系統可信證據是指可從人工智能系統中提取且用于衡量人工智能系統可信性的相關指標。因為 人工智能系統的可信性問題可以從其訓練數據的可信性、學習模型的可信性和預測結果的可信性三個方面來 考慮，本節從這三個方法討論了相關度量方法，并設計了人工智能系統可信證據的收集方法。
**4 人工智能系統可信度量模型 **
在之前的部分，我們討論了人工智能系統的可信屬性，總結梳理了人工智能系統的九個可信屬性。然后， 為了度量人工智能系統可信性，本文從訓練數據可信性、學習模型可信性和預測結果可信性三方面討論了度 量方法，為可信性度量提供可信證據。近年來，有部分學者對人工智能系統的可信度量評估進行了研究，本 節將著重介紹這些研究。
Shepperd 和 Nakamochi 從軟件質量的度量出發，對人工智能系統進行度量。Shepperd 回顧了軟件度量的 相關概念，并進一步介紹了人工智能和軟件工程的關系，他認為軟件度量的許多度量指標都可以被應用在專 家系統的管理和質量保證方面，包括軟件結構度量等，但是由巴里·勃姆（BarryBoehm）提出的軟件成本估 算方法 COCOMO 無法直接應用于專家系統[115]。Nakamichi 等重點研究了機器學習系統所要求的質量特性， 以滿足企業信息系統的質量要求。他們通過確定與機器學習系統需求規范相關的 22 個問題，包括環境/用戶、 系統/基礎設施、模型和數據，將傳統的軟件質量標準 ISO25010 的質量擴展到機器學習系統所擁有的特性， 提出了評價質量特性的指標和測量方法，并通過一個行業的實證研究，驗證了所提出模型和測量方法的可行 性[116]。
也有一些學者針對不同類型的人工智能系統提出了度量模型。Cheng 等提出了一個基于主觀邏輯的神經 網絡可信量化框架 DeepTrust，其構建了人工智能算法的概率邏輯描述，同時考慮了數據集和內部算法工作的 可信度[117]。DeepTrust 同時適用于分類和回歸問題，其輸入值不影響可信度的計算。DeepTrust 不僅能夠在訓 練數據和訓練過程可訪問的前提下，對訓練階段神經網絡的意見進行量化，而且在給定預訓練神經網絡的情 況下，它還可以用于神經網絡決策或輸出的可信量化。神經網絡預測的意見和可信度量化提供了對輸入數據 和神經網絡內部工作可信度的評估，并且在神經網絡過擬合時非常有效。Uslu 等則首次提出了一種可信指標 框架來評估人工智能系統在食品、能源和水管理決策中的驗收標準，在評估專家選擇每個人工智能系統提出 的最合適的解決方案中，計算從這些人工智能系統提出的解決方案到專家給出的最佳參考方案的距離，并使 用提出的信任框架計算系統的可信接受度[118]。此外，他們通過信任系統來聚合了多個專家的度量評估結果。Chowdhury 等使用車載單元（OBU）組件、GPS 數據和安全信息來確定自動駕駛車輛的可信性，通過計算和 處理相關的不確定性，利用確定性邏輯和主觀邏輯開發了評估可信值的理論模型，并對提出的模型產生的可 信值進行了對比分析[119]。作者還在模擬城市交通平臺 SUMO 和澳大利亞歷史交通數據 VicRoads 驗證提出的 模型，其中，基于特定邏輯的模型產生的可信值比主觀邏輯產生的可信值對被破壞的組件更加敏感。Chattopadhyay 等對機器人進行可信評估，分析了 Zumi 和 Cozmo 社交機器人的內部缺陷，并使用 IEEEA/IS 可信 AI 指南對其總體設計進行了評估，研究該社交機器人是否與可信人工智能框架描述的原則相一致[120]。
總體而言，學者們近幾年來開始愈發關注人工智能系統可信性，并且嘗試對其可信性進行評估，從而開 發出更加可信的人工智能產品。目前，大多數研究聚焦在如何改善和提高人工智能系統可信性，而人工智能 可信度量評估并沒有受到很大關注，因此也沒有像軟件可信度量評估那樣，經過數十年發展積累豐厚的研究 成果。因此，人工智能可信度量評估領域還需要進行深入系統的研究。
5 基于屬性的人工智能系統可信度量評估框架
盡管目前人工智能系統在可信性度量評估已經有部分研究成果，但鮮有研究從基于屬性的軟件可信度量 的角度度量人工智能系統的可信性。人工智能系統作為軟件系統，其可信量化評估也可以使用軟件可信度量 理論來實施。本文提出一個人工智能可信度量評估框架，將軟件可信度量理論應用于人工智能系統的可信度 量評估，而且為了保證度量過程數據的可信性不被篡改，本文將保證數據可信性常用的區塊鏈技術應用于框 架中，整個框架包括人工智能系統可信屬性分解與證據獲取方法、聯邦式可信度量模型以及基于區塊鏈的人 工智能可信評估架構 AITrust 三個部分。本文期望該框架可以為人工智能系統可信度量研究人員提供參考， 以推動人工智能系統可信度量研究進一步發展。
6 總結與展望
本文對人工智能系統的可信性度量進行了綜述性的分析和研究。首先對人工智能技術和軟件可信度量的 背景進行了討論，分別對兩個方向的研究現狀進行了論述，并闡述了人工智能系統可信度量的動機和可信人 工智能的戰略與規劃。然后，本文對人工智能系統的可信屬性進行詳細探討，比較了各個組織和學者給出的可信屬性，提出了人工智能系統基礎的九個可信屬性。接著，分別從訓練數據可信性、學習模型可信性、預 測結果可信性方面討論了相關度量方法，設計了人工智能系統可信證據收集方法。然后，討論了現有的人工 智能系統可信度量方法，結合基于屬性的軟件可信度量技術，本文建立一個人工智能系統可信度量評估框架， 該框架包括可信屬性分解與證據獲取方法，聯邦式可信度量模型和基于區塊鏈的人工智能系統可信評估架構 AITrust，將基于屬性的軟件可信度量技術應用于人工智能系統的可信評估，并且使用區塊鏈技術保障了評估 過程的可信性。
人工智能系統可信性已經獲得越來越多人的關注，人工智能系統可信度量評估可以保障人工智能系統的 可信性，為人工智能系統開發與使用人員提供相應參考。然而，人工智能系統可信度量的發展仍然面臨著許 多問題和挑戰：
-
針對人工智能系統的可信屬性，各個機構與學者關注點不盡相同，本文雖然討論并總結梳理出了九 個人工智能基礎的可信屬性，然而對于面向不同領域的人工智能系統，使用不同機器學習模型的人 工智能系統，其可信屬性可能會有所擴展，且其度量模型也有可能不同。因此，人工智能可信屬性 的完備性值得關注，從而設計面向不同領域的不同系統、不同模型、甚至不同數據的可信屬性集合 以及其度量模型，形成更加完備的人工智能可信屬性模型。
-
就人工智能系統的可信證據而言，在人工智能系統的訓練數據可信性、學習模型可信性和預測結果 可信性度量方面雖然有許多研究，但是這些研究過于雜亂，量綱難以統一，很難形成統一的可信證 據度量模型，為后續可信度量模型的建立造成一定難度。因而，統一可信證據量綱，形成科學合理 的可信證據模型同樣值得關注。
-
目前，面向人工智能系統的可信度量模型研究還比較初步，相關的研究還比較少，本文提出了一個 面向屬性的人工智能系統可信度量框架，但其中的可信度量模型還需進一步完善，從而建立科學合 理的人工智能系統可信度量模型，使其度量結果具有可信性。并且，本文建立的人工智能系統可信 度量框架是面向可信屬性，僅從靜態角度來度量可信性，并未考慮人工智能系統運行時的動態變化 與用戶反饋。因此，建立科學合理且全面的人工智能系統可信度量評估模型是人工智能可信度量評 估的又一挑戰。
-
在建立人工智能系統可信度量方法的基礎上，開發人工智能系統可信度量評估綜合工具，使得人工 智能系統可信度量評估工程化，把人工智能系統的度量評估融入人工智能系統的實際開發和使用過 程中，提高人工智能系統的可信性，為人工智能系統更好地服務人類奠定基礎。希望通過本文的討論、探索、思考和提出的人工智能系統可信度量評估框架，為人工智能系統可信度量 評估的發展和應用開辟更加廣闊的道路。
參考文獻： [1] Fang BX. Artificial Intelligence Safety and Security. Beijing: Publishing House of Electronics Industry. 2020. 1-10(in Chinese)
[2] Hinton G.E., Osindero S, Teh Y-W. A Fast Learning Algorithm for Deep Belief Nets. Neural Computation, 2014, 18(7):1527-1554.
[3] Silver D et al. Mastering the game of Go with deep neural networks and tree search. Nature 529 (2016): 484-503.
[4] Notice of the State Council on printing and distributing the development plan of new generation artificial intelligence, GF [2017] No.35 Development plan of new generation artificial intelligence, July 8, 2017. (in Chinese)
[5] Science popularization and education research support center, Department of Chinese Academy of Sciences. China Science and technology hot book review 2019. Beijing: China Science Publishing & Media Ltd. 2020. 89-137. (in Chinese)
付費5元查看完整內容
相關內容
食品與人類的行為、健康和文化等密切相關. 社交網絡、移動網絡和物聯網等泛在網絡產生了食品大數 據，這些大數據與人工智能，尤其是快速發展的深度學習催生了新的交叉研究領域食品計算. 作為食品計算的核 心任務之一，食品圖像識別同時是計算機視覺領域中細粒度視覺識別的重要分支，因而具有重要的理論研究意義， 并在智慧健康、食品智能裝備、智慧餐飲、智能零售及智能家居等方面有著廣泛的應用前景. 為此，本文對食品圖像識別領域進行了全面綜述. 該文首先從識別對象、視覺特征表示及學習方法等不同維度對目前的食品圖像識 別進行分類并深入闡述和分析了當前的研究進展，指出深度學習模型是當前食品圖像識別的主流方法，融入各種 上下文信息和外部知識是改進食品圖像識別的重要手段. 其次從食品數據規模、食品類型及是否包含上下文和多 模態信息等方面介紹了現有的食品圖像識別數據集，并給出了不同識別方法在主流數據集上的性能對比和分析. 接下來總結了食品圖像識別在飲食質量評估、食品自動結算、智能廚具、食品圖像的組織檢索和推薦等多個方面 的應用情況. 最后本文從面向食品特點的食品圖像識別方法、大規模食品圖像識別基準數據集構建等方面對食品 圖像識別未來可能的研究方向進行了總結和展望.
付費5元查看完整內容
摘要
在大數據時代下,深度學習理論和技術取得的突破性進展,為人工智能提供了數據和算法層面的強有力 支撐,同時促進了深度學習的規模化和產業化發展.然而,盡管深度學習模型在現實應用中有著出色的表現,但 其本身仍然面臨著諸多的安全威脅.為了構建安全可靠的深度學習系統,消除深度學習模型在實際部署應用中的潛在安全風險,深度學習模型魯棒性分析問題吸引了學術界和工業界的廣泛關注,一大批學者分別從精確和 近似的角度對深度學習模型魯棒性問題進行了深入的研究,并且提出了一系列的模型魯棒性量化分析方法. 在本綜述中,我們回顧了深度學習模型魯棒性分析問題當前所面臨的挑戰,并對現有的研究工作進行了系統的總結和科學的歸納,同時明確了當前研究的優勢和不足,最后探討了深度學習模型魯棒性研究以及未來潛在的研究方向.
引言
受益于計算力和智能設備的飛速發展，全世界正在經歷第三次人工智能浪潮。人工智能以計算機 視覺、序列處理、智能決策等技術為核心在各個應 用領域展開，并延伸到人類生活的方方面面，包括 自適應控制[1]、模式識別[2]、游戲[3]以及自動駕駛[4] 等安全攸關型應用。例如，無人駕駛飛機防撞系統 （Aircraft Collision Avoidance System, ACAS）使用 深度神經網絡根據附近入侵者飛機的位置和速度 來預測最佳行動。然而，盡管深度神經網絡已經顯 示出解決復雜問題的有效性和強大能力，但它們僅 限于僅滿足最低安全完整性級別的系統，因此它們 在安全關鍵型環境中的采用仍受到限制，主要原因 在于在大多數情況下神經網絡模型被視為無法對 其預測行為進行合理解釋的黑匣子，并且在理論上難以證明其性質。
隨著深度學習的對抗攻擊領域日益廣泛，對抗 樣本的危險性日益凸顯[7,12,13]，即通過向正常樣例中添加精細設計的、人類無法感知的擾動達到不干 擾人類認知卻能使機器學習模型做出錯誤判斷。以圖像分類任務為例，如圖 1 所示，原始樣本以 57.7% 的置信度被模型分類為“熊貓”,而添加對抗擾動之 后得到的樣本則以 99.3%的置信度被錯誤地分類為 “長臂猿”，然而對于人而言，對抗樣本依然會被 視為熊貓。由于這種細微的擾動通常是人眼難以分辨的，因而使得攻擊隱蔽性極強、危害性極大，給 ACAS 等安全攸關型應用中部署的深度學習模型帶 來了巨大的安全威脅。
為了防御對抗樣本攻擊，研究者進行了一系列的防御方法探索[5-11]。然而，即使是被廣泛認可并且迄今為止最成功的?∞防御[5]，它的?0魯棒性比未防御的網絡還低，并且仍然極易受到?2的擾動影響[14]。這些結果表明，僅對對抗攻擊進行經驗性的防御無法保證模型的魯棒性得到實質性的提升，模型的魯棒性需要一個定量的、有理論保證的指標進行評估。因此，如果要將深度學習模型部署到諸如自 動駕駛汽車等安全攸關型應用中，我們需要為模型 的魯棒性提供理論上的安全保證，即計算模型的魯 棒性邊界。模型魯棒性邊界是針對某個具體樣本而 言的，是保證模型預測正確的條件下樣本的最大可 擾動范圍，即模型對這個樣本的分類決策不會在這 個邊界內變化。具體地，令輸入樣本??的維度為??， 輸出類別的個數為??，神經網絡模型為??: ??? → ???， 輸入樣本的類別為 ?? = ???????????? ???? ?? ,?? = 1,2, … ,??，在???空間假設下，模型對??提供?-魯棒性 保證表明模型對??的分類決策不會在這個樣本???空 間周圍?大小內變化。
在本文中，我們首先闡述了深度學習模型魯棒性分析現存的問題與挑戰，然后從精確與近似兩個角度對現有的魯棒性分析方法進行系統的總結和科學的歸納，并討論了相關研究的局限性。最后，我們討論了深度學習模型魯棒性分析問題未來的研究方向。
問題與挑戰
目前，深度神經網絡的魯棒性分析問題的挑戰主要集中在以下幾個方面：
（1）神經網絡的非線性特點。由于非線性激 活函數和復雜結構的存在，深度神經網絡具有非線 性、非凸性的特點，因此很難估計其輸出范圍，并 且驗證分段線性神經網絡的簡單特性也已被證明 是 NP 完全問題[15]。這一問題的難點在于深度神經 網絡中非線性激活函數的存在。具體地，深度神經 網絡的每一層由一組神經元構成，每個神經元的值 是通過計算來自上一層神經元的值的線性組合，然 后將激活函數應用于這一線性組合。由于這些激活 函數是非線性的，因此這一過程是非凸的。以應用 最為廣泛的激活函數 ReLU 為例，當 ReLU 函數應 用于具有正值的節點時，它將返回不變的值，但是 當該值為負時，ReLU 函數將返回 0。然而，使用 ReLU 驗證 DNN 屬性的方法不得不做出顯著簡化 的假設，例如僅考慮所有 ReLU 都固定為正值或 0 的區域[16]。直到最近，研究人員才能夠基于可滿足 性模理論等形式方法，對最簡單的 ReLU 分段線性 神經網絡進行了初步驗證[15,21]。由于可滿足性模理 論求解器難以處理非線性運算，因此基于可滿足性 模理論的方法通常只適用于激活函數為分段線性的神經網絡，無法擴展到具有其它類型激活函數的神經網絡。
（2）神經網絡的大規模特點。在實際應用中， 性能表現優秀的神經網絡通常具有大規模的特點。因此，盡管每個 ReLU 節點的線性區域可以劃分為 兩個線性約束并有效地進行驗證，但是由于線性片 段的總數與網絡中節點的數量成指數增長[17,18]，對 整個網絡進行精確驗證是非常困難的。這是因為對 于任何大型網絡，其所有組合的詳盡枚舉極其昂 貴，很難準確估計輸出范圍。此外，基于可滿足性 模理論的方法嚴重受到求解器效率的限制，僅能處 理非常小的網絡（例如，只有 10 到 20 個隱藏節點 的單個隱藏層[20]），無法擴展到大多數現實世界中 的大型網絡，而基于采樣的推理技術（例如黑盒蒙 特卡洛采樣）也需要大量數據才能在決策邊界上生 成嚴格的準確邊界[19]。
總之，由于不同學者所處的研究領域不同，解 決問題的角度不同，所提出的魯棒性分析方法也各 有側重，因此亟需對現有的研究工作進行系統的整 理和科學的歸納、總結、分析。典型的模型魯棒性 分析方法總結如表 1 所示。目前的模型魯棒性分析 方法主要分為兩大類：（1）精確方法：可以證明精 確的魯棒性邊界，但計算復雜度高，在最壞情況下 計算復雜度相對于網絡規模是成指數增長的，因此 通常只適用于極小規模的神經網絡；（2）近似方法：效率高、能夠擴展到復雜神經網絡，但只能證明近似的魯棒性邊界。
精確方法
精確方法主要是基于離散優化 （DiscreteOptimization）理論來形式化驗證神經網 絡中某些屬性對于任何可能的輸入的可行性，即利 用可滿足性模理論（Satisfiability Modulo Theories, SMT）或混合整數線性規劃（Mixed Integer Linear Programming, MILP）來解決此類形式驗證問題。這 類方法通常是通過利用 ReLU 的分段線性特性并在 搜索可行解時嘗試逐漸滿足它們施加的約束來實 現的。圖 2 梳理了典型模型魯棒性精確分析方法的 相關研究工作。
近似方法
由于在??? ? ????????假設空間內，對于激活函數為 ReLU 的神經網絡，計算其精確的魯棒性邊界是一 個 NP 完備（NP-Complete，NPC）問題[15]，因此大 多數研究者通常利用近似方法計算模型魯棒性邊 界的下界，下文提到模型魯棒性邊界時通常也指的 是這個下界。此外，對抗攻擊[12]可以得到模型魯棒 性邊界的上界[24]。因此，精確的模型魯棒性邊界可 以由上界和下界共同逼近。這類方法通常基于魯棒 優化思想，通過解決公式（1）的內層最大化問題 來估計模型魯棒性邊界：
其中，??代表正常樣本，?? 代表對抗樣本，???? (??)代 表對抗樣本可能存在的范圍，??代表樣本真實標簽， ????代表以θ為參數的模型，??代表損失函數。圖 3 梳 理了典型模型魯棒性近似分析方法的相關研究工 作。
未來研究方向
本文介紹了模型魯棒性分析問題的背景與挑戰，探討了相關定義，進而對目前主流的模型魯棒性方法與性能做了介紹。從目前已有的相關方法來 看，我們認為今后對模型魯棒性分析方法的研究， 將主要圍繞以下幾個方向展開：
（1）進一步拓展對抗擾動的類型。從攻擊者 添加擾動的類型來看，現存的大多數模型魯棒性方 法都是針對在像素點上添加擾動的對抗攻擊進行 的魯棒性分析，然而在實際中，對抗性圖像有可能 經過旋轉、縮放等幾何變換，而現存大多數方法無 法擴展到此類變換。雖然 Balunovic 等人提出的 DeepG[102]初步嘗試了將抽象解釋的思想用于分析 幾何變換對抗攻擊的模型魯棒性空間，但是這個方 向仍然值得更多深入研究，進一步提升精度和可擴展性。
（2）不同魯棒性類型之間的平衡。輸入樣本?? 的局部魯棒性（即神經網絡應為以??為中心的半徑 為?的球中的所有輸入產生相同的預測結果）依賴 于在輸入空間上定義的合適的距離度量標準，在實 際中，對于在非惡意環境中運行的神經網絡而言， 這可能是太過苛刻的要求。同時，由于僅針對特定 輸入定義了局部魯棒性，而對于未考慮的輸入不提 供保證，因此局部魯棒性也具有固有的限制性。全 局魯棒性則通過進一步要求輸入空間中的所有輸 入都滿足局部魯棒性來解決這個問題。除了在計算 上難以控制之外，全局魯棒性仍然太強而無法實際 使用。因此，在實際中如何更好地平衡局部魯棒性 與全局魯棒性，仍然是一個亟待解決的挑戰。
（3）進一步提升模型魯棒性驗證方法。從實 證結果來看，大多數基于經驗的防御方法非常容易 被更強的攻擊所攻破，而其他魯棒性分析方法在很 大程度上取決于神經網絡模型的體系結構，例如激 活函數的種類或殘差連接的存在。相比之下，隨機 平滑不對神經網絡的體系結構做任何假設，而僅依 靠在噪聲假設下傳統模型進行良好決策的能力，從 而將魯棒分類問題擴展為經典監督學習問題，可用 于社區檢測[103]等任務。因此，基于隨機平滑的魯 棒性分析方法可能是研究模型魯棒空間的最有前 途的方向之一。此外，由于基于概率的方法具有更 寬松的魯棒性定義，更有可能被實用的神經網絡所 滿足和驗證，因此在合適的擾動分布假設下也是較 有前景的方向之一。
（4）研究可證明魯棒模型訓練方法。此外， 如何訓練對對抗性擾動具有可證明魯棒的神經網 絡以及如何訓練更容易驗證魯棒性的神經網絡，也 是未來的研究方向之一。目前研究者在這個方向進 行的初步探索包括利用正則化技術將模型的形式 化魯棒邊界與模型的目標函數結合起來[104]、經驗 性對抗風險最小化（Empirical Adversarial Risk Minimization，EARM）[36,105]、隨機自集成[106]、剪 枝[82,107]以及改善神經網絡的稀疏性[108]。但是現存 技術主要集中于圖像領域，難以擴展到惡意軟件等 安全攸關型應用，并且仍然存在精度以及可擴展性 上的不足，需要進一步的深入研究。
付費5元查看完整內容
面向知識圖譜的知識推理旨在通過已有的知識圖譜事實，去推斷新的事實，進而實現知識庫的補全。近年來，盡管基于分布式表示學習的方法在推理任務上取得了巨大的成功，但是他們的黑盒屬性使得模型無法為預測出的事實做出解釋。所以，如何設計用戶可理解、可信賴的推理模型成為了人們關注的問題。本文從可解釋性的基本概念出發，系統梳理了面向知識圖譜的可解釋知識推理的相關工作，具體介紹了事前可解釋推理模型和事后可解釋推理模型的研究進展；根據可解釋范圍的大小，本文將事前可解釋推理模型進一步細分為全局可解釋的推理和局部可解釋的推理；在事后解釋模型中，本文回顧了推理模型的代表方法，并詳細介紹提供事后解釋的兩類解釋方法。此外，本文還總結了可解釋知識推理在醫療、金融領域的應用。隨后，本文對可解釋知識推理的現狀進行概述，最后展望了可解釋知識推理的未來發展方向，以期進一步推動可解釋推理的發展和應用。
//www.jos.org.cn/jos/article/abstract/6522
知識圖譜（Knowledge Graph）本質是一種語義網絡，通常用 (頭實體，關系，尾實體)/ ( ,r, t) h 這樣 的三元組來表達事物屬性以及事物之間的語義關系。自谷歌提出知識圖譜概念以來，知識圖譜已經為智能 問答、對話生成、個性化推薦等多個 NLP 任務領域提供了有力支撐。雖然目前的知識圖譜中存在大量的實 體和事實數據，但是這樣大規模的數據仍然不完整，大量缺失的三元組嚴重限制了這些下游任務的性能。知識推理，這一旨在根據一定的推理機制去預測圖譜中缺失三元組的任務，也吸引了學術界越來越多的目光。
早在 2013 年，Li 等人[1] 提出利用表示學習的方法去做知識推理，通過將實體和關系映射到低維連續 的向量空間，將推理預測任務轉化為實體與關系所關聯的簡單的向量/矩陣操作。鑒于該方法的自由度高、 可計算性好、推理效率高等優點，該類方法在近幾年得到了廣泛關注和發展，并且廣泛的應用在推薦系統、 對話生成等互聯網場景。在這些場景下，研究者們更多的關注如何提高知識推理的性能，忽略知識推理發 生錯誤時的風險問題。即便推理模型在這些場景下產生錯誤推理時，通常來說，并不會招致非常嚴重的后果。然而，在當今人工智能技術應用的大趨勢下，知識推理不僅可以應用在上述互聯網場景，而且越來越 多的被應用在和人類的生產生活息息相關的一些領域（例如，智能醫療[98,99,100]、軍事[112] 、金融[90,111]、交 通運輸[113,114]），這些領域往往對模型的安全性能要求較高，風險高度敏感。例如，在醫療領域，推理的可 靠性會關系到人的生命安全。通常來說，在這些領域，僅僅獲得預測結果是不夠的，模型還必須解釋是怎 么獲得這個預測的，來建立用戶和推理模型之間的信任。
隨著深度學習的發展，知識推理方法的模型結構越來越復雜，僅僅一個網絡就可能包含幾百個神經元、 百萬個參數。盡管這些推理模型在速度、穩定性、可移植性、準確性等諸多方面優于人類，但由于用戶無 法對這類模型里的參數、結構、特征產生直觀理解，對于模型的決策過程和模型的推理依據知之甚少，對 于模型的決策過程知之甚少，不知道它何時會出現錯誤，在風險敏感的領域中，用戶仍然無法信任模型的 預測結果。因此，為了建立用戶和推理模型之間的信任，平衡模型準確率和可解釋性之間的矛盾，可解釋 性知識推理在近幾年的科研會議上成為關注熱點。
盡管有很多學者對知識推理領域進行了深入的研究，并從不同的角度（如分布式表示角度[120] 、圖神 經網絡角度[121] 、神經-符號角度[119] 等）對推理模型進行梳理和總結。然而，在推理模型的可解釋性方面 卻缺少深入的對比和總結。為了促進可解釋知識推理的研究與發展，本文對現有的可解釋推理模型進行了 系統梳理、總結和展望。本文首先闡述可解釋性的定義和可解釋性在推理任務中的必要性，并介紹常見的 可解釋模型劃分標準；然后，根據解釋產生的方式，對現有的可解釋知識推理模型進行總結和歸類，并討 論相關方法的局限性；接著，簡單介紹可解釋知識推理在金融領域和醫療領域的應用。最后，本文討論可 解釋知識推理面臨的挑戰以及可能的研究方向。
1 可解釋的知識推理
在詳細介紹現有的可解釋知識推理模型之前，首先介紹知識推理的基本概念，接著對什么是可解釋性 （Interpretability），以及為什么要在推理任務中注重可解釋性進行介紹，最后對本文的劃分標準做簡要說明。
1.1 知識推理的基本概念
2012 年，谷歌正式提出知識圖譜的概念，用于改善自身的搜索質量。知識圖譜通常用 ( ,r, t) h 這樣 的三元組表達實體及其實體之間的語義關系，其中 h 代表頭實體， r 代表實體之間的關系， t 代表尾實體。例如（詹姆斯·卡梅隆，執導，泰坦尼克號）即是一個三元組，其中頭實體和尾實體分別為“詹姆斯·卡梅隆” 和“泰坦尼克號”，“執導”是兩個實體之間的關系。代表性的知識圖譜，如 DBpedia[108] 、Freebase[53] 、 Wikidata[55] 、YAGO[107] 等，雖然包含數以億計的三元組，但是卻面臨非常嚴重的數據缺失問題。據 2014 年的統計，在 Freebase 知識庫中，有 75%的人沒有國籍信息，DBpedia 中 60% 的人缺少沒有出生地信息 [125] 。知識圖譜的不完整性嚴重制約了知識圖譜在下游任務中的效能發揮。因此，如何讓機器自動基于知 識圖譜中的已有知識進行推理，從而補全和完善知識圖譜，成為了工業界和學術界都亟待解決的問題。
總的來說，面向知識圖譜的知識推理實質上是指利用機器學習或深度學習的方法，根據知識圖譜中已 有的三元組去推理出缺失的三元組，從而對知識圖譜進行補充和完善。例如，已知（詹姆斯·卡梅隆，執導， 泰坦尼克號）和（萊昂納多·迪卡普里奧，出演，泰坦尼克號），可以得到（詹姆斯·卡梅隆，合作，萊昂納 多·迪卡普里奧）。知識推理主要包含知識圖譜去噪[12] 和知識圖譜補全（又稱之為鏈接預測）[1,27,94,95]兩個 任務[117] ，其中，知識圖譜去噪任務專注于知識圖譜內部已有三元組正確性的判斷；而知識圖譜補全專注 于擴充現有的圖譜。根據要推理元素的不同，知識圖譜補全任務可以進一步細分為實體預測和關系預測。其中，實體預測是指給定查詢 ( ,r,?) h ，利用已有事實的關系，推理出另一個實體并由此構成完整三元組， 同理，關系預測則是指給定查詢 ( ,?, t) h ，推理給定的頭尾實體之間的關系。由于知識圖譜中大多數三元組 都是正確的，知識圖譜去噪任務通常采用對已有三元組進行聯合建模并進一步判斷特定三元組是否成立的 方法。在這種情況下，知識圖譜補全任務可以轉化為知識圖譜去噪任務[123,124]。為此，在下面的內容里，本 文以知識圖譜補全任務為中心，對相關的可解釋性方法進行梳理和總結。
1.2 可解釋性及其在知識推理中的必要性
目前學術界和工業界對于可解釋性沒有明確的數學定義[62] ，不同的研究者解決問題的角度不同，為 可解釋性賦予的涵義也不同，所提出的可解釋性方法也各有側重。目前被廣泛接受的一種定義由 Miller （2017）[2,42]所提出，指可解釋性是人們能夠理解決策原因的程度。如果一個模型比另一個模型的決策過程 更簡單、明了、易于理解，那么它就比另一個模型具有更高的可解釋性。
在某些情況下，我們不必關心模型為什么做出這樣的預測，因為它們是在低風險的環境中使用的，這 意味著錯誤不會造成嚴重后果（例如，電影推薦系統），但是對于某些問題或任務，僅僅獲得預測結果是 不夠的。該模型還必須解釋是怎么獲得這個預測的，因為正確的預測只部分地解決了原始問題。通常來說， 以下三點原因推動了對可解釋性的需求：
1、高可靠性要求。盡管可解釋性對于一些系統來說并不是不可或缺的，但是，對于某些需要高度可靠 的預測系統來說很重要，因為錯誤可能會導致災難性的結果（例如，人的生命、重大的經濟損失）。可解釋性可以使潛在的錯誤更容易被檢測到，避免嚴重的后果。此外，它可以幫助工程師查明根 本原因并相應地提供修復。可解釋性不會使模型更可靠或其性能更好，但它是構建高度可靠系統 的重要組成部分。
2、道德和法律要求。第一個要求是檢測算法歧視。由于機器學習技術的性質，經過訓練的深度神經網 絡可能會繼承訓練集中的偏差，這有時很難被注意到。在我們的日常生活中使用 DNN 時存在公 平性問題，例如抵押資格、信用和保險風險評估。人們要求算法能夠解釋作出特定預測或判斷的 原因，希望模型的解釋能夠使“算法歧視”的受害者訴諸人權。此外，推理模型目前也被用于新 藥的發現和設計[124] 。在藥物設計領域，除了臨床測試結果以外，新藥還需要通常還需要支持結 果的生物學機制，需要具備可解釋性才能獲得監管機構的批準，例如國家藥品監督管理局 (NMPA)。
3、科學發現的要求。推理模型本身應該成為知識的來源，可解釋性使提取模型捕獲的這些額外知識成 為可能。當深度網絡達到比舊模型更好的性能時，它們一定發現了一些未知的“知識”。可解釋性 是揭示這些知識的一種方式。
1.3 本文的劃分標準
根據不同的劃分標準，知識推理模型可以被劃分成不同的類別。其中，根據解釋產生的方法，可以將 推理模型劃分為兩大類：事前可解釋和事后可解釋[41,62,96,97,102,118]。其中，事前可解釋模型主要指不需要額 外的解釋方法，解釋蘊含在自身架構之中的模型。事后可解釋性是指模型訓練后運用解釋方法進行推理過 程和推理結果的解釋，解釋方法自身是不包含在模型里面的。一種方法被看作能夠對黑盒模型進行解釋， 是指該方法可以：（1）通過可解釋和透明的模型（例如，淺決策樹、規則列表或者稀疏線性模型）對模型 的行為進行近似，可以為模型提供全局的可解釋；（2）能夠解釋模型在特定輸入樣例上進行預測的原因；（3）可以對模型進行內部檢查，了解模型的某些特定屬性，譬如模型敏感性或深度學習中神經元在某一特 定決策中起到的作用[41] 。值得注意的是，可以將事后解釋方法應用于事前可解釋的模型上，例如，可以 從敏感性分析的角度對事前模型進行剖析。此外，根據可解釋的范圍大小----是否解釋單個實例預測或整個 模型行為，可以將模型劃分為局部可解釋和全局可解釋兩大類[97,96]；根據解釋方法是否特定于模型，可以 將模型劃分為特定于模型和模型無關兩種類別[96] 。在接下來的內容里，本文按照解釋產生的方式，對知 識推理模型進行總結和歸類。
付費5元查看完整內容
摘要
在過去的幾十年里，人工智能技術迅猛發展，改變了每個人的日常生活，深刻改變了人類社會的進程。開發人工智能的目的是通過減少勞動、增加生活便利、促進社會公益來造福人類。然而，最近的研究和人工智能應用表明，人工智能可能會對人類造成意外傷害，例如，在安全關鍵的情況下做出不可靠的決定，或通過無意中歧視一個或多個群體而破壞公平。因此，值得信賴的人工智能最近受到越來越多的關注，人們需要避免人工智能可能給人們帶來的負面影響，以便人們能夠充分信任人工智能技術，與人工智能技術和諧相處。近年來，人們對可信人工智能進行了大量的研究。在本次綜述中，我們從計算的角度對值得信賴的人工智能進行了全面的評述，幫助讀者了解實現值得信賴的人工智能的最新技術。值得信賴的人工智能是一個大而復雜的課題，涉及方方面面。在這項工作中，我們關注實現值得信賴的人工智能的六個最關鍵方面: (i) 安全性和健壯性，(ii) 非歧視和公平，(iii) 可解釋性，(iv) 隱私，(v) 問責性和可審計性，和(vi) 環境福祉。對于每個維度，我們根據一個分類回顧了最近的相關技術，并總結了它們在真實系統中的應用。我們還討論了不同維度之間的協調和沖突互動，并討論了值得信賴的人工智能在未來研究的潛在方面。
引言
人工智能(AI)是一門研究和發展模擬、擴展和拓展人類智能的理論、方法、技術和應用系統的科學，為現代人類社會帶來了革命性的影響。從微觀角度來看，人工智能在我們生活的許多方面發揮著不可替代的作用。現代生活充滿了與人工智能應用的互動: 從用人臉識別解鎖手機，與語音助手交談，到購買電子商務平臺推薦的產品; 從宏觀角度看，人工智能創造了巨大的經濟成果。世界經濟論壇的《2020年就業前景報告》[136]預測，人工智能將在5年內創造5800萬個新就業崗位。到2030年，人工智能預計將產生13萬億美元的額外經濟利潤，對全球GDP的年增長率貢獻1.2%[54]。然而，隨著其快速而令人印象深刻的發展，人工智能系統也暴露了其不值得信任的一面。例如，安全至關重要的人工智能系統在對抗攻擊時很脆弱。無人駕駛汽車的深度圖像識別系統可能無法識別被惡意攻擊者修改的路標[345]，對乘客安全構成極大威脅。此外，人工智能算法可能會導致偏見和不公平。在線人工智能聊天機器人可能會產生不雅、種族主義和性別歧視的內容[335]，冒犯用戶，并產生負面社會影響。此外，人工智能系統還存在泄露用戶隱私和商業秘密的風險。黑客可以利用人工智能模型產生的特征向量來重構私人輸入數據，如指紋[25]，從而泄露用戶的敏感信息。這些漏洞會使現有的人工智能系統無法使用，并可能造成嚴重的經濟和安全后果。對于人工智能來說，要想在一個領域取得進步、得到更廣泛的應用并創造更多的經濟價值，對誠信的擔憂已經成為一個巨大的障礙。因此，如何構建可信的人工智能系統成為學術界和業界關注的焦點。
近年來，出現了大量關于可信人工智能的文獻。隨著構建可信人工智能的需求日益增長，總結已有成果并探討未來可能的研究方向勢在必行。在本次綜述中，我們提供了值得信賴的人工智能的全面概述，以幫助新手對什么使人工智能系統值得信賴有一個基本的了解，并幫助老兵跟蹤該領域的最新進展。我們澄清了可信人工智能的定義，并介紹了可信人工智能的六個關鍵維度。對于每個維度，我們給出了它的概念和分類，并回顧了有代表性的算法。我們還介紹了不同維度之間可能的互動，并討論了值得信賴的人工智能尚未引起足夠關注的其他潛在問題。除了定義和概念，我們的綜述還關注實現可信人工智能每個維度的具體計算解決方案。這一視角有別于現有的一些相關工作，如政府指南[307]，建議如何以法律法規的形式建立一個值得信賴的人工智能系統，或綜述[51,318]，從高層次、非技術的角度討論值得信賴的人工智能的實現。
根據歐盟(EU)最近提供的人工智能倫理指南[307]，一個值得信賴的人工智能系統應符合四項倫理原則: 尊重人類自主、防止傷害、公平和可解釋性。基于這四個原則，人工智能研究人員、實踐者和政府提出了值得信賴的人工智能的各個具體維度[51,307,318]。在這項調查中，我們重點關注已經被廣泛研究的六個重要和相關的維度。如圖1所示，它們是安全性和穩健性、非歧視性和公平性、可解釋性、隱私性、可審計性和可問責性，以及環境福祉。
余下論文綜述組織如下。在第2節中，我們明確了值得信賴的AI的定義，并提供了值得信賴的AI的各種定義，幫助讀者理解來自計算機科學、社會學、法律、商業等不同學科的研究人員是如何定義值得信賴的AI系統的。然后，我們將值得信賴的人工智能與倫理人工智能和負責任的人工智能等幾個相關概念區分開來。在第3節中，我們詳細介紹了安全性和穩健性的維度，這要求人工智能系統對輸入的噪聲擾動具有穩健性，并能夠做出安全的決策。近年來，大量研究表明，人工智能系統，尤其是那些采用深度學習模型的系統，可能對有意或無意的輸入擾動非常敏感，對安全至關重要的應用構成巨大風險。例如，如前所述，自動駕駛汽車可能會被改變的路標欺騙。此外，垃圾郵件檢測模型可能會被設計良好的文本[30]郵件欺騙。因此，垃圾郵件發送者可以利用這個弱點，使他們的電子郵件不受檢測系統的影響，這將導致糟糕的用戶體驗。已經證明，人工智能算法可以通過提供的訓練例子學習人類的歧視，并做出不公平的決定。例如，一些人臉識別算法難以識別非洲裔美國人的面孔[280]或將其誤分類為大猩猩[168]。此外，語音聽寫軟件在識別男性聲音時通常比識別女性聲音表現得更好[277]。
在第4節中，我們介紹了非歧視和公平的維度，在這個維度中，人工智能系統被期望避免對某些群體或個人的不公平偏見。在第5節中，我們討論了可解釋性的維度，這表明AI的決策機制系統應該能夠向利益相關者解釋(他們應該能夠理解解釋)。例如，人工智能技術已經被用于根據患者的癥狀和身體特征進行疾病診斷[289]。在這種情況下，黑箱決策是不可接受的。推理過程應該對醫生和患者透明，以確保診斷的每個細節都是準確的。
研究人員發現，一些人工智能算法可以存儲和暴露用戶的個人信息。例如，在人類會話語料庫上訓練的對話模型可以記住敏感信息，如信用卡號碼，這些信息可以通過與模型交互而得到[164]。在第6節中，我們提出了隱私的維度，這需要一個人工智能系統來避免泄露任何私人信息。在第7節中，我們描述了可審計性和問責性的維度，該維度期望人工智能系統由第三方評估，并在必要時為人工智能故障分配責任，特別是在關鍵應用中[307]。最近，人工智能系統對環境的影響引起了人們的關注，因為一些大型人工智能系統消耗了大量的能源。作為一項主流的人工智能技術，深度學習正在朝著追求更大的模型和更多的參數的方向發展。因此，會消耗更多的存儲和計算資源。一項研究[312]表明，訓練BERT模型[110]需要排放大約1400磅二氧化碳，這與跨美國的往返飛行相當。因此，人工智能系統應該是可持續的和環境友好的。
在第8節中，我們回顧了環境福利的維度。在第9節中，我們將討論不同維度之間的相互作用。最近的研究表明，值得信賴的AI的不同維度之間存在一致性和沖突[307,333]。例如，深度神經網絡的魯棒性和可解釋性緊密相連，魯棒模型往往更具有可解釋性[122,322]，反之亦然[255]。此外，研究表明，在某些情況下，健壯性和隱私之間存在權衡。例如，對抗性防御方法會使模型更容易受到成員推理攻擊，增加了訓練數據泄漏的風險[308]。
除了上述六個維度，值得信賴的人工智能還有更多的維度，如人工代理和監督、可信性等。盡管這些額外的維度與本文中考慮的6個維度一樣重要，但它們還處于開發的早期階段，相關文獻非常有限，特別是對于計算方法而言。因此，在第10節中，我們將討論值得信賴的人工智能的這些方面，作為未來需要專門研究的方向。
付費5元查看完整內容
人工智能和深度學習算法正在高速發展，這些新興技術在音視頻識別、自然語言處理等領域已經得到了廣泛應用。然而，近年來研究者發現，當前主流的人工智能模型中存在著諸多安全隱患，并且這些隱患會限制人工智能技術的進一步發展。因此，研究了人工智能模型中的數據安全與隱私保護問題。對于數據與隱私泄露問題，主要研究了基于模型輸出的數據泄露問題和基于模型更新的數據泄露問題。在基于模型輸出的數據泄露問題中，主要探討了模型竊取攻擊、模型逆向攻擊、成員推斷攻擊的原理和研究現狀；在基于模型更新的數據泄露問題中，探討了在分布式訓練過程中，攻擊者如何竊取隱私數據的相關研究。對于數據與隱私保護問題，主要研究了常用的3類防御方法，即模型結構防御，信息混淆防御，查詢控制防御。綜上，圍繞人工智能深度學習模型的數據安全與隱私保護領域中最前沿的研究成果，探討了人工智能深度學習模型的數據竊取和防御技術的理論基礎、重要成果以及相關應用。
付費5元查看完整內容
多模態學習
·
摘要：大數據是多源異構的。在信息技術飛速發展的今天，多模態數據已成為近來數據資源的主要形式。研究多模態學習方法，賦予計算機理解多源異構海量數據的能力具有重要價值。本文歸納了多模態的定義與多模態學習的基本任務，介紹了多模態學習的認知機理與發展過程。在此基礎上，重點綜述了多模態統計學習方法與深度學習方法。此外，本文系統歸納了近兩年較為新穎的基于對抗學習的跨模態匹配與生成技術。本文總結了多模態學習的主要形式，并對未來可能的研究方向進行思考與展望。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191