系統介紹可信推薦系統構建與技術
推薦系統(RS)服務于以人為中心的人工智能的最前沿,被廣泛部署在web的幾乎每個角落,并促進了人類的決策過程。然而,盡管RS具有巨大的能力和潛力,但它也可能會對用戶、物品、生產者、平臺,甚至整個社會產生不利影響,例如由于不透明而損害用戶信任,對不同消費者或生產者的不公平對待,因個性化廣泛使用用戶私人數據而造成的隱私問題,等等。所有這些都導致了對可信推薦系統(TRS)的迫切需求,以減輕或避免這些不利影響和風險。在本次綜述中,我們將介紹值得信賴和負責任推薦的相關技術,包括但不限于可解釋推薦、推薦公平性、隱私感知推薦、推薦穩健性、用戶可控推薦,以及這些不同視角在值得信賴和負責任推薦中的關系。我們希望通過此次綜述,讓讀者對研究領域有一個全面的認識,并引起社會對可信推薦的重要性、已有的研究成果和未來的研究方向的關注。
推薦系統(RS)廣泛應用于各種系統,如電子商務、社交網絡、搜索引擎、新聞門戶、招聘平臺、智能助手、智能家居和智能城市服務,以及醫療保健和金融應用,其提供高質量服務的能力已得到公認,通過為每個人提供量身定制的內容,彌合用戶和項目之間的差距。推薦系統不僅可以幫助用戶更高效地找到相關信息,還可以通過提供相關建議來直接影響人類的決策過程,甚至可以通過將所選擇的內容暴露給用戶來塑造用戶的世界觀。總的來說,推薦系統是以人類為中心的AI研究的前沿,是人類和AI之間的橋梁。
然而,RS有利有弊,它既可能帶來希望,也可能帶來風險。越來越多的人擔心,不負責任地使用推薦技術可能會帶來反作用和不可信的問題,例如不透明導致用戶信任受損,不同用戶、生產者或平臺受到不公平對待,大量使用用戶隱私數據進行個性化帶來的隱私問題,用戶缺乏可變性導致用戶已有興趣的反復強化而產生的回音室——這些問題還在繼續擴大。這些漏洞極大地限制了推薦算法的開發和部署,甚至可能導致嚴重的經濟和社會問題。因此,在開發現代推薦系統時,僅僅考慮推薦準確度是不夠的。我們還需要確保模型是公平的,沒有被篡改,不會在不同的條件下崩潰,可以被人類理解。此外,RS的設計和開發過程也需要透明和包容。除了準確性之外,所有這些使推薦系統安全、負責、值得我們信任的考慮因素都與值得信賴的推薦系統研究有關。由于推薦系統是以人為中心的人工智能研究的一個重要方向,直接涉及到人類的循環,值得信賴的推薦系統(TRS)在過去的幾年里一直領導著值得信賴的人工智能(TAI)的研究,包括可信性、公平性、魯棒性、隱私等方面的定義、方法和評估,以及人類如何與值得信賴的人工智能系統進行交互。
因此,作為推薦系統研究背景下值得信賴人工智能的一個重要實例,在本綜述中,我們將值得信賴的推薦系統引入為可解釋性、公平性、隱私性、魯棒性和可控性等可信賴核心方面的勝任RS。我們相信,在設計推薦系統時,將這些方面結合起來,將提高推薦系統的責任感,獲得人類用戶的信任,并顯著促進推薦系統的社會效益。與現有綜述的差異。最近已經有一些針對推薦場景中特定倫理問題的綜述,如可解釋性[61,340]、偏見和公平[54,77,178,225,288,328]、隱私保護[140,308]、用戶可控性[142,143]等。這些調查成功地強調了推薦系統社會責任的重要性,導致了這一重要研究方向的進一步發展。然而,這些問題只是以各自獨立的方式呈現出來,而對推薦中的可信度以及各種可信度觀點之間的內在關系的系統認識是非常必要的。與我們的研究最接近的是Dong等人[82]和Mobasher等人[207]。然而,【82】只涉及用戶社會關系、魯棒性和可解釋性,【207】只討論了推薦中的攻擊模型和算法魯棒性,并沒有考察這些概念之間的內在關系。相比之下,我們的工作在更全面的視角上引入了可信度,強調了視角之間的關系,并闡明了探索視角交叉的開放性問題和未來方向。
**與其他值得信賴的人工智能研究的關系。**由于它的重要性和必要性,關于值得信賴的人工智能(TAI)的含義有很多討論和爭論。特別是Toreini等人[273]研究了人工智能的信任,并將人工智能的屬性總結為能力、仁慈、正直和可預測性;Varshney[280]認為,一個值得信賴的機器學習系統應該具有足夠的基本性能、可靠性、人類互動和無私性;Liu等人[186]認為TAI是一種無威脅或無風險的項目,并關注實現可信度的六個維度:安全性與穩健性、非歧視與公平、可解釋性、隱私性、問責性與可審計性以及環境福祉。此外,在2019年,歐盟(EU)提出了《值得信賴的AI1倫理準則》,要求人工智能系統應滿足四項倫理原則:尊重人類自主權、防止傷害、可解釋性和公平性[6]。雖然現有文獻從不同角度探討了誠信的空間,但得到最多認可和共識的幾個關鍵方面是可解釋性、公平性、隱私性、魯棒性和可控性,我們認為這些也是TRS的關鍵組成部分。
該綜述的主要讀者是RS的研究人員、技術人員和專業人員,他們的目標是使推薦系統更值得信賴和負責任。另一方面,由于推薦系統是一個非常具有代表性和普遍性的以人為中心的AI系統,因此綜述的目標讀者還包括一般AI研究人員、實踐者、理論家以及對AI的可信度、倫理和法規感興趣的公共決策者。余下的綜述安排如下:第2節介紹了推薦系統的初步知識和一些有代表性的推薦算法。第3、4、5、6、7節分別關注可解釋性、公平性、隱私性、穩健性和可控性。最后一部分是對全文的總結。
可解釋性
可解釋推薦一直是業界和學術界的一個重要領域,旨在提高推薦系統的透明度、用戶滿意度和可信度[340,341]。具體來說,目標是提供可理解的理由以及推薦的項目,以幫助利益相關者做出更好和可靠的決策,同時提高推薦系統的透明度和可信度。推薦系統中的解釋可以幫助模型開發人員理解和調試決策過程的工作機制,也可以促進使用系統產生的結果的最終用戶更好地參與和信任。除了基于web門戶的推薦系統,解釋也被集成到對話式推薦界面中,如蘋果Siri、微軟Cortana和亞馬遜Alexa,作為終端用戶的直接交互門戶[62]。它們能夠提供清晰的用戶偏好,智能地與用戶進行交互,并結合一定的建議提供解釋。
公平性
長期以來,推薦系統一直被認為是“善意”的系統,它幫助用戶(例如,通過幫助他們找到相關的物品),并為企業創造價值(例如,提高銷售額或提高客戶留存率)[141]。然而,近年來,學術界和產業界都對建議書中的公平性問題提出了相當大的關注[178]。一些研究認為,RS可能在幾個方面容易受到不公平的影響,這可能會對代表性不足或弱勢群體造成不利后果[109,176,180,254]。例如,在電子商務系統中,RS可能主要促進某些生產者的利潤最大化[103],或者在在線就業市場中,RS可能會導致種族或性別歧視,不成比例地向某些用戶群體推薦低報酬的工作[109]。因此,為了提高RS[2]中不同利益相關者的滿意度,研究推薦中的公平性,建立可信負責的制度是很重要的。
隱私
隨著人們對收集和分析個人數據的機器學習方法的日益關注,數據隱私的道德需求已在強制性法規和法律中得到正式承認[22,281]。因此,近年來保護隱私的機器學習的研究得到了長足的發展[185]。人們相信,一個更值得信賴的網絡服務應該提供保護隱私的解決方案,以避免系統的任何參與者不希望的信息暴露。在推薦系統和一般的機器學習領域中,都存在多種隱私定義[5,148,255,257],在大多數情況下,它們具有相同的成分:
魯棒性
雖然推薦系統提高了信息搜索的效率,對客戶和生產者都有好處,但它也可能使系統的用戶在魯棒性方面受到威脅,這為第三方通過配置文件注入攻擊(又稱先令攻擊)操縱用戶的推薦結果留下了空間。這些攻擊的動機往往是惡意的,例如個人獲得不正當利潤、滲透某些商品/品牌的市場,甚至造成系統故障。由于推薦系統已經在許多高風險決策場景中被采用,這種漏洞引發了人們對如何在推薦系統中安全地采用機器學習技術的擔憂,以及如何精心設計推薦系統,使其在抵御攻擊者[13]的侵入時具有魯棒性和可信性的擔憂。
可控性
人工智能的可控性是人類面臨的最重要的問題之一[313],它是用戶與智能系統交互時必不可少的,在人機交互(HCI)領域已經研究了20多年[11,276]。在與人類互動的推薦系統中[154,199,245,250,258],可控性的重要性不可忽視。然而,盡管最近推薦性能有了成功的改進,但推薦系統中的可控性問題已經成為一個新的主要問題:目前大多數的RS大多是系統用戶不可控的,用戶只能被動地接收推薦結果。更具體地說,在使用非可控推薦系統時,用戶只能被動地選擇接受或不接受推薦結果,而很難控制自己收到的推薦結果是什么,更重要的是控制推薦系統對自己的了解。事實上,可控性是構建值得信賴的推薦系統的一個重要方面。最近的研究表明,即使推薦精度很高,用戶也可能不滿意[128,198],增加用戶對推薦系統的可控性可以增加用戶對推薦結果的滿意度和信任度[133,142,146,153,197,305,340]。
結論
本綜述總結了當前可信推薦系統研究的發展和趨勢,旨在促進和推進未來可信推薦系統的研究和實施。本綜述從技術角度為全面開發值得信賴的推薦系統提供了路線圖。我們首先定義推薦系統的可信性,并通過對可信性原則的分類來說明它們的特點。隨后,我們從可解釋性、公平性、隱私性、可控性和魯棒性等方面介紹并討論了可信推薦系統的最新進展。我們描述了每個組成部分的基本思想,詳細概述了每個組成部分的現有方法,并建議了這些組成部分未來的研究方向,特別是從跨方面的角度。總的來說,值得信賴的推薦系統的研究領域是重要的,并且隨著一系列不同的方法和應用而蓬勃發展,同時,使推薦系統負責任和值得我們信任是我們的研究界需要應對的最大挑戰之一。我們希望這項綜述能夠為這一領域感興趣的研究人員提供足夠的背景和知識來迎接這一挑戰。
時空數據挖掘的目的是在大的空間和時空數據中發現有趣的、有用的但非平凡的模式。應用于公共安全、生態學、流行病學、地球科學等領域。這個問題是具有挑戰性的,因為虛假模式的高社會成本和過高的計算成本。近年來的時空數據挖掘研究因其快速增長而需要更新。此外,他們沒有充分研究時空數據挖掘的并行技術。本文介紹了時空數據挖掘方法的最新進展。其次,對時空數據挖掘的并行計算方法進行了詳細的綜述; 時空數據挖掘是在大規模的時空數據中發現新的、非平凡的但潛在有用的模式的過程。時空(ST)數據包括地理參考的氣候變量、流行病爆發、犯罪事件、社交媒體、交通、交通動態等。由于其跨學科性質,分析和挖掘這些數據對于推進許多科學問題和現實世界應用的最先進技術是非常重要的。因此ST數據在公共安全、生態學、流行病學等多個領域的應用尤為突出。
圖1展示了時空數據挖掘的整體過程。輸入數據經過預處理去除噪聲、誤差等后進行時空分析,了解其時空分布。采用合適的時空數據挖掘算法產生輸出模式,然后由領域專家進行研究和驗證,發現新的見解,并相應地改進數據挖掘算法。
圖2顯示了時空(ST)模式的一個示例。該圖描述了一個城市犯罪數據集輸出的級聯時空模式[45],涉及幾種事件類型(酒吧倒閉、醉駕、襲擊)。圖2(a) -2 (c)顯示了每個事件類型的實例及其時間和位置,圖2(e)顯示了相同的事件實例。檢測到的ST模式提出了一個有趣的假設,即酒吧在關閉時是附近地區醉酒駕駛和攻擊犯罪的潛在發生期。這些信息可以幫助執法機構、公共安全組織和決策者確定適當的減輕犯罪行動。
通過算法挖掘時空數據帶來了獨特的計算挑戰。例如,由于數據量大,由于數據的多樣性,用戶可能會經歷不可接受的運行時間或花費大量的精力進行預處理。除了數量和種類,相對于吸收容量的高數據速度是另一個計算挑戰,用戶經常體驗到數據丟失。例如,數百萬條推文的實時處理涉及到對某些信息的實時預處理和挖掘。COVID 19安全數據[1]通過全國各地的附近信息(如poi、企業類別)每分鐘記錄人類流動情況。這涉及到信息的實時更新,例如對不同POI的訪問數量,導致大量的數據量(tb),這是不可能在本地機器上存儲和處理的。此外,US Census[2]包括保存在不同表和模式中的數百萬條記錄,跨越TB級的數據空間.
查詢這樣的數據可能非常耗時,而且在科學或地理計算平臺上,進一步應用算法在大規模計算時的性能通常很差。這樣的計算需要一個可擴展和可靠的軟件生態系統來解決廣泛的研究問題,并有效地幫助社會的決策者。因此,重要的是要讓廣大的科學家和用戶了解高性能、可擴展和開源的軟件工具,這些工具可以通過并行計算促進時空數據分析,從而顯著推進領域研究。然而,這些工作在最近的空間和時空數據挖掘研究中卻很少受到重視。
在這里,我們提供了一個全面的時空數據挖掘技術,并簡要描述了它們的統計基礎和主要輸出模式家族(例如,異常值,預測,熱點等)。我們還提供了在順序處理和并行處理環境中被廣泛研究的最近方法的最新文獻。與Shekhar等人[62]類似,本次調研首先回顧了以往的綜述,然后陳述了我們對本次綜述的貢獻(第2節)。第3節提供了與空間和時空數據相關的關鍵術語,描述了它們的統計基礎,并簡要陳述了時空數據挖掘中并行處理的社會重要性。第4節描述了六個主要的輸出模式家族(即時空異常值、遙耦、預測、劃分和總結、熱點和變化檢測)以及它們各自在順序和并行框架下的檢測方法。第5節將討論一些當前的研究工具,包括最先進的并行工具、框架和庫,它們正在許多應用程序中使用。第六部分總結了本章的研究現狀和未來的研究方向。
摘要
推薦系統是一種緩解信息超載問題的關鍵工具,旨在通過分析觀察到的用戶-商品關系,從數百萬的候選商品中預測出用戶喜歡的商品。針對推薦系統存在的稀疏性和冷啟動問題,利用側信息和知識來挖掘隱藏的(間接的)用戶-物品關系來豐富推薦的觀測信息,近年來被證明是有前景的;而推薦模型在面對高度復雜和大規模的側信息和知識時的可擴展性在很大程度上決定了推薦模型的性能。為了有效地利用復雜和大規模的數據,圖嵌入技術的研究是一個重要的課題。將圖嵌入技術裝備到推薦系統中,可以大大優于傳統的直接基于圖拓撲分析的推薦實現,近年來得到了廣泛的研究。摘要從二部圖、一般圖和知識圖譜的嵌入技術出發,系統地回顧了基于圖嵌入的推薦方法,提出了基于圖嵌入的推薦方法的總體設計思路。此外,將幾種有代表性的基于圖嵌入的推薦模型與最常用的傳統推薦模型進行了仿真比較,結果表明,傳統推薦模型在預測隱式用戶-物品交互方面總體上優于基于圖嵌入的推薦模型。揭示了基于圖嵌入的推薦在這些任務中的相對弱點。為了促進未來的研究,本文提出了基于圖嵌入的推薦與傳統推薦在不同任務中的權衡,以及一些有待解決的問題。
引言
大數據[1,2]是否有利于人們的生活?從表面上看,這個問題似乎很荒謬。例如,交通大數據有助于量化疫情期間潛在的感染人群[3],科研大數據有助于學術與產業合作[4],多媒體社交大數據通常為消費者帶來娛樂[5]。但與此同時,大數據的大容量、高速度、高多樣性,也被稱為三大“V”特征[6],也帶來了問題。信息超載[7,8]就是一個很好的例子,指的是一個人在做決定時可以獲得的過多的大數據,例如,哪些文章與研究人員的重點相關,哪些產品滿足消費者的需求,哪些電影引起觀眾的興趣;從而降低了信息檢索的效率。要平衡大數據的這些優點和缺點,使其利益最大化,需要發展大數據挖掘技術[10],其中推薦系統[11-13]已經成為緩解信息超載問題的關鍵工具,旨在預測用戶(如研究人員、消費者、以及觀眾)偏愛的項目(例如,文章,產品和電影)從數以百萬計的候選人。除此之外,推薦系統還見證了從初創企業投資者匹配[14]到建筑能效[15]的商業實踐。
開發推薦系統需要克服推薦系統的核心組件推薦模型所遇到的稀疏性問題[16,17]和冷啟動問題[18-21]。推薦模型的基本原理是通過分析觀察到的用戶與物品之間的關系,準確推斷出用戶對物品的偏好,這是良好推薦性能的前提,其中用戶與物品之間的交互(詳見2.1.1節)是主要資源。然而,用戶-物品交互通常是稀疏的,因為用戶交互的物品總數很少,這稱為稀疏性問題。當遇到新用戶時,如果用戶和物品之間還沒有觀察到交互,就會導致冷啟動問題,同樣的情況也適用于新商品。因此,由于稀疏性和冷啟動問題造成的用戶-物品交互不足,削弱了推薦模型對用戶偏好推斷的準確性;因此,為推薦性能辯護。針對稀疏性和冷啟動問題,利用側信息[22,23]和知識24-26作為用戶-物品交互的補充,以發現隱藏的(間接的)用戶-物品關系,豐富觀察到的信息,用于推薦,最近被證明是很有前景的。
關于有效利用旁側信息和知識促進推薦性能的能力,關于基于圖嵌入的推薦(章節2.2.1給出了細節)是否優于傳統的基于圖拓撲分析的推薦(章節2.1.4給出了細節)的討論一直存在爭議。在可擴展性方面[16,27],由于大數據繼承的側信息和知識的三個“V”特征,在數據高度復雜和大規模的情況下,每秒對數百萬用戶和項目進行推薦。基于圖嵌入的推薦優于傳統推薦,這取決于其不同的原理:在將信息組織成圖表示之后(第2.1.2節給出了細節),傳統的推薦通過分析圖的拓撲特征來運行,如用戶與常用項目[28]的協同作用或全局拓撲擴散[29,30]。相比之下,基于圖嵌入的推薦是利用節點嵌入向量來實現的,這些節點嵌入向量保存了通過嵌入技術[31]從圖表示中學習到的圖拓撲特征(Secs. 4.1和5.1給出了回顧)。在不同的推薦系統中使用邊信息和知識時,基于圖嵌入的推薦可以直接重用學習到的節點嵌入向量,而不像傳統推薦那樣需要重復分析圖的拓撲特征;這樣就大大提高了推薦模型的可擴展性。此外,嵌入向量的可存儲性使其支持下游需要數據實例特征向量作為輸入的機器學習任務[32],如分類[33-39]、鏈接預測[40-43]、聚類[44]; 因此,基于圖嵌入的推薦在模型可擴展性方面優于傳統推薦。
然而,關于模型的可解釋性(或可解釋性)[45]:為什么模型會向用戶返回這樣的推薦,基于圖嵌入的推薦大大低于傳統的推薦,因為它普遍采用機器學習方法[46],幾乎是一個黑盒,其思想是通過輸入-輸出數據擬合,通過數值或解析優化方法[47]發現底層模式,而傳統的推薦可以通過解析用戶-物品節點對的圖拓撲特征直接實現可解釋性。但最近的一些研究認為,通過在推薦45,48 - 50中使用知識,通過神經網絡可解釋性[51],以及通過因果學習(因果推理)[52-58]來推理和理解用戶的偏好,基于圖嵌入的推薦也可以間接實現可解釋性。此外,基于圖嵌入的推薦與傳統推薦在推薦精度上也存在爭議。盡管基于圖嵌入的推薦通過利用旁側信息和知識,比傳統推薦在推薦精度上有了明顯的提高[59-62],然而,與傳統推薦相比,它似乎仍然揭示了某些推薦任務在預測隱式用戶-物品交互方面的相對弱點,這在第6節的模擬中得到了證明。Dacrema等人[63]也發現了類似的結果。
目前基于圖嵌入的推薦和傳統推薦缺乏統一的評價標準,這將導致未來對這些爭議的長期討論,涉及準確性、可擴展性、延伸性和可解釋性等方面的擴展視角。以及從數學家到數據科學家的跨學科研究人員的參與。發展基于圖嵌入的推薦和傳統推薦并不矛盾,因為分析傳統推薦背后的圖拓撲特征的方法可以啟發基于圖嵌入的推薦在子圖[64]、motif[65-67]、和鄰域[68-70]促進嵌入可解釋性[39]和推薦性能。同時,基于圖嵌入的推薦開創了會話推薦系統(CRS)[71]和新聞推薦[72]等新的推薦場景,為傳統推薦提供了更廣闊的應用前景。如果把這兩種功能結合起來,可以使推薦系統變得更大,而不是只專注于某一方面。
與傳統推薦綜述的成熟[11-13]不同,基于圖嵌入的推薦綜述[22,25,26,73-78]普遍缺乏系統的結構和深入的描述,為與跨學科研究人員和傳統推薦研究人員的全面溝通進行辯護。為了彌合這一鴻溝,本文對基于圖嵌入的推薦系統和基于傳統方法的推薦系統進行了全面的分析,并提出了基于圖嵌入的推薦系統的總體設計思路; 然后從二部圖、一般圖和知識圖譜的嵌入技術出發,系統地回顧了基于圖嵌入的推薦方法。此外,本文還對基于代表性圖嵌入的推薦模型和常用的傳統推薦模型在不同任務下的優缺點進行了仿真比較。揭示了傳統推薦模型在預測隱式用戶-物品交互方面優于基于圖嵌入的推薦模型。通過對實驗結果的分析,本文對基于圖嵌入的推薦與傳統推薦之間的權衡提出了建設性的建議,并提出了一些有待進一步研究的問題。
本文的其余部分組織如下。第2節涵蓋了主題和問題的基本定義,建立了對推薦系統的全面視角和基于圖嵌入的推薦的通用設計流程。章節3、4、5分別介紹了二部圖、一般圖和知識圖譜的回顧嵌入技術,以及相應的基于圖嵌入的推薦模型的回顧。表3和A2提供了這些模型的概述。第6節展示了基于代表性圖嵌入的推薦模型和最常用的傳統推薦模型在不同任務和數據尺度下的仿真結果,并對結果進行分析,提出建設性的權衡建議和一些開放性問題。最后,第7節提出了基于圖嵌入的推薦的前景,從當前的挑戰到潛在的解決方案。
摘要
在過去的幾十年里,人工智能技術迅猛發展,改變了每個人的日常生活,深刻改變了人類社會的進程。開發人工智能的目的是通過減少勞動、增加生活便利、促進社會公益來造福人類。然而,最近的研究和人工智能應用表明,人工智能可能會對人類造成意外傷害,例如,在安全關鍵的情況下做出不可靠的決定,或通過無意中歧視一個或多個群體而破壞公平。因此,值得信賴的人工智能最近受到越來越多的關注,人們需要避免人工智能可能給人們帶來的負面影響,以便人們能夠充分信任人工智能技術,與人工智能技術和諧相處。近年來,人們對可信人工智能進行了大量的研究。在本次綜述中,我們從計算的角度對值得信賴的人工智能進行了全面的評述,幫助讀者了解實現值得信賴的人工智能的最新技術。值得信賴的人工智能是一個大而復雜的課題,涉及方方面面。在這項工作中,我們關注實現值得信賴的人工智能的六個最關鍵方面: (i) 安全性和健壯性,(ii) 非歧視和公平,(iii) 可解釋性,(iv) 隱私,(v) 問責性和可審計性,和(vi) 環境福祉。對于每個維度,我們根據一個分類回顧了最近的相關技術,并總結了它們在真實系統中的應用。我們還討論了不同維度之間的協調和沖突互動,并討論了值得信賴的人工智能在未來研究的潛在方面。
引言
人工智能(AI)是一門研究和發展模擬、擴展和拓展人類智能的理論、方法、技術和應用系統的科學,為現代人類社會帶來了革命性的影響。從微觀角度來看,人工智能在我們生活的許多方面發揮著不可替代的作用。現代生活充滿了與人工智能應用的互動: 從用人臉識別解鎖手機,與語音助手交談,到購買電子商務平臺推薦的產品; 從宏觀角度看,人工智能創造了巨大的經濟成果。世界經濟論壇的《2020年就業前景報告》[136]預測,人工智能將在5年內創造5800萬個新就業崗位。到2030年,人工智能預計將產生13萬億美元的額外經濟利潤,對全球GDP的年增長率貢獻1.2%[54]。然而,隨著其快速而令人印象深刻的發展,人工智能系統也暴露了其不值得信任的一面。例如,安全至關重要的人工智能系統在對抗攻擊時很脆弱。無人駕駛汽車的深度圖像識別系統可能無法識別被惡意攻擊者修改的路標[345],對乘客安全構成極大威脅。此外,人工智能算法可能會導致偏見和不公平。在線人工智能聊天機器人可能會產生不雅、種族主義和性別歧視的內容[335],冒犯用戶,并產生負面社會影響。此外,人工智能系統還存在泄露用戶隱私和商業秘密的風險。黑客可以利用人工智能模型產生的特征向量來重構私人輸入數據,如指紋[25],從而泄露用戶的敏感信息。這些漏洞會使現有的人工智能系統無法使用,并可能造成嚴重的經濟和安全后果。對于人工智能來說,要想在一個領域取得進步、得到更廣泛的應用并創造更多的經濟價值,對誠信的擔憂已經成為一個巨大的障礙。因此,如何構建可信的人工智能系統成為學術界和業界關注的焦點。
近年來,出現了大量關于可信人工智能的文獻。隨著構建可信人工智能的需求日益增長,總結已有成果并探討未來可能的研究方向勢在必行。在本次綜述中,我們提供了值得信賴的人工智能的全面概述,以幫助新手對什么使人工智能系統值得信賴有一個基本的了解,并幫助老兵跟蹤該領域的最新進展。我們澄清了可信人工智能的定義,并介紹了可信人工智能的六個關鍵維度。對于每個維度,我們給出了它的概念和分類,并回顧了有代表性的算法。我們還介紹了不同維度之間可能的互動,并討論了值得信賴的人工智能尚未引起足夠關注的其他潛在問題。除了定義和概念,我們的綜述還關注實現可信人工智能每個維度的具體計算解決方案。這一視角有別于現有的一些相關工作,如政府指南[307],建議如何以法律法規的形式建立一個值得信賴的人工智能系統,或綜述[51,318],從高層次、非技術的角度討論值得信賴的人工智能的實現。
根據歐盟(EU)最近提供的人工智能倫理指南[307],一個值得信賴的人工智能系統應符合四項倫理原則: 尊重人類自主、防止傷害、公平和可解釋性。基于這四個原則,人工智能研究人員、實踐者和政府提出了值得信賴的人工智能的各個具體維度[51,307,318]。在這項調查中,我們重點關注已經被廣泛研究的六個重要和相關的維度。如圖1所示,它們是安全性和穩健性、非歧視性和公平性、可解釋性、隱私性、可審計性和可問責性,以及環境福祉。
余下論文綜述組織如下。在第2節中,我們明確了值得信賴的AI的定義,并提供了值得信賴的AI的各種定義,幫助讀者理解來自計算機科學、社會學、法律、商業等不同學科的研究人員是如何定義值得信賴的AI系統的。然后,我們將值得信賴的人工智能與倫理人工智能和負責任的人工智能等幾個相關概念區分開來。在第3節中,我們詳細介紹了安全性和穩健性的維度,這要求人工智能系統對輸入的噪聲擾動具有穩健性,并能夠做出安全的決策。近年來,大量研究表明,人工智能系統,尤其是那些采用深度學習模型的系統,可能對有意或無意的輸入擾動非常敏感,對安全至關重要的應用構成巨大風險。例如,如前所述,自動駕駛汽車可能會被改變的路標欺騙。此外,垃圾郵件檢測模型可能會被設計良好的文本[30]郵件欺騙。因此,垃圾郵件發送者可以利用這個弱點,使他們的電子郵件不受檢測系統的影響,這將導致糟糕的用戶體驗。已經證明,人工智能算法可以通過提供的訓練例子學習人類的歧視,并做出不公平的決定。例如,一些人臉識別算法難以識別非洲裔美國人的面孔[280]或將其誤分類為大猩猩[168]。此外,語音聽寫軟件在識別男性聲音時通常比識別女性聲音表現得更好[277]。
在第4節中,我們介紹了非歧視和公平的維度,在這個維度中,人工智能系統被期望避免對某些群體或個人的不公平偏見。在第5節中,我們討論了可解釋性的維度,這表明AI的決策機制系統應該能夠向利益相關者解釋(他們應該能夠理解解釋)。例如,人工智能技術已經被用于根據患者的癥狀和身體特征進行疾病診斷[289]。在這種情況下,黑箱決策是不可接受的。推理過程應該對醫生和患者透明,以確保診斷的每個細節都是準確的。
研究人員發現,一些人工智能算法可以存儲和暴露用戶的個人信息。例如,在人類會話語料庫上訓練的對話模型可以記住敏感信息,如信用卡號碼,這些信息可以通過與模型交互而得到[164]。在第6節中,我們提出了隱私的維度,這需要一個人工智能系統來避免泄露任何私人信息。在第7節中,我們描述了可審計性和問責性的維度,該維度期望人工智能系統由第三方評估,并在必要時為人工智能故障分配責任,特別是在關鍵應用中[307]。最近,人工智能系統對環境的影響引起了人們的關注,因為一些大型人工智能系統消耗了大量的能源。作為一項主流的人工智能技術,深度學習正在朝著追求更大的模型和更多的參數的方向發展。因此,會消耗更多的存儲和計算資源。一項研究[312]表明,訓練BERT模型[110]需要排放大約1400磅二氧化碳,這與跨美國的往返飛行相當。因此,人工智能系統應該是可持續的和環境友好的。
在第8節中,我們回顧了環境福利的維度。在第9節中,我們將討論不同維度之間的相互作用。最近的研究表明,值得信賴的AI的不同維度之間存在一致性和沖突[307,333]。例如,深度神經網絡的魯棒性和可解釋性緊密相連,魯棒模型往往更具有可解釋性[122,322],反之亦然[255]。此外,研究表明,在某些情況下,健壯性和隱私之間存在權衡。例如,對抗性防御方法會使模型更容易受到成員推理攻擊,增加了訓練數據泄漏的風險[308]。
除了上述六個維度,值得信賴的人工智能還有更多的維度,如人工代理和監督、可信性等。盡管這些額外的維度與本文中考慮的6個維度一樣重要,但它們還處于開發的早期階段,相關文獻非常有限,特別是對于計算方法而言。因此,在第10節中,我們將討論值得信賴的人工智能的這些方面,作為未來需要專門研究的方向。
我們世界中的事件無處不在,大到疾病爆發和地震,中到系統故障和犯罪,小到網絡行為和化學反應。事件的分析在不同的領域中已經有重要應用,諸如醫療保健、商業、網絡領域、政治和娛樂,幾乎影響著生活的每一個角落。因此,事件分析在過去幾年引起了極大的關注,可以分為事件總結、檢測和預測。其中總結和檢測為回顧性分析,與它們不同,本綜述專注的事件預測側重于預測未來的事件。對未來事件的準確預測使人們能夠最大限度地減少與未來某些事件相關的損失,可能為社會的諸多方面如疾病預防、災害管理、商業智能和經濟穩定性帶來不可估量的收益。
事件預測歷來在不同領域都極具挑戰性,因為我們對大多數領域的事件發生的真正原因和驅動機制的了解一般并不完整。然而,大數據時代、高性能計算、以及人工智能技術的進步對上述挑戰的解決提供了前所未有的機會。通過基于數據驅動的方式,比如例如機器學習、數據挖掘、模式識別、統計和其他計算模型,我們有了更多的機會彌補上述不足,甚至能夠有機會幫助發現事件發生的動因和發展規律。該領域目前正經歷高速發展,以期解決諸多事件預測領域獨特的挑戰:
挑戰 1: 異構多輸出預測問題。事件預測方法通常需要預測事件的多個方面,包括時間、地點、主題、強度和持續時間,每個方面都經常使用不同的數據結構。除了異構性,多個輸出之前也有很強的相關性。另外,復雜的輸出也導致了訓練數據標注的難度和精度,以及預測準確性評估的難度。
挑戰 2: 不同輸出之間的復雜關系。不同于機器學習里經常使用的傳統的獨立性假設,真實世界的事件預測往往是互相影響甚至互為因果。因此,除了建立當前觀測與未來事件的前瞻性映射,未來事件之間的相關性也需要考慮。
挑戰 3: 實時預測的需求。事件預測一般需要對觀測進行實施持續監控從而及時預報未來事件。然而在這個過程中,經過訓練的預測模型逐漸變得過時,因為現實世界的規則和概念是持續變化的,數據的分布也是在變化的,比如社交媒體數據的用戶年齡分布、全球氣候情況等。
挑戰 4: 事件大數據本身的挑戰。上述提到的挑戰在事件預測的任務中進一步導致收集和利用事件數據的困難。這包括諸如帶有異構噪聲、數據不完整、多模態,多分辨率這些常見問題。同時事件的發生一般屬罕見現象,因此樣本的不平衡性是重要問題。另外在很多情況下會有對抗性數據引入,比如輿論監管導致的定向性數據缺失。
近年來,大量研究致力于事件預測技術的開發和應用,以解決上述挑戰。當前,事件預測技術整體上仍處于起步階段,但事件預測的研究和應用已出現在非常廣泛的眾多領域中。現存最多的事件預測方法是為特定的應用領域設計的,然而不同領域中事件預測技術其實有很多共性和聯系。不同的應用領域方法的相互參考和討論目前仍然大量的缺失,然而這樣的跨領域思考對于事件預測領域的技術進步極為重要。此外,事件預測結果的質量評估也缺乏統一標準。因此該領域需要系統性綜述以確定其規范、技術分類、前沿問題、以及尚需解決的問題。本綜述的發表正式為了滿足上述需求,主要有以下幾方面貢獻:
對現有技術的系統分類和總結。本文提供了事件預測方法的正式問題表述,并據此對當前技術進行系統性分類。同時本文討論了不同子類別之間的關系、優點和缺點,以及每個子類別下技術的詳細信息。穩重提出的分類法可以幫助領域專家找到合適的技術從而有針對性的解決問題。
主要應用領域的綜合分類和總結。本文提供了對事件預測的應用領域詳細分類。闡明每個應用領域的實際意義、難點、常用技術以及數據。這將有望幫助數據科學家和模型開發人員搜索其他應用領域和數據集來評估他們提出的方法,并擴展他們的先進技術以涵蓋新的應用領域。
標準化的評估指標和程序。如前所述,事件預測的數據結構是復雜的,包含時間、位置、語義等。本文全面總結了事件預測的實驗方法,從而標準化了事件預測的評估體系和方法。
對該領域研究現狀和未來方向的深入討論。基于對現有的工作的調查,本文總結和劃定了當前事件預測技術和應用的研究前沿。文章最后提出對當前瓶頸、長期挑戰和未來方向的討論。
這篇綜述對事件預測的問題及方法歸類如下:其首先按不同輸出進行分類,分為時間預測,地點預測,主題預測,以及多輸出預測。每個類別根據輸出的數據形式進一步分類并給出相應的預測技術。
圖 1:文章提出的對事件預測技術分類方法。
【導讀】人工智能正在影響我們的方方面面。如何與AI和諧相處,成為可信協作伙伴,是個要思考的問題。近日59位世界級學者共同撰寫一份構建可信賴人工智能的論文《邁向可信賴的人工智能:可驗證聲明的支持機制》,詳細闡述了Trustworthy AI涵蓋的機制,是相關從業者不可少的借鑒資料。
本文中文翻譯的通訊作者是謝旻希(Brian Tse)。在翻譯過程中,我們得到了肖文泉(Jenny W. Xiao)的寶貴幫助
人工智能技術的新發展使其在商業、科學與其他創新領域得到了廣泛的應用。隨著此波應用浪潮的涌現,人們越來越意識到人工智能系統所帶來的風險,并認識到現有法律與業界、學界規范仍不足以保證人工智能的可靠研發[1] [2][3]。
機器學習領域的研發人員和科技公司已經采取了一些措施來彌補這些規 范不足,其 舉措包括廣泛采用人工智能行業認可的道德準則。然而,道德準 則缺乏法律約束力,也往往難以轉化為實際行動。而且,外界人 員很難評估人工智能開發者到底有是否表里如一,也沒有辦法讓他們在違反道德原則的時候承擔責任。這就導致了很多人譴責人工智能開發者在談論道德問題時口惠而實不至[4]。人工智能開發者要想贏得系統用戶、客戶、政府、社會和其他利益相關方的信任,就不應該只談原則,而要集中精力建立合理的機制來保 證行為的負責性[5] 。作出可檢驗、能追責的承諾是朝這個方向邁出的重要一步。
如果能提供精準的聲明和充足的證據,人工智能開發人員就能更好地向監管機構、公眾和其他開發者證明其行為的負責。如果有關人工智能開發的聲明更容易被驗證,就能實現更有效的政府監管并且減少開發者為獲得競爭優勢而偷工減料的壓力[1]。相反地,如果沒有能力驗證開發人員的聲明,用戶或其他利益相關方就更有可能因模棱兩可、有誤導性或虛假的說法而利益受損。
本報告提出了諸多建議,意在使不同利益相關方能夠更容易地檢驗人工智能開發者的對外聲明,特別是有關其安全性、安保性、公平性和隱私性的聲明。保證可信任的人工智能發展是一個多方面的問題,我們認為,執行這些機制有助于促進該目標的達成。[1]本報告中提出的機制可以幫助我們處理不同利益相關方可能面對的問題:
作為用戶,我能否在使用新的人工智能系統機器翻譯敏感文件時,檢驗其對隱私保護級別聲明的真實性?
作為監管者,我能否追蹤無人駕駛汽車導致事故的過程,并且知道用哪種標準來評判汽車公司的安全聲明?
作為學者,我能否在缺乏業界計算資源的條件下,對大型人工智能系統所帶來的影響進行客觀的研究?
作為人工智能研發者,我能否確信我在某一領域的競爭對手遵循最佳實踐,而不是偷工減料以獲得 競爭優勢?
即使人工智能開發者有意愿或者需求使自己的產品聲明具體而可驗證,他們也可能缺乏達成這一目標的相 關機制。人工智能開發社群需要一系列有效的機制,為檢驗人工智能系統和開發過程的聲明提供支持。
從這個角度出發,本報告的作者于2019年4月舉行了一次研討會,旨在構思促進研發者提出聲明、驗證聲明的機制。[1]本報告以該研討會上的討論成果為基礎,提出的機制主要致力于達成以下兩個目標:
增加溝通渠道,便利人工智能開發者對外驗證有關其系統屬性的聲明。
加強應對能力,使利益相關方(如用戶、政府決策者和更廣大的社會)能夠對人工智能開發者提出特殊而多樣的要求。
針對妨礙人工智能聲明有效評估的具體問題,本報告提出了一一對應的一系列機制和建議。其中部分機制已經存在,但仍需完善,而另一部分則是前所未有的。本報告旨在為進一步增強人工智能研發聲明的可驗證性作出貢獻。
該報告提出的機制作用于制 度、軟件和硬 件三個層面。制度、軟件和硬件也是人工智能系統和開發過程中相互重疊、相互影響的三大關鍵要素。
體制機制:這些機制改變或闡明開發者面臨的激勵機制,并且增強其行為的能見度,以保證其研發的系統具有安全性、可靠性、公平性和隱私保護。體制機制是有效驗證人工智能研發聲明的基礎,因為人類和人類行為將 終決定人工智能的發展方向。本報告在討論中提出,可以利用第 三方審核來替代自我評估聲明;利用紅隊測試練習 (red teaming exercises)以增 強開發人員的防范意識,減少系統被誤用或襲擊的可能性;利用誤 差和安全隱患偵查激勵制度 (bias and safety bounties) 以建立激勵機制,促進對人工智能系統缺陷的及時發現、及時報告;以及加強人工智能安全事故信 息共享,以增 進社會對人工智能系統的認識,理解到人工智能可能帶來意外或非理想的后果。
軟件機制:這 些機制讓人工智能系統的屬性更易于理解和監督。具體措施包括審計 跟蹤 (audit trails),通 過收集有關開發和部署過程的關鍵信息來強化高利害人工智能系統的問責制;保 證可解 釋性以增 進對人工智能系統特征的理解和審查;以及 隱 私保護的機器學習 (privacy-preserving machine learning),使開 發人員對隱私保護的承諾更有魯棒性。
硬件機制:與計算硬件有關的機制可以在多方面發揮關鍵作用,包括證實有關隱私和安全性的聲 明、提高組織如何使用資源的透明度、以及影響誰具有驗證不同聲明所必需的資源。探討的機制包 括機器學習的硬件安全設施以提高隱私和安全性聲明的可驗證性;高精度計算資源的測量,以提高 關于計算能力使用的聲明的價值和可比性;以及為學術界提供計算資源支持,以提高業界以外人士 評估有關大型人工智能系統的聲明的能力。
每種機制都提供額外的途徑來檢驗開發者的承諾,有潛力為建立可信賴的人工智能生態作出貢獻。下一頁 和報告末尾詳細地列舉了不同機制的相關建議,并且包含完整的列表。
建議
制度機制和建議
一個利益相關方的聯盟應組建工作小組,研究如何建立第三方人工智能審計機制并為該機制提供資 源。
人工智能研發機構應該參與紅隊測試 (red-teaming)的練習,從而發現系統潛在的風險,并分享相 關的最佳實踐和應對問題的工具。
人工智能開發者應試行誤差和安全隱患偵查激勵制度 (bias and safety bounties),以建立廣泛監 督人工智能系統的激勵機制和標準流程。
人工智能開發者應該通過不同的合作渠道,分享更多人工智能事故的信息。
軟件機制和建議
標準制定機構應該和學界、業界合作,要求對安全攸關的人工智能系統實行審計跟蹤 (audit trails) 。
人工智能研發和資助機構應該支持人工智能系統的可解釋性研究,并將重點放在風險評估和監察 上。
人工智能開發者應開發、共享并使用隱私保護的機器學習 (privacy-preserving machine learning)的工具與指南,并且其中必須包括衡量性能的標準。
硬件機制和建議
業界和學界應共同努力為人工智能加速器開發硬件安全功能,或者確立在機器學習環境中使用安全 區(包括商品硬件上的“安全飛地”)的最佳實踐。
一個或多個人工智能實驗室應該對單個項目進行高精度計算資源的測量,并報告其實踐能否被廣泛 采用。
政府資助機構應大幅增加對學界研究人員的計算能力資源的資助,以增強學術研究人員驗證商業人 工智能聲明的能力。