摘要
在過去的幾十年里,人工智能技術迅猛發展,改變了每個人的日常生活,深刻改變了人類社會的進程。開發人工智能的目的是通過減少勞動、增加生活便利、促進社會公益來造福人類。然而,最近的研究和人工智能應用表明,人工智能可能會對人類造成意外傷害,例如,在安全關鍵的情況下做出不可靠的決定,或通過無意中歧視一個或多個群體而破壞公平。因此,值得信賴的人工智能最近受到越來越多的關注,人們需要避免人工智能可能給人們帶來的負面影響,以便人們能夠充分信任人工智能技術,與人工智能技術和諧相處。近年來,人們對可信人工智能進行了大量的研究。在本次綜述中,我們從計算的角度對值得信賴的人工智能進行了全面的評述,幫助讀者了解實現值得信賴的人工智能的最新技術。值得信賴的人工智能是一個大而復雜的課題,涉及方方面面。在這項工作中,我們關注實現值得信賴的人工智能的六個最關鍵方面: (i) 安全性和健壯性,(ii) 非歧視和公平,(iii) 可解釋性,(iv) 隱私,(v) 問責性和可審計性,和(vi) 環境福祉。對于每個維度,我們根據一個分類回顧了最近的相關技術,并總結了它們在真實系統中的應用。我們還討論了不同維度之間的協調和沖突互動,并討論了值得信賴的人工智能在未來研究的潛在方面。
引言
人工智能(AI)是一門研究和發展模擬、擴展和拓展人類智能的理論、方法、技術和應用系統的科學,為現代人類社會帶來了革命性的影響。從微觀角度來看,人工智能在我們生活的許多方面發揮著不可替代的作用。現代生活充滿了與人工智能應用的互動: 從用人臉識別解鎖手機,與語音助手交談,到購買電子商務平臺推薦的產品; 從宏觀角度看,人工智能創造了巨大的經濟成果。世界經濟論壇的《2020年就業前景報告》[136]預測,人工智能將在5年內創造5800萬個新就業崗位。到2030年,人工智能預計將產生13萬億美元的額外經濟利潤,對全球GDP的年增長率貢獻1.2%[54]。然而,隨著其快速而令人印象深刻的發展,人工智能系統也暴露了其不值得信任的一面。例如,安全至關重要的人工智能系統在對抗攻擊時很脆弱。無人駕駛汽車的深度圖像識別系統可能無法識別被惡意攻擊者修改的路標[345],對乘客安全構成極大威脅。此外,人工智能算法可能會導致偏見和不公平。在線人工智能聊天機器人可能會產生不雅、種族主義和性別歧視的內容[335],冒犯用戶,并產生負面社會影響。此外,人工智能系統還存在泄露用戶隱私和商業秘密的風險。黑客可以利用人工智能模型產生的特征向量來重構私人輸入數據,如指紋[25],從而泄露用戶的敏感信息。這些漏洞會使現有的人工智能系統無法使用,并可能造成嚴重的經濟和安全后果。對于人工智能來說,要想在一個領域取得進步、得到更廣泛的應用并創造更多的經濟價值,對誠信的擔憂已經成為一個巨大的障礙。因此,如何構建可信的人工智能系統成為學術界和業界關注的焦點。
近年來,出現了大量關于可信人工智能的文獻。隨著構建可信人工智能的需求日益增長,總結已有成果并探討未來可能的研究方向勢在必行。在本次綜述中,我們提供了值得信賴的人工智能的全面概述,以幫助新手對什么使人工智能系統值得信賴有一個基本的了解,并幫助老兵跟蹤該領域的最新進展。我們澄清了可信人工智能的定義,并介紹了可信人工智能的六個關鍵維度。對于每個維度,我們給出了它的概念和分類,并回顧了有代表性的算法。我們還介紹了不同維度之間可能的互動,并討論了值得信賴的人工智能尚未引起足夠關注的其他潛在問題。除了定義和概念,我們的綜述還關注實現可信人工智能每個維度的具體計算解決方案。這一視角有別于現有的一些相關工作,如政府指南[307],建議如何以法律法規的形式建立一個值得信賴的人工智能系統,或綜述[51,318],從高層次、非技術的角度討論值得信賴的人工智能的實現。
根據歐盟(EU)最近提供的人工智能倫理指南[307],一個值得信賴的人工智能系統應符合四項倫理原則: 尊重人類自主、防止傷害、公平和可解釋性。基于這四個原則,人工智能研究人員、實踐者和政府提出了值得信賴的人工智能的各個具體維度[51,307,318]。在這項調查中,我們重點關注已經被廣泛研究的六個重要和相關的維度。如圖1所示,它們是安全性和穩健性、非歧視性和公平性、可解釋性、隱私性、可審計性和可問責性,以及環境福祉。
余下論文綜述組織如下。在第2節中,我們明確了值得信賴的AI的定義,并提供了值得信賴的AI的各種定義,幫助讀者理解來自計算機科學、社會學、法律、商業等不同學科的研究人員是如何定義值得信賴的AI系統的。然后,我們將值得信賴的人工智能與倫理人工智能和負責任的人工智能等幾個相關概念區分開來。在第3節中,我們詳細介紹了安全性和穩健性的維度,這要求人工智能系統對輸入的噪聲擾動具有穩健性,并能夠做出安全的決策。近年來,大量研究表明,人工智能系統,尤其是那些采用深度學習模型的系統,可能對有意或無意的輸入擾動非常敏感,對安全至關重要的應用構成巨大風險。例如,如前所述,自動駕駛汽車可能會被改變的路標欺騙。此外,垃圾郵件檢測模型可能會被設計良好的文本[30]郵件欺騙。因此,垃圾郵件發送者可以利用這個弱點,使他們的電子郵件不受檢測系統的影響,這將導致糟糕的用戶體驗。已經證明,人工智能算法可以通過提供的訓練例子學習人類的歧視,并做出不公平的決定。例如,一些人臉識別算法難以識別非洲裔美國人的面孔[280]或將其誤分類為大猩猩[168]。此外,語音聽寫軟件在識別男性聲音時通常比識別女性聲音表現得更好[277]。
在第4節中,我們介紹了非歧視和公平的維度,在這個維度中,人工智能系統被期望避免對某些群體或個人的不公平偏見。在第5節中,我們討論了可解釋性的維度,這表明AI的決策機制系統應該能夠向利益相關者解釋(他們應該能夠理解解釋)。例如,人工智能技術已經被用于根據患者的癥狀和身體特征進行疾病診斷[289]。在這種情況下,黑箱決策是不可接受的。推理過程應該對醫生和患者透明,以確保診斷的每個細節都是準確的。
研究人員發現,一些人工智能算法可以存儲和暴露用戶的個人信息。例如,在人類會話語料庫上訓練的對話模型可以記住敏感信息,如信用卡號碼,這些信息可以通過與模型交互而得到[164]。在第6節中,我們提出了隱私的維度,這需要一個人工智能系統來避免泄露任何私人信息。在第7節中,我們描述了可審計性和問責性的維度,該維度期望人工智能系統由第三方評估,并在必要時為人工智能故障分配責任,特別是在關鍵應用中[307]。最近,人工智能系統對環境的影響引起了人們的關注,因為一些大型人工智能系統消耗了大量的能源。作為一項主流的人工智能技術,深度學習正在朝著追求更大的模型和更多的參數的方向發展。因此,會消耗更多的存儲和計算資源。一項研究[312]表明,訓練BERT模型[110]需要排放大約1400磅二氧化碳,這與跨美國的往返飛行相當。因此,人工智能系統應該是可持續的和環境友好的。
在第8節中,我們回顧了環境福利的維度。在第9節中,我們將討論不同維度之間的相互作用。最近的研究表明,值得信賴的AI的不同維度之間存在一致性和沖突[307,333]。例如,深度神經網絡的魯棒性和可解釋性緊密相連,魯棒模型往往更具有可解釋性[122,322],反之亦然[255]。此外,研究表明,在某些情況下,健壯性和隱私之間存在權衡。例如,對抗性防御方法會使模型更容易受到成員推理攻擊,增加了訓練數據泄漏的風險[308]。
除了上述六個維度,值得信賴的人工智能還有更多的維度,如人工代理和監督、可信性等。盡管這些額外的維度與本文中考慮的6個維度一樣重要,但它們還處于開發的早期階段,相關文獻非常有限,特別是對于計算方法而言。因此,在第10節中,我們將討論值得信賴的人工智能的這些方面,作為未來需要專門研究的方向。
摘要
人工智能(AI)技術的發展使各種應用系統得以應用于現實世界,影響著人們的日常生活。然而,目前很多人工智能系統被發現容易受到無形的攻擊,對弱勢群體存在偏見,缺乏對用戶隱私的保護等,這不僅降低了用戶體驗,也侵蝕了社會對所有人工智能系統的信任。在這篇綜述中,我們努力為人工智能從業者提供一個全面的指南,以構建可信賴的人工智能系統。我們首先介紹了人工智能可信度的重要方面的理論框架,包括穩健性、泛化性、可解釋性、透明度、再現性、公平性、隱私保護、與人類價值觀的一致性和問責性。然后我們調研了行業中在這些方面的領先方法。為了統一目前零散的人工智能方法,我們提出了一種系統的方法,考慮人工智能系統的整個生命周期,從數據采集到模型開發,到開發和部署,最后到持續監測和治理。在這個框架中,我們向從業者和社會利益相關者(如研究人員和監管機構)提供具體的行動項目,以提高人工智能的可信度。最后,我們確定可信賴的人工智能系統未來發展的關鍵機遇和挑戰,我們確定需要向全面可信賴的人工智能系統轉變范式。
//www.zhuanzhi.ai/paper/00386996069b8168827d03f0c809a462
引言
人工智能(AI)的快速發展給人類社會帶來了巨大的經濟和社會前景。隨著人工智能在交通、金融、醫療、安全、娛樂等領域的廣泛應用,越來越多的社會意識到,我們需要這些系統是可信的。這是因為,考慮到這些人工智能系統的普遍性,違背利益相關者的信任可能會導致嚴重的社會后果。相比之下,人工智能從業者,包括研究人員、開發人員、決策者等,傳統上一直追求系統性能(也就是準確性)作為他們工作流程的主要指標。這一指標遠遠不足以反映對人工智能可信度的要求。除了系統性能外,人工智能系統的各個方面都應該被仔細考慮,以提高其可信度,包括但不限于健壯性、算法公平性、可解釋性、透明度等方面。
雖然最活躍的關于人工智能可信度的學術研究集中在模型的算法屬性上,但我們發現,單靠算法研究的發展不足以構建可信的人工智能產品。從行業角度看,人工智能產品的生命周期包括數據準備、算法設計、開發、部署、運營、監控、治理等多個階段。要在任何一個方面(如健壯性)獲得可信賴性,需要在系統生命周期的多個階段進行努力,如數據凈化、健壯算法、異常監控、風險審計等。另一方面,任何一個環節或任何一個方面的信任違約都可能破壞整個系統的可信賴性。因此,應該在人工智能系統的整個生命周期中建立和系統地評估人工智能的可信度。
除了通過在不同的可信賴性方面建立可信賴的要求來追求人工智能的可信賴性,這些方面之間的交互是現實世界值得信賴的人工智能系統中一個重要且有待探索的話題。例如,對數據隱私的需求可能會干擾詳細解釋系統輸出的愿望,而對算法公平性的追求可能會不利于某些群體體驗到的準確性和穩健性。因此,僅僅貪婪地追求這些不同的方面并不一定會產生通向更可靠的AI系統的最佳解決方案。值得信賴的人工智能應該通過權衡和聯合優化多個值得信賴的方面來建立。以上事實表明,有必要采取系統的方法來改變目前的人工智能范式,以獲得可信賴性。這需要多學科相關者的意識和合作,相關者在系統生命周期的不同可信方面和不同階段工作。為了幫助開發這種系統方法,我們以一種可訪問的方式組織多學科知識,讓人工智能從業者了解人工智能的可信賴性,并為構建可信賴的人工智能系統提供操作和系統的指導。我們的主要貢獻包括:
我們調研和擴大在最近討論關于AI可信賴性,建立值得信賴的AI系統的迫切需要得到我們的東西從工業的角度來看,包括魯棒性、泛化,可解釋性、透明度、復現性、公平、隱私保護、價值一致和責任(第2節)。
我們廣泛回顧了各種利益相關者為實現這些需求所做的努力,包括積極的學術研究、工業發展技術以及治理和管理機制。這種多樣化和全面的方法集合有助于提供人工智能可信度的整體圖景,并彌合來自不同背景的從業者之間的知識鴻溝(第3節)。
我們剖析了工業應用中人工智能系統的整個開發和部署生命周期,并討論了從數據到人工智能模型,從系統部署到操作的每個階段如何提高人工智能的可信度。我們提出了一個系統框架來組織值得信賴的人工智能的多學科和碎片化方法,并進一步提出將人工智能值得信賴作為一個連續的工作流,在人工智能系統生命周期的每個階段納入反饋。我們也分析了在實踐中不同可信度方面之間的關系(相互增強,有時是權衡)。因此,我們的目標是為研究人員、開發人員、操作人員和法律專家等人工智能從業者提供一個可訪問的、全面的指南,以快速理解通向人工智能可信度的方法(第4節)。
我們討論了值得信賴的人工智能的突出挑戰,在不久的將來,研究社區和行業從業者應該專注于解決這些挑戰。我們確定了幾個關鍵問題,包括需要對人工智能可信度的幾個方面(如健壯性、公平性和可解釋性)有更深層次的基礎理解,用戶意識的重要性,以及促進跨學科和國際合作(第5節)。
圖是連接數據網絡結構的一種常用表示形式。圖數據可以在廣泛的應用領域中找到,如社會系統、生態系統、生物網絡、知識圖譜和信息系統。隨著人工智能技術的不斷滲透發展,圖學習(即對圖進行機器學習)越來越受到研究者和實踐者的關注。圖學習對許多任務都非常有效,如分類,鏈接預測和匹配。圖學習方法通常是利用機器學習算法提取圖的相關特征。在這個綜述中,我們提出了一個關于圖學習最全面的概述。特別關注四類現有的圖學習方法,包括圖信號處理、矩陣分解、隨機游走和深度學習。分別回顧了這些類別下的主要模型和算法。我們研究了諸如文本、圖像、科學、知識圖譜和組合優化等領域的圖學習應用。此外,我們還討論了該領域幾個有前景的研究方向。
真實的智能系統通常依賴于機器學習算法處理各種類型的數據。盡管圖數據無處不在,但由于其固有的復雜性,給機器學習帶來了前所未有的挑戰。與文本、音頻和圖像不同,圖數據嵌入在一個不規則的領域,使得現有機器學習算法的一些基本操作不適用。許多圖學習模型和算法已經被開發出來解決這些挑戰。本文系統地綜述了目前最先進的圖學習方法及其潛在的應用。這篇論文有多種用途。首先,它作為不同領域(如社會計算、信息檢索、計算機視覺、生物信息學、經濟學和電子商務)的研究人員和從業者提供圖學習的快速參考。其次,它提供了對該領域的開放研究領域的見解。第三,它的目的是激發新的研究思路和更多的興趣在圖學習。
圖,又稱網絡,可以從現實世界中豐富的實體之間的各種關系中提取。一些常見的圖表已經被廣泛用于表達不同的關系,如社會網絡、生物網絡、專利網絡、交通網絡、引文網絡和通信網絡[1]-[3]。圖通常由兩個集合定義,即頂點集和邊集。頂點表示圖形中的實體,而邊表示這些實體之間的關系。由于圖學習在數據挖掘、知識發現等領域的廣泛應用,引起了人們的廣泛關注。由于圖利用了頂點[4],[5]之間的本質和相關關系,在捕獲復雜關系方面,圖學習方法變得越來越流行。例如,在微博網絡中,通過檢測信息級聯,可以跟蹤謠言的傳播軌跡。在生物網絡中,通過推測蛋白質的相互作用可以發現治療疑難疾病的新方法。在交通網絡中,通過分析不同時間戳[6]的共現現象,可以預測人類的移動模式。對這些網絡的有效分析很大程度上取決于網絡的表示方式。
一般來說,圖學習是指對圖進行機器學習。圖學習方法將圖的特征映射到嵌入空間中具有相同維數的特征向量。圖學習模型或算法直接將圖數據轉換為圖學習體系結構的輸出,而不將圖投影到低維空間。由于深度學習技術可以將圖數據編碼并表示為向量,所以大多數圖學習方法都是基于或從深度學習技術推廣而來的。圖學習的輸出向量在連續空間中。圖學習的目標是提取圖的期望特征。因此,圖的表示可以很容易地用于下游任務,如節點分類和鏈接預測,而無需顯式的嵌入過程。因此,圖學習是一種更強大、更有意義的圖分析技術。
在這篇綜述論文中,我們試圖以全面的方式檢驗圖機器學習方法。如圖1所示,我們關注現有以下四類方法:基于圖信號處理(GSP)的方法、基于矩陣分解的方法、基于隨機游走的方法和基于深度學習的方法。大致來說,GSP處理圖的采樣和恢復,并從數據中學習拓撲結構。矩陣分解可分為圖拉普拉斯矩陣分解和頂點接近矩陣分解。基于隨機游動的方法包括基于結構的隨機游動、基于結構和節點信息的隨機游動、異構網絡中的隨機游動和時變網絡中的隨機游動。基于深度學習的方法包括圖卷積網絡、圖注意力網絡、圖自編碼器、圖生成網絡和圖時空網絡。基本上,這些方法/技術的模型架構是不同的。本文對目前最先進的圖學習技術進行了廣泛的回顧。
傳統上,研究人員采用鄰接矩陣來表示一個圖,它只能捕捉相鄰兩個頂點之間的關系。然而,許多復雜和不規則的結構不能被這種簡單的表示捕獲。當我們分析大規模網絡時,傳統的方法在計算上是昂貴的,并且很難在現實應用中實現。因此,有效地表示這些網絡是解決[4]的首要問題。近年來提出的網絡表示學習(NRL)可以學習低維表示[7]-[9]的網絡頂點潛在特征。當新的表示被學習后,可以使用以前的機器學習方法來分析圖數據,并發現數據中隱藏的關系。
當復雜網絡被嵌入到一個潛在的、低維的空間中時,結構信息和頂點屬性可以被保留[4]。因此,網絡的頂點可以用低維向量表示。在以往的機器學習方法中,這些向量可以看作是輸入的特征。圖學習方法為新的表示空間中的圖分析鋪平了道路,許多圖分析任務,如鏈接預測、推薦和分類,都可以有效地解決[10],[11]。網絡的圖形化表現方式揭示了社會生活的各個方面,如交流模式、社區結構和信息擴散[12],[13]。根據頂點、邊和子圖的屬性,可以將圖學習任務分為基于頂點、基于邊和基于子圖三類。圖中頂點之間的關系可以用于分類、風險識別、聚類和社區檢測[14]。通過判斷圖中兩個頂點之間的邊的存在,我們可以進行推薦和知識推理。基于子圖[15]的分類,該圖可用于聚合物分類、三維可視化分類等。對于GSP,設計合適的圖形采樣方法以保持原始圖形的特征,從而有效地恢復原始圖形[16]具有重要意義。在存在不完整數據[17]的情況下,可以使用圖恢復方法構造原始圖。然后利用圖學習從圖數據中學習拓撲結構。綜上所述,利用圖學習可以解決傳統的圖分析方法[18]難以解決的以下挑戰。
在人類中,注意力是所有感知和認知操作的核心屬性。考慮到我們處理競爭性信息來源的能力有限,注意力機制選擇、調整和關注與行為最相關的信息。
幾十年來,哲學、心理學、神經科學和計算機科學都在研究注意力的概念和功能。在過去的六年中,這一特性在深度神經網絡中得到了廣泛的研究。目前,深度學習的研究進展主要體現在幾個應用領域的神經注意力模型上。
本研究對神經注意力模型的發展進行了全面的概述和分析。我們系統地回顧了該領域的數百個架構,識別并討論了那些注意力顯示出重大影響的架構。我們亦制訂了一套自動化方法體系,并將其公諸于眾,以促進這方面的研究工作。通過批判性地分析650部文獻,我們描述了注意力在卷積、循環網絡和生成模型中的主要用途,識別了使用和應用的共同子組。
此外,我們還描述了注意力在不同應用領域的影響及其對神經網絡可解釋性的影響。最后,我們列出了進一步研究的可能趨勢和機會,希望這篇綜述能夠對該領域的主要注意力模型提供一個簡明的概述,并指導研究者開發未來的方法,以推動進一步的改進。
斯坦福大學正式發布了《2021年人工智能指數報告》(“Artificial Intelligence Index Report 2021”)!
地址: //aiindex.stanford.edu/report/
李飛飛教授十幾分鐘前也在推特上做了推薦!值得關注!
引言
今年,我們大大擴展了報告中可用的數據量,與更廣泛的外部組織合作校準我們的數據,并加深了我們與斯坦福大學HAI的聯系。
2021年報告還從多個角度展示了COVID-19對人工智能發展的影響。技術表現一章討論了人工智能初創公司如何在大流行期間使用基于機器學習的技術加速新冠病毒相關藥物的發現,我們的經濟一章指出,人工智能招聘和私人投資沒有受到大流行的顯著不利影響,因為這兩方面在2020年都有所增長。如果有什么不同的話,COVID-19可能導致參加人工智能研究會議的人數增加,因為大流行迫使會議轉向虛擬舉行,這反過來又導致出席人數大幅飆升。
九大結論
1. 人工智能在藥物設計和發現方面的投入顯著增加
2020年,“藥物、癌癥、分子、藥物發現”獲得的私人人工智能投資金額最大,超過138億美元,比2019年高出4.5倍。
2. 行業的轉變還在繼續
2019年,65%的北美人工智能博士畢業生進入了行業,高于2010年的44.4%,凸顯出行業開始在人工智能發展中發揮更大的作用。
3. 生成一切
人工智能系統現在可以合成文本、音頻和圖像,達到足夠高的標準,以至于對于該技術的某些受限應用來說,人類很難分辨合成和非合成輸出的區別。
4. AI面臨多樣性挑戰
2019年,45%的新美國居民人工智能博士畢業生為白人,2.4%為非洲裔,3.2%為西班牙裔。
5. 中國在人工智能期刊引用數量上超過美國
中國幾年前在期刊總數上超過了美國,現在在期刊引用數量上也領先于美國;然而,在過去十年里,美國的人工智能會議論文(被引用的次數也更多)一直(而且明顯)多于中國。
6. 美國大多數人工智能博士畢業生都來自國外——而且他們將留在美國
2019年,北美新AI博士中國際學生的比例繼續上升,達到64.3%,比2018年上升4.3%。在外國畢業生中,81.8%的人留在美國,8.6%的人在美國以外的地方找工作。
7. 監視技術快速、廉價,而且越來越普遍
大規模監控所需的技術正在迅速成熟,到2020年,圖像分類、人臉識別、視頻分析和語音識別等技術都將取得重大進展。
8. 人工智能倫理缺乏基準和共識
盡管在人工智能倫理領域,許多團體正在產生一系列定性或規范性的產出,但該領域通常缺乏基準,無法用來衡量或評估關于技術發展的更廣泛社會討論與技術本身發展之間的關系。此外,研究人員和公民社會認為人工智能倫理比產業組織更重要。
9. AI已經引起了美國國會的注意
第116屆國會是歷史上最關注人工智能的國會會議,國會記錄中提到人工智能的次數是第115屆國會的三倍多。
報告目錄
今年的報告,從學術、工業、開源、政府等方面詳細介紹了人工智能發展的現狀,并且記錄了計算機視覺、自然語言理解等領域的技術進展。報告章節如下: 一、研究與發展 二、技術表現 三、經濟 四、AI 教育 五、AI 應用的道德挑戰 六、AI 多樣性 七、AI 政策與國家策略
時尚是我們向世界展示自己的方式,已經成為世界上最大的產業之一。時尚主要通過視覺來傳達,因此近年來受到了計算機視覺研究者的廣泛關注。鑒于智能時尚的快速發展,本文對200多部主要時尚相關工作進行了全面的綜述,涵蓋了實現智能時尚的四個主要方面: (1)時尚檢測包括地標檢測、時尚解析、時尚條目檢索等。(2)時尚分析包含屬性識別、風格學習和流行度預測,(3)時尚合成包括風格轉換、姿勢變換、物理模擬等,(4)時尚推薦包括時尚搭配、服裝搭配、發型建議。針對每個任務,總結了基準數據集和評估協議。展望了未來的研究方向。
導論
時尚是我們向世界展示自己的方式。我們的著裝和化妝方式定義了我們獨特的風格,并將我們與他人區分開來。時尚在現代社會已經成為了我這個人不可或缺的一部分。不出所料,僅全球服裝市場就已超過3萬億美元,占世界國內生產總值的近2%。具體來說,到2020年,時尚領域的收入將超過7180億美元,預計每年增長8.4%。
隨著計算機視覺與人工智能(AI)的革命正在進行,人工智能開始沖擊寬宏大量的時尚領域,從電子零售到個性化設計師,再到服裝設計流程,各種應用創新正在重塑我們的時尚生活。在本文中,我們將計算機視覺驅動的時尚技術稱為智能時尚。從技術上講,智能時尚是一項具有挑戰性的任務,因為與一般對象不同,時尚項目在風格和設計上存在顯著差異,最重要的是,可計算的低級特性和它們所編碼的高級語義概念之間存在著長期存在的語義鴻溝。
之前很少有工作[120,165]與時尚綜述相關。2014年,Liu等[120]提出了一項以人臉美容和服裝分析為重點的智能時尚分析的初步文獻調查,介紹了2006-2013年發表的代表著作。然而,由于計算機視覺的快速發展,智能時尚的領域遠遠不止這兩個領域,如風格遷移、物理模仿、時尚預測。有很多相關的工作需要更新。2018年,Song and Mei[165]介紹了多媒體時尚研究的進展,將時尚任務分為三個方面: 低級像素計算、中級時尚理解和高級時尚分析。低像素計算的目的是在圖像上生成像素級標簽,如人體分割、地標檢測和人體姿態估計。中級時尚理解旨在識別時尚形象,如時尚物品和時尚風格。高級時尚分析包括時尚推薦、時尚綜合、時尚趨勢預測。然而,目前還缺乏一個系統、全面的綜述來描繪智能時尚的全貌,從而總結和分類最先進的方法,討論數據集和評價指標,并為未來的研究方向提供見解。
目前關于智能時尚的研究課題不僅包括檢測以圖像形式呈現的時尚物品,還包括對其進行分析,綜合創意新產品,最后給出個性化的建議。因此,在本文中,我們將相應的研究主題組織起來,分類如圖1所示,包括時尚圖像檢測、分析、合成和推薦。此外,我們還概述了智能時尚在時尚領域的主要應用,展示了智能時尚在時尚行業的力量。總的來說,我們工作的貢獻可以總結如下:
我們提供時尚領域的最新研究進展的全面綜述,并將時尚研究主題分為四個主要類別:檢測、分析、合成和推薦。
對于智能時尚研究中的每個類別,我們提供了一個深入和有組織的回顧,其中最重要的方法及其貢獻。同時, 我們總結基準數據集以及相應的門戶網站的鏈接。
我們為不同的問題收集評估指標,并對不同的方法進行性能比較。
我們列出了可能的未來方向,這將有助于即將到來的進步,并激勵研究社區。
本綜述的組織部分如下。第二節回顧了時尚檢測任務,包括地標檢測、時尚解析和條目檢索。第3節說明了包含屬性識別、風格學習和流行度預測的時裝分析工作。第4節提供了時裝合成任務的概述,包括風格轉換、人體姿勢轉換和物理紋理模擬。第五節介紹時尚推薦作品,包括時尚搭配、服裝搭配、發型建議。此外,第6節展示了選定的應用和未來的工作。最后但并非最不重要的是,結束語在第7節給出。
人工智能(AI)為改善私人和公共生活提供了很多機會,以自動化的方式在大型數據中發現模式和結構是數據科學的核心組件,目前驅動著計算生物學、法律和金融等不同領域的應用發展。然而,這種高度積極的影響也伴隨著重大的挑戰:我們如何理解這些系統所建議的決策,以便我們能夠信任它們?在這個報告中,我們特別關注數據驅動的方法——特別是機器學習(ML)和模式識別模型——以便調查和提取結果和文獻觀察。通過注意到ML模型越來越多地部署在廣泛的業務中,可以特別理解本報告的目的。然而,隨著方法的日益普及和復雜性,業務涉眾對模型的缺陷、特定數據的偏差等越來越關注。類似地,數據科學從業者通常不知道來自學術文獻的方法,或者可能很難理解不同方法之間的差異,所以最終使用行業標準,比如SHAP。在這里,我們進行了一項調查,以幫助行業從業者(以及更廣泛的數據科學家)更好地理解可解釋機器學習領域,并應用正確的工具。我們后面的章節將圍繞一位公認的數據科學家展開敘述,并討論她如何通過提出正確的問題來解釋模型。
眾包是一種計算范式,在這種范式中,人類積極參與計算任務,特別是那些本質上人類比計算機更容易完成的任務。空間眾包是移動互聯網和共享經濟時代眾包中日益流行的一種,任務是時空的,必須在特定的地點和時間完成。事實上,空間眾包激發了最近一系列的產業成功,包括城市服務的共享經濟(Uber和Gigwalk)和時空數據收集(OpenStreetMap和Waze)。本調查深入探討了空間眾包的獨特性帶來的挑戰和技術。特別地,我們確定了空間眾包的四個核心算法問題: (1)任務分配,(2)質量控制,(3)激勵機制設計,(4)隱私保護。我們對上述四個問題的現有研究進行了全面和系統的回顧。我們還分析了具有代表性的空間眾包應用程序,并解釋了它們是如何通過這四個技術問題實現的。最后,我們討論了未來空間眾包研究和應用中需要解決的開放問題。
深度學習算法已經在圖像分類方面取得了最先進的性能,甚至被用于安全關鍵應用,如生物識別系統和自動駕駛汽車。最近的研究表明,這些算法甚至可以超越人類的能力,很容易受到對抗性例子的攻擊。在計算機視覺中,與之相對的例子是惡意優化算法為欺騙分類器而產生的含有細微擾動的圖像。為了緩解這些漏洞,文獻中不斷提出了許多對策。然而,設計一種有效的防御機制已被證明是一項困難的任務,因為許多方法已經證明對自適應攻擊者無效。因此,這篇自包含的論文旨在為所有的讀者提供一篇關于圖像分類中對抗性機器學習的最新研究進展的綜述。本文介紹了新的對抗性攻擊和防御的分類方法,并討論了對抗性實例的存在性。此外,與現有的調查相比,它還提供了相關的指導,研究人員在設計和評估防御時應該考慮到這些指導。最后,在文獻綜述的基礎上,對未來的研究方向進行了展望。
隨著web技術的發展,多模態或多視圖數據已經成為大數據的主要流,每個模態/視圖編碼數據對象的單個屬性。不同的模態往往是相輔相成的。這就引起了人們對融合多模態特征空間來綜合表征數據對象的研究。大多數現有的先進技術集中于如何融合來自多模態空間的能量或信息,以提供比單一模態的同行更優越的性能。最近,深度神經網絡展示了一種強大的架構,可以很好地捕捉高維多媒體數據的非線性分布,對多模態數據自然也是如此。大量的實證研究證明了深多模態方法的優勢,從本質上深化了多模態深特征空間的融合。在這篇文章中,我們提供了從淺到深空間的多模態數據分析領域的現有狀態的實質性概述。在整個調查過程中,我們進一步指出,該領域的關鍵要素是多模式空間的協作、對抗性競爭和融合。最后,我們就這一領域未來的一些方向分享我們的觀點。
基于協同過濾(CF)的潛在因素模型(LFM),如矩陣分解(MF)和深度CF方法,由于其良好的性能和推薦精度,在現代推薦系統(RS)中得到了廣泛的應用。盡管近年來取得了巨大的成功,但事實表明,這些方法易受對抗性例子的影響,即,這是一種微妙但非隨機的擾動,旨在迫使推薦模型產生錯誤的輸出。這種行為的主要原因是,用于LFM訓練的用戶交互數據可能會受到惡意活動或用戶誤操作的污染,從而導致不可預測的自然噪聲和危害推薦結果。另一方面,研究表明,這些最初設想用于攻擊機器學習應用程序的系統可以成功地用于增強它們對攻擊的魯棒性,以及訓練更精確的推薦引擎。在這方面,本調查的目標有兩方面:(i)介紹關于AML-RS的最新進展,以保障AML-RS的安全性。(ii)展示了AML在生成對抗網絡(GANs)中的另一個成功應用,生成對抗網絡(GANs)使用了AML學習的核心概念(即用于生成應用程序。在這項綜述中,我們提供了一個詳盡的文獻回顧60篇文章發表在主要的RS和ML雜志和會議。這篇綜述為RS社區提供了參考,研究RS和推薦模型的安全性,利用生成模型來提高它們的質量。