亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

隨著web技術的發展，多模態或多視圖數據已經成為大數據的主要流，每個模態/視圖編碼數據對象的單個屬性。不同的模態往往是相輔相成的。這就引起了人們對融合多模態特征空間來綜合表征數據對象的研究。大多數現有的先進技術集中于如何融合來自多模態空間的能量或信息，以提供比單一模態的同行更優越的性能。最近，深度神經網絡展示了一種強大的架構，可以很好地捕捉高維多媒體數據的非線性分布，對多模態數據自然也是如此。大量的實證研究證明了深多模態方法的優勢，從本質上深化了多模態深特征空間的融合。在這篇文章中，我們提供了從淺到深空間的多模態數據分析領域的現有狀態的實質性概述。在整個調查過程中，我們進一步指出，該領域的關鍵要素是多模式空間的協作、對抗性競爭和融合。最后，我們就這一領域未來的一些方向分享我們的觀點。

盡管在深度學習方面取得了最近的進展，但大多數方法仍然采用類似“筒倉”的解決方案，專注于孤立地學習每個任務:為每個單獨的任務訓練一個單獨的神經網絡。然而，許多現實問題需要多模態方法，因此需要多任務模型。多任務學習(MTL)旨在利用跨任務的有用信息來提高模型的泛化能力。在這個綜述中，我們提供了一個最先進的在深度神經網絡的背景下MTL技術的全面觀點。我們的貢獻涉及以下方面。首先，我們從網絡架構的角度來考慮MTL。我們包括了一個廣泛的概述，并討論了最近流行的MTL模型的優缺點。其次，我們研究了解決多任務聯合學習的各種優化方法。我們總結了這些工作的定性要素，并探討了它們的共性和差異。最后，我們在各種數據集上提供了廣泛的實驗評估，以檢查不同方法的優缺點，包括基于架構和優化的策略。

//arxiv.org/abs/2004.13379

概述

在過去的十年中，神經網絡在許多任務中都顯示了令人印象深刻的結果，例如語義分割[1]，實例分割[2]和單目深度估計[3]。傳統上，這些任務是單獨處理的，即為每個任務訓練一個單獨的神經網絡。然而，許多現實世界的問題本質上是多模態的。例如，一輛自動駕駛汽車應該能夠檢測場景中的所有物體，定位它們，了解它們是什么，估計它們的距離和軌跡，等等，以便在它的周圍安全導航。同樣的，一個智能廣告系統應該能夠在它的視點上檢測到人們的存在，了解他們的性別和年齡，分析他們的外貌，跟蹤他們正在看的地方，等等，從而提供個性化的內容。與此同時，人類非常擅長同時解決許多任務。生物數據處理似乎也遵循多任務處理策略: 不同的處理過程似乎共享大腦中相同的早期處理層，而不是將任務分開單獨處理。上述觀察結果促使研究人員開發了多任務學習(MTL)模型，即給定一個輸入圖像可以推斷出所有所需的任務輸出。

在深度學習時代之前，MTL工作試圖對任務之間的共同信息進行建模，希望通過聯合任務學習獲得更好的泛化性能。為了實現這一點，他們在任務參數空間上放置了假設，例如:任務參數應該彼此靠近w.r.t.一些距離度量[5]，[6]，[16]0，[16]2，共享一個共同的概率先驗[16]1，[10]，[11]，[12]，[13]，或駐留在一個低維子空間[14]，[15]，[16]或流形[17]。當所有任務都是相關的[5]、[14]、[18]、[19]時，這些假設可以很好地工作，但是如果在不相關的任務之間發生信息共享，則可能導致性能下降。后者是MTL中已知的問題，稱為負轉移。為了緩解這一問題，其中一些研究人員選擇根據先前對任務的相似性或相關性的認識將任務分組。

在深度學習時代，MTL轉化為能夠從多任務監控信號中學習共享表示的網絡設計。與單任務情況下，每個單獨的任務由自己的網絡單獨解決相比，這種多任務網絡理論上給表帶來了幾個優點。首先，由于它們固有的層共享，結果內存占用大大減少。其次，由于他們明確地避免重復計算共享層中的特征，每次都要計算一次，因此他們的推理速度有所提高。最重要的是，如果相關的任務能夠分享互補的信息，或者互相調節，它們就有可能提高績效。對于前者，文獻已經為某些對任務提供了證據，如檢測和分類[20]，[21]，檢測和分割[2]，[22]，分割和深度估計[23]，[24]，而對于后者，最近的努力指向了那個方向[25]。這些工作導致了第一個深度多任務網絡的發展，歷史上分為軟或硬參數共享技術。

在本文中，我們回顧了在深度神經網絡范圍內的MTL的最新方法。首先，我們對MTL基于架構和優化的策略進行了廣泛的概述。對于每種方法，我們描述了其關鍵方面，討論了與相關工作的共性和差異，并提出了可能的優點或缺點。最后，我們對所描述的方法進行了廣泛的實驗分析，得出了幾個關鍵的發現。我們在下面總結了我們的一些結論，并提出了未來工作的一些可能性。

• 首先，MTL的性能在很大程度上取決于任務字典。它的大小、任務類型、標簽源等等，都影響最終的結果。因此，最好根據每個案例選擇合適的架構和優化策略。盡管我們提供了具體的觀察結果，說明為什么某些方法在特定設置中工作得更好，但是MTL通常可以從更深的理論理解中獲益，從而在每種情況下最大化預期收益。例如，這些收益似乎取決于多種因素，例如數據量、任務關系、噪音等。未來的工作應該嘗試分離和分析這些不同因素的影響。

• 其次，當使用單一MTL模型處理多個密集預測任務時，基于解碼器的架構目前在多任務性能方面提供了更多優勢，與基于編碼器的架構相比，其計算開銷有限。如前所述，這是由于基于解碼器的體系結構促進了常見的跨任務模式的對齊，這自然很適合密集的預測任務。基于編碼器的架構在密集預測任務設置中仍然具有一定的優勢，但其固有的層共享似乎更適合處理多個分類任務。

• 最后，我們分析了多種任務均衡策略，并分離出對任務均衡學習最有效的要素，如降低噪聲任務的權重、平衡任務梯度等。然而，許多優化方面仍然缺乏了解。與最近的研究相反，我們的分析表明避免任務之間的梯度競爭會損害性能。此外，我們的研究顯示，一些任務平衡策略仍然存在不足，突出了現有方法之間的一些差異。我們希望這項工作能促進對這一問題的進一步研究。

深度學習方法對各種醫學診斷任務都非常有效，甚至在其中一些任務上擊敗了人類專家。然而，算法的黑箱特性限制了臨床應用。最近的可解釋性研究旨在揭示對模型決策影響最大的特征。這一領域的大多數文獻綜述都集中在分類學、倫理學和解釋的需要上。本文綜述了可解釋的深度學習在不同醫學成像任務中的應用。本文從一個為臨床最終用戶設計系統的深度學習研究者的實際立場出發，討論了各種方法、臨床部署的挑戰和需要進一步研究的領域。

最新的技術進步提高了交通運輸的質量。新的數據驅動方法為所有基于控制的系統(如交通、機器人、物聯網和電力系統)帶來了新的研究方向。將數據驅動的應用與運輸系統相結合在最近的運輸應用程序中起著關鍵的作用。本文綜述了基于深度強化學習(RL)的交通控制的最新應用。其中，詳細討論了基于深度RL的交通信號控制(TSC)的應用，這在文獻中已經得到了廣泛的研究。綜合討論了TSC的不同問題求解方法、RL參數和仿真環境。在文獻中，也有一些基于深度RL模型的自主駕駛應用研究。我們的調查廣泛地總結了這一領域的現有工作，并根據應用程序類型、控制模型和研究的算法對它們進行了分類。最后，我們討論了基于深度可編程邏輯語言的交通應用所面臨的挑戰和有待解決的問題。

隨著高計算設備的發展，深度神經網絡(DNNs)近年來在人工智能(AI)領域得到了廣泛的應用。然而，之前的研究表明，DNN在經過策略性修改的樣本(稱為對抗性樣本)面前是脆弱的。這些樣本是由一些不易察覺的擾動產生的，但可以欺騙DNN做出錯誤的預測。受圖像DNNs中生成對抗性示例的流行啟發，近年來出現了針對文本應用的攻擊DNNs的研究工作。然而，現有的圖像擾動方法不能直接應用于文本，因為文本數據是離散的。在這篇文章中，我們回顧了針對這一差異的研究工作，并產生了關于DNN的電子對抗實例。我們對這些作品進行了全面的收集、選擇、總結、討論和分析，涵蓋了所有相關的信息，使文章自成一體。最后，在文獻回顧的基礎上，我們提出了進一步的討論和建議。

題目： 機器學習的隱私保護研究綜述

簡介：

大規模數據收集大幅提升了機器學習算法的性能,實現了經濟效益和社會效益的共贏,但也令個人隱私保護面臨更大的風險與挑戰．機器學習的訓練模式主要分為集中學習和聯邦學習２類,前者在模型訓練前需統一收集各方數據,盡管易于部署,卻存在極大數據隱私與安全隱患;后者實現了將各方數據保留在本地的同時進行模型訓練,但該方式目前正處于研究的起步階段,無論在技術還是部署中仍面臨諸多問題與挑戰．現有的隱私保護技術研究大致分為２條主線,即以同態加密和安全多方計算為代表的加密方法和以差分隱私為代表的擾動方法,二者各有利弊．為綜述當前機器學習的隱私問題,并對現有隱私保護研究工作進行梳理和總結,首先分別針對傳統機器學習和深度學習２類情況,探討集中學習下差分隱私保護的算法設計;之后概述聯邦學習中存的隱私問題及保護方法;最后總結目前隱私保護中面臨的主要挑戰,并著重指出隱私保護與模型可解釋性研究、數據透明之間的問題與聯系．

【導讀】對抗攻擊防御研究用于提升深度學習的魯棒性，是當下的關注焦點。最近，中山大學等學者發布了最新關于圖對抗學習綜述論文，19頁pdf83篇文獻，對在圖形分析任務中對現有的攻防工作進行了梳理和統一，同時給出了適當的定義和分類。此外，我們強調了相關評價指標的重要性，并對其進行了全面的調查和總結。

圖數據的深度學習模型在節點分類、鏈路預測、圖數據聚類等各種圖數據分析任務中都取得了顯著的效果。然而，它們暴露了對于設計良好輸入的不確定性和不可靠性, 對抗樣本。因此，在不同的圖數據分析任務中，出現了各種攻擊和防御的研究，從而導致了圖數據對抗學習中的競爭。例如，攻擊者有投毒和逃避攻擊，防御組相應地有基于預處理和對抗的方法。

盡管工作蓬勃發展，但仍然缺乏統一的問題定義和全面的調研綜述。為了彌補這一不足，我們對已有的關于圖對抗學習任務的研究進行了系統的總結。具體來說，我們在圖形分析任務中對現有的攻防工作進行了梳理和統一，同時給出了適當的定義和分類。此外，我們強調了相關評價指標的重要性，并對其進行了全面的調查和總結。希望我們的工作可以為相關研究者提供參考，為他們的研究提供幫助。更多關于我們工作的細節，

請訪問

//github.com/gitgiter/Graph-Adversarial-Learning

在過去的幾十年里，深度學習已經成為人工智能領域的皇冠上的寶石，在語音和語言處理[72,18]、人臉識別[45]和目標檢測[33]等各種應用中都表現出了令人印象深刻的表現。然而，最近頻繁使用的深度學習模型被證明是不穩定和不可靠的，因為它們容易受到干擾。例如，一張圖片上幾個像素的細微變化，對于人眼來說是難以察覺的，但是對于深度學習模型[44]的輸出卻有很大的影響。此時，定義良好并通過反向傳播學習的深度學習模型具有固有的盲點和非直觀特征，應該以明顯的[59]方式推廣到數據分布中。

圖作為一種強大的表示方法，在現實的[25]中有著重要的作用和廣泛的應用。當然，深度學習對圖形的研究也是一個熱門話題，并在不同的領域帶來了許多令人耳目一新的實現，如社交網絡[46]、電子商務網絡[64]和推薦系統[14,71]。不幸的是，作為機器學習關鍵領域的圖分析領域也暴露了深度學習模型在受到精心設計的攻擊時的脆弱性[81,83]。例如，考慮到節點分類的任務，攻擊者通常控制多個假節點，目的是欺騙目標分類器，通過在這些節點與其他良性節點之間添加或刪除邊緣，從而導致誤分類。通常，這些惡意節點被稱為“攻擊者節點”，而其他受害節點被稱為“受影響節點”。如圖1所示，在一個干凈的圖上執行了小的擾動(增加了兩個鏈接，改變了幾個節點的特征)，這導致了圖學習模型的錯誤分類。

隨著對圖數據模型安全性的日益關注，圖數據對抗學習的研究也隨之興起。，一個研究圖數據模型安全性和脆弱性的領域。一方面，從攻擊圖數據學習模型的角度出發，[81]首先研究了圖數據的對抗性攻擊，在節點特征和圖結構受干擾較小的情況下，目標分類器容易對指定的節點進行欺騙和誤分類。另一方面，[65]提出了一種改進的圖卷積網絡(GCNs)模型，該模型具有對抗防御框架，以提高魯棒性。此外，[55]研究了現有的圖數據攻防對抗策略的工作，并討論了它們的貢獻和局限性。然而，這些研究主要集中在對抗性攻擊方面，而對防御方面的研究較少。

挑戰 盡管關于圖表對抗學習的研究大量涌現，但仍然存在一些需要解決的問題。i) 統一與具體的形式化。目前的研究都是將圖對抗學習的問題定義和假設用自己的數學形式化來考慮，大多沒有詳細的解釋，這使得比較和跟進更加困難。ii) 相關評價指標。而對于不同的任務，對應性能的評價指標也有很大的不同，甚至有不同的標準化。此外，圖對抗學習場景的特殊度量還沒有被探索，例如，對攻擊影響的評估。

對于公式和定義不一致的問題，我們考察了現有的攻防工作，給出了統一的定義，并從不同的角度進行了劃分。雖然已經有了一些努力[81,37,19]來概括定義，但大多數公式仍然對自己的模型進行定制。到目前為止，只有一篇文章[55]從綜述的角度概述了這些概念，這不足以全面總結現有的工作。在前人研究的基礎上，我們總結了不同類型的圖，并按層次介紹了三個主要任務，分別在3.1節和4.1節給出了攻擊和防御的統一公式。

自然地，不同的模型伴隨著許多量化的方法，其中提供了一些新的度量。為了幫助研究人員更好地量化他們的模型，也為了系統地總結度量標準，我們在第5節中對度量標準進行了更詳細的討論。特別地，我們首先介紹了防御和攻擊的一些常見度量，然后介紹了它們各自工作中提供的三個類別的度量:有效性、效率和不可感知性。例如，攻擊成功率(ASR)[9]和平均防御率(ADR)[10]分別被用來衡量攻擊和防御的有效性。

綜上所述，我們的貢獻如下:

• 我們深入研究了這一領域的相關工作，并對當前防御和攻擊任務中不統一的概念給出了統一的問題公式和明確的定義。
• 我們總結了現有工作的核心貢獻，并根據防御和攻擊任務中合理的標準，從不同的角度對其進行了系統的分類。
• 我們強調了相關指標的重要性，并對其進行了全面的調查和總結。
• 針對這一新興的研究領域，我們指出了現有研究的局限性，并提出了一些有待解決的問題

【簡介】深度神經網絡(DNNs)在各項任務上都取得了不俗的表現。然而，最近的研究表明通過對輸入進行很小的擾動就可以輕易的騙過DNNs，這被稱作對抗式攻擊。作為DNNs在圖上的擴展，圖神經網絡（GNNs)也繼承了這一缺陷。對手通過修改圖中的一些邊等操作來改變圖的結構可以誤導GNNs作出錯誤的預測。這一漏洞已經引起了人們對在安全領域關鍵應用中采用GNNs的極大關注，并在近年來引起了越來越多的人的研究興趣。因此，對目前的圖對抗式攻擊和反制措施進行一個全面的梳理和回顧是相當有必要的。在這篇綜述中，我們對目前的攻擊和防御進行了分類，以及回顧了相關表現優異的模型。最后，我們開發了一個具有代表性算法的知識庫，該知識庫可以使我們進行相關的研究來加深我們對基于圖的攻擊和防御的理解。

簡介：

近年來，由于機器學習（ML）/深度學習（DL）技術使用多維醫學圖像，在從一維心臟信號的心臟驟停的預測到計算機輔助診斷（CADx）的各種醫療保健應用中的卓越性能，見證了機器學習（ML）/深度學習（DL）技術的廣泛采用。盡管ML / DL的性能令人印象深刻，但對于ML / DL在醫療機構中的健壯性仍然存有疑慮（由于涉及眾多安全性和隱私問題，傳統上認為ML / DL的挑戰性很大），尤其是鑒于最近的研究結果表明ML / DL容易受到對抗性攻擊。在本文中，我們概述了醫療保健中各個應用領域，這些領域從安全性和隱私性的角度利用了這些技術，并提出了相關的挑戰。此外，我們提出了潛在的方法來確保醫療保健應用程序的安全和隱私保護機器學習。最后，我們提供了有關當前研究挑戰的見解以及未來研究的有希望的方向。

內容大綱：