亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

盡管深度神經網絡(DNNs)取得了巨大的成功，但最近的研究表明，它們在對抗式樣例面前是脆弱的，這些樣例的目的是通過添加小的對抗式擾動來誤導DNNs。針對這類攻擊，人們提出了幾種防御方法，其中許多方法被自適應攻擊。在這項工作中，我們旨在通過利用領域知識從不同的角度增強ML魯棒性: 我們提出了一個知識增強機器學習管道(KEMLP)，通過一階邏輯規則將領域知識(即不同預測之間的邏輯關系)集成到一個概率圖模型中。特別是，我們開發KEMLP的方法是，根據執行目標任務的主要DNN模型的邏輯關系，集成一組不同的弱輔助模型。在理論上，我們給出了收斂結果，并證明了在適當條件下，KEMLP的預測比主DNN模型的預測更具有魯棒性。實證研究以路標識別為例，利用路標與形狀、內容之間的關系作為領域知識。我們表明，與對抗訓練和其他基線相比，在白盒和黑盒設置下，KEMLP對物理攻擊、L_p有界攻擊、不可預見的攻擊和自然破壞都實現了更高的魯棒性，同時仍然保持較高的準確性。

//icml.cc/Conferences/2021/Schedule?showEvent=9790

貝葉斯范式有潛力解決深度神經網絡的核心問題，如校準差和數據效率低。唉，將貝葉斯推理擴展到大權重空間通常需要限制性的近似。在這項工作中，我們證明，為了獲得準確的預測后驗，對模型權重的一個小子集進行推理是足夠的。其他權重保留為點估計值。這個子網絡推理框架使我們能夠在這些子集上使用表達性的，否則難以處理的后驗近似。特別地，我們將子網絡線性化拉普拉斯作為一種簡單的、可擴展的貝葉斯深度學習方法來實現:我們首先獲得所有權重的MAP估計，然后使用線性化拉普拉斯近似來推斷子網絡上的全協方差高斯后程。我們提出了一種子網絡選擇策略，旨在最大限度地保持模型的預測不確定性。

在許多數據科學應用中，如推薦系統、在線廣告、醫療等，對表格數據進行預測是一項重要的任務。表格數據被結構成行和列，每一行作為數據樣本，每一列作為特性屬性。表格數據的列和行都帶有可以提高模型預測性能的有用模式。然而，大多數現有模型關注的是跨列模式，而忽略了跨行模式，因為它們獨立處理單個樣本。在這項工作中，我們提出了一個通用的學習框架，名為檢索與交互機(RIM)，它充分利用表格數據中的橫行和橫列模式。具體來說，RIM首先利用搜索引擎技術高效地檢索表中有用的行來輔助目標行標簽預測，然后利用特征交互網絡捕捉目標行與被檢索行之間的跨列模式，從而做出最終的標簽預測。我們對三個重要任務的11個數據集進行了廣泛的實驗，即CTR預測(分類)、top-n推薦(排名)和評分預測(回歸)。實驗結果表明，RIM在不同的基準上取得了顯著的改進，證明了RIM的優越性和有效性。

//www.zhuanzhi.ai/paper/753ed3f1b041ebbb1c804ed9f67590dd

與線下工作方式不同，在線學習有兩種研究模式: (1) 在線元學習(OML)[6, 20, 26]在任務依次揭示的序列設置中學習模型參數的良好先驗(或學習學習)。盡管它提供了一個次線性遺憾界限，這種技術完全忽略了公平學習的重要性，而公平學習是人類智能的一個重要標志。(2) 在線公平感知學習[1,8,21]。這種設置捕獲了許多涉及公平性的分類問題。但它的目標是在沒有任何特定任務適應性的情況下實現零概率泛化。因此，這限制了模型適應新到達數據的能力。為了克服這些問題，彌補這一差距，本文首次提出了一種新的在線元學習算法，即FFML，該算法是在不公平預防的背景下進行的。FFML的關鍵部分是學習在線公平分類模型的原始參數和對偶參數的良好先驗，它們分別與模型的準確性和公平性有關。這個問題的形式是一個雙層次的凸-凹優化。理論分析提供了損失后悔的次線性上界??(log??)，違反累積公平約束的上界??(p??log??)。我們的實驗通過將FFML應用于三個真實數據集上的分類，證明了它的通用性，并在公平性和分類準確性之間的權衡上顯示了比最好的預先工作的實質性改進。

識別惡意用戶對于確保互聯網平臺的安全性和完整性至關重要。已經建立了幾個基于深度學習的檢測模型。然而，惡意用戶可以通過操縱他們的行為來逃避深度檢測模型，使得這些模型幾乎沒有用處。這種深度檢測模型在對抗攻擊時的漏洞是未知的。本文提出了一種新的基于深度用戶序列嵌入的分類模型對抗攻擊模型，該模型利用用戶帖子序列生成用戶嵌入并檢測惡意用戶。在攻擊中，對手生成一個新的帖子來欺騙分類器。我們提出了一種新的端到端個性化文本生成攻擊模型，稱為PETGEN，它同時降低了檢測模型的有效性，并生成具有幾個關鍵的理想屬性的帖子。具體來說，PETGEN會根據用戶的寫作風格生成個性化的帖子，對給定的目標上下文有了解，知道用戶在目標上下文上的歷史帖子，并封裝用戶最近的主題興趣。我們在兩個真實世界的數據集(Yelp和Wikipedia，都有惡意用戶的真實情況)上進行了廣泛的實驗，表明PETGEN顯著降低了流行的基于深度用戶序列嵌入的分類模型的性能。在白盒和黑盒分類器設置中，PETGEN在文本質量和攻擊效能方面優于5個攻擊基準。總的來說，這項工作為下一代的對抗感知序列分類模型鋪平了道路。

//www.cc.gatech.edu/~srijan/pubs/petgen-he-kdd2021.pdf

由于神經網絡的日益普及，對神經網絡預測的信心變得越來越重要。然而，基本的神經網絡不會給出確定性估計，也不會受到信心過度或不足的影響。許多研究人員一直致力于理解和量化神經網絡預測中的不確定性。因此，不同類型和來源的不確定性已被識別，并提出了各種方法來測量和量化神經網絡中的不確定性。本工作對神經網絡中的不確定性估計進行了全面的概述，綜述了該領域的最新進展，突出了當前的挑戰，并確定了潛在的研究機會。它旨在給任何對神經網絡中的不確定性估計感興趣的人一個廣泛的概述和介紹，而不預設在這一領域有先驗知識。對不確定性的主要來源進行了全面的介紹，并將它們分為可約模型不確定性和不可約數據不確定性。本文介紹了基于確定性神經網絡、貝葉斯神經網絡、神經網絡集成和測試時間數據增強等方法對這些不確定性的建模，并討論了這些領域的不同分支和最新進展。對于實際應用，我們討論不確定性的不同措施，校準神經網絡的方法，并給出現有基線和實現的概述。來自不同領域廣泛挑戰的不同例子，提供了實際應用中有關不確定性的需求和挑戰的概念。此外，討論了當前用于任務和安全關鍵的現實世界應用的方法的實際限制，并展望了未來的步驟，以更廣泛地使用這些方法。

//www.zhuanzhi.ai/paper/9a9009dae03438c7a71e0bc1b54de0fa

使用智能手機收集的呼吸音，經過深度學習模型訓練，用于檢測和分類COVID-19，最近變得流行起來。它消除了對現場檢測程序的需要，特別是對相關醫療用品、有經驗的工人和設備有限的農村地區。然而，現有的基于聲音的診斷方法是在完全監督的方式下進行訓練的，這需要大量標記良好的數據。重要的是發現新的方法來利用無標記的呼吸數據，這可以更容易地獲得。在本文中，我們提出了一種新的自監督學習框架，用于COVID-19咳嗽分類。引入對比預訓練階段，以訓練無標記數據的基于Transformer的特征編碼器。具體來說，我們設計了一個隨機掩蔽機制來學習呼吸音的魯棒表示。然后在下游階段對預訓練的特征編碼器進行微調，以執行咳嗽分類。此外，在下游階段還研究了不同隨機掩蔽率下的集成。通過廣泛的評估，我們證明了所提出的對比訓練前、隨機掩蔽機制和集成架構有助于提高咳嗽分類性能。

//www.zhuanzhi.ai/paper/04b3668a6f463e3342c18d32b55b0f33

盡管主動學習在圖像識別方面取得了長足的進步，但仍然缺乏一種專門適用于目標檢測的示例級的主動學習方法。在本文中，我們提出了多示例主動目標檢測（MI-AOD），通過觀察示例級的不確定性來選擇信息量最大的圖像用于檢測器的訓練。MI-AOD定義了示例不確定性學習模塊，該模塊利用在已標注集上訓練的兩個對抗性示例分類器的差異來預測未標注集的示例不確定性。MI-AOD將未標注的圖像視為示例包，并將圖像中的特征錨視為示例，并通過以多示例學習（MIL）方式對示例重加權的方法來估計圖像的不確定性。反復進行示例不確定性的學習和重加權有助于抑制噪聲高的示例，來縮小示例不確定性和圖像級不確定性之間的差距。實驗證明，MI-AOD為示例級的主動學習設置了堅實的基線。在常用的目標檢測數據集上，MI-AOD和最新方法相比具有明顯的優勢，尤其是在已標注集很小的情況下。

代碼地址為//github.com/yuantn/MI-AOD

在優化和決策過程中，不確定性量化(UQ)在減少不確定性方面起著至關重要的作用。它可以應用于解決科學和工程中的各種實際應用。貝葉斯逼近和集成學習技術是目前文獻中使用最廣泛的兩種UQ方法。在這方面，研究者們提出了不同的UQ方法，并在計算機視覺(如自動駕駛汽車和目標檢測)、圖像處理(如圖像恢復)、醫學圖像分析(如醫學圖像分類和分割)、自然語言處理(如文本分類、社交媒體文本和再犯風險評分)、生物信息學得到廣泛應用。本研究綜述了UQ方法在深度學習中的最新進展。此外，我們還研究了這些方法在強化學習(RL)中的應用。然后，我們概述了UQ方法的幾個重要應用。最后，我們簡要地強調了UQ方法面臨的基本研究挑戰，并討論了該領域的未來研究方向。

//arxiv.org/abs/2011.06225

摘要:

在日常情景中，我們處理很多領域的不確定性，從投資機會和醫療診斷到體育比賽和天氣預報，目的是根據收集的觀察和不確定的領域知識進行決策。現在，我們可以依靠使用機器和深度學習技術開發的模型來量化不確定性來完成統計推斷[1]。在人工智能(AI)系統使用[2]之前，對其效能進行評估是非常重要的。這種模型的預測具有不確定性，除了存在不確定性的歸納假設外，還容易出現噪聲和錯誤的模型推斷。因此，在任何基于人工智能的系統中，以一種值得信賴的方式表示不確定性是非常可取的。通過有效地處理不確定性，這樣的自動化系統應該能夠準確地執行。不確定性因素在人工智能中扮演著重要的角色

不確定性的來源是當測試和訓練數據不匹配，由于類重疊或由于數據[6]中存在噪聲而產生的不確定性。估計知識的不確定性要比數據的不確定性困難得多，數據的不確定性自然是通過極大似然訓練來度量的。預測中的不確定性來源對于解決不確定性估計問題[7]至關重要。不確定性有兩個主要來源，在概念上稱為aleatoric和epistemic不確定性8。

數據中的不可約不確定性導致預測中的不確定性是一種可選不確定性(也稱為數據不確定性)。這種類型的不確定性不是模型的屬性，而是數據分布的固有屬性;因此它是不可約的。不確定性的另一種類型是認知不確定性(也稱為知識不確定性)，它是由于知識和數據的不足而產生的。人們可以定義模型來回答基于模型預測中的不同人類問題。在數據豐富的情況下，有大量的數據收集，但它可能是信息差的[10]。在這種情況下，可以使用基于人工智能的方法定義有效的模型，表征數據特征。通常這些數據是不完整的，有噪聲的，不一致的和多模態的[1]。

不確定性量化(UQ)是當今許多關鍵決策的基礎。沒有UQ的預測通常是不可靠和不準確的。為了理解深度學習(DL)[11]，[12]過程生命周期，我們需要理解UQ在DL中的作用。DL模型首先收集可用于決策過程的最全面和潛在相關的數據集。DL場景的設計是為了滿足某些性能目標，以便在使用標記數據訓練模型之后選擇最合適的DL架構。迭代訓練過程優化不同的學習參數，這些參數將被“調整”，直到網絡提供令人滿意的性能水平。

在涉及的步驟中，有幾個不確定因素需要加以量化。很明顯的不確定性這些步驟如下:(i)選擇和訓練數據的集合,(ii)訓練數據的完整性和準確性,(3)理解DL(或傳統機器學習)模型與性能范圍及其局限性,和(iv)不確定性對應基于操作數據的性能模型[13]。數據驅動的方法，如與UQ相關的DL提出了至少四組重疊的挑戰:(1)缺乏理論，(2)缺乏臨時模型，(3)對不完美數據的敏感性，以及(4)計算費用。為了緩解這些挑戰，有時會采用模型變異性研究和敏感性分析等特殊解決方案。不確定性估計和量化在數字學習和傳統機器學習中得到了廣泛的研究。在下面，我們提供一些最近的研究的簡要總結，這些研究檢驗了處理不確定性的各種方法的有效性。

圖2給出了三種不同不確定度模型[9](MC dropout, Boostrap模型和GMM模型)的示意圖比較。此外，不確定性感知模型(BNN)與OoD分類器的兩種圖形表示如圖3所示。

在大數據時代，ML和DL，智能使用不同的原始數據有巨大的潛力，造福于廣泛的領域。然而，UQ在不同的ML和DL方法可以顯著提高其結果的可靠性。Ning等人總結并分類了不確定性下數據驅動優化范式的主要貢獻。可以看出，本文只回顧了數據驅動的優化。在另一項研究中，Kabir等人[16]回顧了基于神經網絡的UQ。作者關注概率預測和預測區間(pi)，因為它們是UQ文獻中最廣泛使用的技術之一。

我們注意到，從2010年到2020年(6月底)，在各個領域(如計算機視覺、圖像處理、醫學圖像分析、信號處理、自然語言處理等)發表了超過2500篇關于AI中UQ的論文。與以往UQ領域的文獻綜述不同，本研究回顧了最近發表的使用不同方法定量AI (ML和DL)不確定性的文章。另外，我們很想知道UQ如何影響真實案例，解決AI中的不確定性有助于獲得可靠的結果。與此同時，在現有的研究方法中尋找重要的談話是一種很好的方式，為未來的研究指明方向。在這方面，本文將為ML和DL中UQ的未來研究人員提供更多的建議。我們調查了UQ領域應用于ML和DL方法的最新研究。因此，我們總結了ML和DL中UQ的一些現有研究。值得一提的是，本研究的主要目的并不是比較提出的不同UQ方法的性能，因為這些方法是針對不同的數據和特定的任務引入的。由于這個原因，我們認為比較所有方法的性能超出了本研究的范圍。因此，本研究主要關注DL、ML和強化學習(RL)等重要領域。因此，本研究的主要貢獻如下:

• 據我們所知，這是第一篇關于ML和DL方法中使用的UQ方法的全面綜述論文，值得該領域的研究人員使用。
• 對新提出的UQ方法進行了全面調研。
• 此外，UQ方法的重要應用的主要類別也進行了介紹
• 指出了UQ方法的主要研究空白。
• 最后，討論了很少確定的未來發展方向。