亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

抽象知識深植根于許多基于計算機的應用中。人工智能(AI)的一個重要研究領域是從數據中自動推導知識。機器學習提供了相應的算法。其中一個研究領域是生物啟發學習算法的開發。各自的機器學習方法都是基于神經學概念，因此它們可以系統地從數據中獲取知識并存儲它。一種可以歸類為深度學習模型的機器學習算法被稱為深度神經網絡(DNNs)。DNN由多層排列的多個人工神經元組成，通過反向傳播算法進行訓練。這些深度學習方法在從高維數據推斷和存儲復雜知識方面表現出驚人的能力。

然而，DNN會受到一個問題的影響，即無法將新知識添加到現有的知識庫中。不斷積累知識的能力是促進進化的重要因素，因此是發展強大人工智能的先決條件。所謂的“災難性遺忘”(CF)效應導致DNN在對新數據分布進行幾次訓練迭代后，立即失去已經派生的知識。只有用過去和新數據的聯合數據分布進行昂貴的再訓練，才能抽象出整個新知識集。為了抵消這種影響，各種旨在緩解甚至解決CF問題的技術已經并且仍在開發中。這些已發表的CF回避研究通常暗示他們的方法對各種持續學習任務的有效性。

本文的研究背景是基于深度學習方法的持續機器學習。第一部分是面向實際應用的評估協議的開發，該協議可以用于研究不同的機器學習模型對協同效應的抑制。在第二部分，綜合研究表明，在面向應用的需求下，所研究的模型都不能表現出令人滿意的持續學習效果。第三部分提出了一種新的深度學習模型——深度卷積高斯混合模型(deep Convolutional Gaussian Mixture Models, DCGMMs)。DCGMMs建立在無監督高斯混合模型(GMMs)的基礎上。gmm不能被認為是深度學習方法，它必須在訓練前以數據驅動的方式進行初始化。這些方面限制了gmm在持續學習場景中的使用。本文提出的訓練過程使使用隨機梯度下降(SGD)(應用于dnn)來訓練GMMs成為可能。集成退火方案解決了數據驅動的初始化問題，這是GMM訓練的先決條件。實驗證明，新的訓練方法在不迭代其缺點的情況下，可以得到與傳統方法相當的結果。另一個創新是GMM以層的形式排列，這類似于DNN。將GMM轉換為層使其能夠與現有層類型相結合，從而構建深層體系結構，從而可以用較少的資源派生出更復雜的知識。

在本工作的最后一部分，研究DCGMM模型的持續學習能力。為此，提出一種稱為高斯混合重放(GMR)的重放方法。GMR利用DCGMM的功能來描述數據樣本的生成和重現。與現有CF回避模型的比較表明，在面向應用的條件下，GMR可以取得類似的持續學習效果。總之，所提出的工作表明，確定的面向應用的需求仍然是“應用”持續學習研究方法的開放問題。此外，新的深度學習模型為許多其他研究領域提供了一個有趣的起點。

知識圖譜以概念之間的關系表示世界上的事實知識，對于企業應用中的智能決策至關重要。通過將概念和關系編碼為低維特征向量表示，從知識圖譜中已有的事實中推斷出新的知識。這一任務最有效的表示方法稱為知識圖嵌入(KGE)，是通過神經網絡體系結構學習的。由于其令人印象深刻的預測性能，它們越來越多地用于高影響力的領域，如醫療保健、金融和教育。然而，黑箱KGE模型在高風險領域的使用是否具有反魯棒性呢?本文認為，最先進的KGE模型容易受到數據中毒攻擊，即系統地對訓練知識圖進行擾動會降低其預測性能。為支持這一論點，提出了兩種新的數據中毒攻擊，在訓練時制造輸入的刪除或添加，以破壞學習模型在推理時的性能。這些攻擊的目標是使用知識圖譜嵌入預測知識圖譜中缺失的事實。

針對對抗缺失導致模型性能下降的問題，提出使用模型無關的實例歸因方法。這些方法用于識別對KGE模型對目標實例預測影響最大的訓練實例。有影響的三元組用作對抗性刪除。為了通過對抗性添加來毒害KGE模型，利用它們的歸納能力。KGE模型的歸納能力是通過知識圖中的對稱、反轉和組合等關系模式來獲取的。具體而言，為了降低模型對目標事實的預測置信度，本文提出提高模型對一組誘餌事實的預測置信度。因此，通過不同的關系推理模式，構建了可以提高模型對誘餌事實預測置信度的對抗性添加。對提出的對抗性攻擊的評估表明，它們在兩個公開可用的數據集的四個KGE模型上優于最先進的基線。在提出的方法中，更簡單的攻擊與計算成本高的攻擊競爭或優于它們。論文的貢獻不僅強調并提供了一個機會來修復KGE模型的安全漏洞，而且還有助于理解這些模型的黑箱預測行為。

假設有一個金融監管機構想要發現和預測洗錢活動，在這種活動中，惡意方通過一系列金融交易將其從非法活動中獲得的收入匯入合法的銀行賬戶。鑒于此類活動的復雜性和相互關聯的性質，分析來自孤立銀行賬戶的金融交易往往不足以在實踐中抓住詐騙犯。相反，利用不同金融實體之間的關系，跨不同的金融數據來源執行集成分析。為了實現這種集成分析，知識圖譜已經成為建模和集成來自不同來源的關于多個金融實體的事實知識的事實標準(Hogan等人，2021;Noy等人，2019)。像銀行賬戶這樣的實體、它們的所有者和資產被表示為知識圖譜的節點，這些實體之間的交互和交易被表示為圖的標記邊。由于數字金融交易的數量不斷增長，數據驅動的機器學習(ML)方法被用于挖掘這個相互關聯的交易圖中的模式。對圖表數據的學習和推斷驅動智能決策，如預測不同賬戶之間的可疑交易或賬戶所有者之間的隱藏從屬關系(Khalili等人，2020;張,2020;辛格森和索尼，2021年)。然而，有非法收入可洗黑錢的惡意方極有動機逃避這些系統的檢測。因此，這些參與者可能試圖通過操縱他們的個人信息和輸入知識圖譜中的交易來破壞數據驅動智能系統的預測。在這種對抗性環境中，機器學習模型對知識圖譜的預測是否可靠?

與金融領域的反洗錢應用一樣，知識圖譜是有關互聯實體及其之間關系的事實知識的普遍表示(Hogan等人，2021)。近年來，多個大規模知識圖譜被開發出來，用于支持搜索引擎、電子商務、社交網絡、生物醫藥、金融等領域的智能決策。谷歌和微軟等商業企業已經從網絡上的文本資源構建了網絡規模的知識圖譜，以支持谷歌搜索和必應。類似地，Facebook和LinkedIn依賴于用戶知識的圖表表示來了解用戶偏好并推薦潛在的聯系或工作機會。亞馬遜和eBay等在線供應商也使用企業知識圖譜來編碼用戶的購物行為和產品信息，以改進產品推薦。埃森哲(Accenture)、德勤(Deloitte)和彭博(Bloomberg)等其他公司也在金融服務領域部署了知識圖譜。這些財務圖表為企業搜索、財務數據分析、風險評估和欺詐檢測等應用提供了強大的支持(Hogan等人，2021年;Noy等人，2019)。

更一般地說，在自然語言處理(NLP)領域，注入以事實知識圖譜表示的背景知識，以支持知識感知的應用，如基于知識的問答或知識庫的可解釋事實檢查(Ji et al., 2022; Kotonya and Toni, 2020)。研究結構化知識表示與非結構化文本語言表示相結合的方法是該領域一個新興的研究方向。這些方法尋求利用事實和常識知識來提高NLP模型的上下文推理和理解能力(Malaviya et al., 2020; He et al., 2020; Zhang et al., 2022)。類似地，在計算機視覺(CV)領域，用于圖像分類、視覺問題回答和基于骨架的動作識別等任務的機器學習通過將場景或圖像中的對象之間的關系表示為知識圖來增強(見Ma和Tang, 2021年，第11章)。另一方面，知識圖譜在醫療保健和生物醫學研究方面也出現了一些新興應用。在這里，生物網絡被用來模擬不同蛋白質結構、藥物和疾病之間的聯系和相互作用。此外，將生物醫學知識與患者的電子健康記錄結合起來，可以對疾病共病進行綜合分析，從而實現個性化精準醫療(Rotmensch et al., 2017; Mohamed et al., 2020; Li et al., 2021; Bonner et al., 2022)。因此，知識圖譜是現代智能系統中學習和推理的支柱。

為了將圖數據合并到標準ML管道中，需要將符號圖結構表示為可微的特征向量。傳統算法啟發式和領域工程的手工藝品的特性基于統計圖或節點的拓撲結構,或內核方法(看到漢密爾頓,2020年,第2章)。缺乏靈活性的特征工程使得圖形方式表示學習算法,學習圖結構表示為低維連續特征向量,也稱為嵌入。為了學習實體的嵌入，這些算法旨在保留實體在圖域中鄰域的結構信息，作為嵌入域中的相似性度量。通過這種方式，對實體嵌入的代數操作反映了這些實體之間的圖結構交互，從而允許來自圖的拓撲信息用于不同的ML任務。基于深度學習的神經網絡架構用于優化知識圖中實體和關系的表示，以便學習到的表示最好地支持要在圖上執行的下游ML任務(Hamilton等人，2017b;由于其對不同下游任務的有效性，圖表示學習算法已成為使用知識圖進行學習和推理的最先進方法(Chen et al., 2020; Nickel et al., 2016a)。

基于深度學習的方法的成功歸功于它們能夠從大量輸入數據中提取豐富的統計模式。然而，由于是數據驅動的，學習到的模型是不可解釋的，預測的原因是未知的。由于這種黑盒預測行為，模型的失效模式也是未知的。已有研究表明，深度學習模型的預測可以通過操縱其輸入數據來操縱(Biggio和Roli, 2018;約瑟夫等人，2019)。這對于醫療保健、金融、教育或執法等高風險領域尤其令人擔憂，在這些領域，知識圖譜的表示學習算法越來越多地使用(Mohamed等人，2020;邦納等人，2022年)。在這些領域中，決策結果會影響人類的生活，模型失敗的風險非常高。另一方面，由于高風險，很可能會有動機敵對的參與者想要操縱模型預測。此外，知識圖譜通常從網絡上的文本來源自動提取，或從用戶生成的內容中策劃(Nickel等人，2016a;Ji et al.， 2022)。這使得對手很容易向圖中注入精心制作的虛假數據。因此，在高風險的面向用戶領域部署圖表示學習模型，模型的良好預測性能是不夠的。確保模型的使用安全性和魯棒性是至關重要的。然而，建立對抗魯棒模型需要測量模型的對抗魯棒性的方法。換句話說，對抗魯棒圖表示學習模型的必要前提是識別現有模型的失效模式或安全漏洞的方法。

本文的研究是出于識別黑盒圖表示學習算法的對抗性漏洞的需要，將其作為將其負責任地集成到高風險用戶面對的應用程序的關鍵一步。

深度學習徹底改變了機器學習和人工智能，在幾個標準基準上取得了超人的表現。眾所周知，深度學習模型訓練效率低;它們通過多次處理數以百萬計的訓練數據來學習，并且需要強大的計算資源來同時并行處理大量數據，而不是順序處理。深度學習模型也存在非預期失效模式;他們可能會被愚弄，做出錯誤的預測。

在本文中，我們研究了提高深度學習模型訓練效率和魯棒性的方法。在學習視覺語義嵌入的背景下，我們發現優先學習更多的信息訓練數據可以提高收斂速度和提高測試數據的泛化性能。我們形式化了一個簡單的技巧，稱為硬負挖掘，作為學習目標函數的修改，沒有計算開銷。接下來，我們在深度學習的通用優化方法中尋求優化速度的改進。我們展示了對訓練數據采樣的冗余感知修改提高了訓練速度，并開發了一種檢測訓練信號多樣性的有效方法，即梯度聚類。最后，我們研究了深度學習中的對抗魯棒性，以及在不使用額外數據訓練的情況下實現最大對抗魯棒性的方法。對于線性模型，我們證明保證最大的魯棒性實現只有通過適當的選擇優化器，正則化，或架構。

//arxiv.org/pdf/2112.01423.pdf

我們根據預測中包含的信息而不是訓練算法的輸出來推導有監督學習算法的信息理論泛化邊界。這些邊界改進了現有的信息理論界限，適用于更廣泛的算法，并解決了兩個關鍵的挑戰: (a)它們為確定性算法提供了有意義的結果；(b)它們明顯更容易估計。我們通過實驗證明，在深度學習的實際場景中，所提出的邊界與泛化差距密切相關。

//www.zhuanzhi.ai/paper/0c63babe0fe06d384258215e6ab8f74c

論文標題：Capsule Network is Not More Robust than Convolutional Network 論文鏈接：//www.zhuanzhi.ai/paper/0dc0a5b70e66bc27bb194fd8eeb1f072

作者單位：慕尼黑大學 & 微軟亞洲研究院

研究表明，一些對CapsNet至關重要的設計實際上會損害其魯棒性，即動態路由層和transformation過程！具有動態路由的CapsNet并不比ConvNets更為健壯！

人們普遍認為，膠囊網絡比卷積網絡更魯棒。但是，這兩個網絡之間沒有全面的比較，并且還不清楚CapsNet中的哪些組件會影響其魯棒性。在本文中，我們首先仔細檢查CapsNet中的特殊設計，這些特殊設計與通常用于圖像分類的ConvNet有所不同。該檢查揭示了CapsNet中的五個主要的新/不同組成部分：轉換過程，動態路由層，squashing function，除交叉熵損失之外的邊際損失以及用于正則化的附加類條件重建損失。除了這些主要差異外，我們還對仿射變換，數字重疊和語義表示三種魯棒性進行了全面的消融研究。研究表明，一些對CapsNet至關重要的設計實際上會損害其魯棒性，即動態路由層和轉換過程，而其他設計則有益于魯棒性。基于這些發現，我們僅通過介紹CapsNet成功背后的基本要素，便提出了增強的ConvNets。與CapsNet相比，所提出的簡單ConvNets可以實現更好的魯棒性。

盡管健壯的深度學習中的現有工作都集中在基于像素級別的小型規范擾動，但這可能無法解決在多個實際設置中遇到的擾動。在許多此類情況下，盡管可能無法獲得測試數據，但可能知道有關擾動類型（例如未知的旋轉度）的廣泛規范。我們考慮一種在看不見的測試域中預期具有魯棒性的設置。但偏離了訓練領域。雖然可能無法確切知道此偏差，但根據屬性先驗地指定了其廣泛的特征。我們提出了一種對抗訓練方法，該方法學習如何生成新樣本，從而最大程度地將分類器暴露于屬性空間，而無需訪問來自測試域的數據。我們的對抗訓練解決了最小-最大優化問題，通過優化內部最大化產生的對抗性擾動的損失，使內部最大化產生對抗性擾動，而外部最小化找到模型參數。我們證明了我們的方法在三種類型的自然擾動上的適用性-與對象相關的移動，幾何變換和常見的圖像破壞。我們的方法使深度神經網絡能夠抵抗各種自然擾動。我們通過展示在MNIST，CIFAR-10和CLEVR數據集的新變體上進行對抗訓練而獲得的深度神經網絡的魯棒性收益，從而證明了所提出方法的有效性。

//www.zhuanzhi.ai/paper/636acb141a5e0aea86f5cb8e864aca56