?遷移學習作為機器學習領域的關鍵核心技術，能夠有效地緩解訓練模型時對訓練數據規模以及計算能力的需求。近年來，研究人員針對遷移學習進行了大量的研究，主要集中在提高遷移后模型在目標域上的準確率，而忽略了遷移后模型面對對抗樣本攻擊時的魯棒性。該論文針對人工智能系統安全問題，分析了在遷移學習場景下，當深度神經網絡面臨對抗樣本攻擊時，遷移策略對神經網絡魯棒性的影響。
該論文彌補了現有分析的缺陷，在基于多種常用的圖像數據集構建的遷移學習場景中，細致地探討了在目標域上微調的模型層數對模型準確率及魯棒性的影響，并揭示了兩者之間存在的平衡問題，即隨著模型微調的層數增加，其在目標域上的準確率與魯棒性出現了不同步的變化（如圖1所示，左右分別為在不同數據集上的實驗結果）。同時，該論文針對目前普遍采用的批歸一化層，分析了其對于遷移學習后模型性能的影響，并通過大量實驗證明：在遷移學習中有選擇地重用批歸一化層的參數，可以有效地提高系統魯棒性。
更進一步地，對于遷移學習過程中準確率與魯棒性的平衡問題，該論文針對性地提出協同對抗魯棒的遷移學習框架（如圖2所示），分別針對源域模型（文中稱為TeacherModel）的對抗訓練階段以及目標域模型（文中稱為StudentModel）的微調階段設計了新算法：考慮源域模型中的部分網絡層會被目標域模型重用—被用于提取輸入的特征—對此該論文提出特征距離最小化，通過減少源域模型對正常樣本與對抗樣本所提取特征的差異程度，使其魯棒性能夠更加容易地被目標域模型繼承；對于在目標域上的微調過程，該論文提出非拓展微調算法，通過限制微調部分網絡參數的利普希茨常數，降低模型對于對抗樣本的敏感程度，從而使微調后的模型能夠更好地從源域繼承魯棒性。作者在多個圖像數據集（CIFAR、SVHN、GTSRB）上進行了大量實驗和分析，實驗結果充分驗證了該方案的有效性。
付費5元查看完整內容
相關內容
遷移學習（Transfer Learning）是一種機器學習方法，是把一個領域（即源領域）的知識，遷移到另外一個領域（即目標領域），使得目標領域能夠取得更好的學習效果。遷移學習（TL）是機器學習（ML）中的一個研究問題，著重于存儲在解決一個問題時獲得的知識并將其應用于另一個但相關的問題。例如，在學習識別汽車時獲得的知識可以在嘗試識別卡車時應用。盡管這兩個領域之間的正式聯系是有限的，但這一領域的研究與心理學文獻關于學習轉移的悠久歷史有關。從實踐的角度來看，為學習新任務而重用或轉移先前學習的任務中的信息可能會顯著提高強化學習代理的樣本效率。
在統一魯棒半監督變分自編碼器(URSVAE)中，通過同時處理噪聲標簽和異常值，提出了一種新的噪聲魯棒半監督深度生成模型。輸入數據的不確定性通常是將不確定性優先于概率密度分布的參數，以確保變分編碼器對異常值的魯棒性。隨后，我們將噪聲轉換模型自然地集成到我們的模型中，以減輕噪聲標簽的有害影響。此外，為了進一步增強魯棒性，采用魯棒散度測度，推導并優化了新的變分下界來推斷網絡參數。通過證明對所提證據下界的影響函數是有界的，證明了所提模型在存在復合噪聲的情況下在分類方面的巨大潛力。通過對圖像分類任務的評價和與現有方法的比較，實驗結果表明了該框架的優越性。
付費5元查看完整內容
學生作者：王希梅，高敬涵
//www.zhuanzhi.ai/paper/2d828976f615c8c8bf691f9235b05fc1
摘要：大規模標記數據集推動深度學習獲得廣泛應用，但在現實場景中收集足量的標記數據往往耗時耗力。為了降低對標記數據的需求，半監督學習側重于同時探索標記和未標記數據，而遷移學習旨在將預訓練模型微調到目標數據中。然而，從頭訓練的半監督自訓練模型容易被錯誤的偽標簽所誤導，而僅僅挖掘有限標記數據的遷移學習方法則面臨模型漂移的挑戰。為了實現數據高效的深度學習，本文提出的Self-Tuning方法設計了一種新的“偽標簽組對比”機制，將標記和未標記數據的探索與預訓練模型的遷移統一起來。在多個基準數據集中，Self-Tuning的性能取得大幅提升，例如，在標簽比例為15%的Stanford Cars中，Self-Tuning相較標準fine-tuning獲得了翻倍的準確率。
arxiv鏈接：
付費5元查看完整內容
基于meta-learning的方法在有噪聲標注的圖像分類中取得了顯著的效果。這類方法往往需要大量的計算資源，而計算瓶頸在于meta-gradient的計算上。本文提出了一種高效的meta-learning更新方式：Faster Meta Update Strategy (FaMUS)，加快了meta-learning的訓練速度 (減少2/3的訓練時間)，并提升了模型的性能。首先，我們發現meta-gradient的計算可以轉換成一個逐層計算并累計的形式; 并且，meta-learning的更新只需少量層數在meta-gradient就可以完成。基于此，我們設計了一個layer-wise gradient sampler 加在網絡的每一層上。根據sampler的輸出，模型可以在訓練過程中自適應地判斷是否計算并收集該層網絡的梯度。越少層的meta-gradient需要計算，網絡更新時所需的計算資源越少，從而提升模型的計算效率。
并且，我們發現FaMUS使得meta-learning更加穩定，從而提升了模型的性能。最后，我們在有噪聲的分類問題以及長尾分類問題都驗證了我們方法的有效性。
付費5元查看完整內容
題目：Adversarial Label-Flipping Attack and Defense for Graph Neural Networks 會議： ICDM 2020 論文代碼： //github.com/MengmeiZ/LafAK
隨著GNN的廣泛應用，其對于對抗攻擊的魯棒性越來越受到人們的關注。然而，現有的工作忽略了對抗標簽翻轉攻擊，其中攻擊者可以通過操縱少量的訓練標簽毒害模型訓練。探索GNN對標簽翻轉攻擊的魯棒性是非常關鍵的，特別是當標簽從外部來源收集并且容易注入錯誤標簽時(例如推薦系統)。在這項工作中我們介紹了第一個對抗標簽翻轉攻擊GNN的研究，并提出了一種有效的攻擊模型LafAK，LafAK利用GCN的近似閉合解和不可微目標的連續代理，通過基于梯度的優化器高效地產生攻擊。此外，我們還指出了GNNs易受標簽翻轉攻擊的一個關鍵原因是對翻轉節點的過擬合。基于此，我們提出了一個防御框架，該框架引入了一個基于社區分類的自監督任務作為正則化來避免過擬合。我們在四個真實的數據集上展示了我們提出的攻擊模型和防御模型的有效性。
付費5元查看完整內容
深度學習作為人工智能技術的重要組成部分，被廣泛應用于計算機視覺和自然語言處理等領域。盡管深度學習在圖像分類和目標檢測等任務中取得了較好性能，但是對抗攻擊的存在對深度學習模型的安全應用構成了潛在威脅，進而影響了模型的安全性。在簡述對抗樣本的概念及其產生原因的基礎上，分析對抗攻擊的主要攻擊方式及目標，研究具有代表性的經典對抗樣本生成方法。描述對抗樣本的檢測與防御方法，并闡述對抗樣本在不同領域的應用實例。通過對對抗樣本攻擊與防御方法的分析與總結，展望對抗攻擊與防御領域未來的研究方向。
付費5元查看完整內容
跨領域推薦可用于解決單一領域數據稀疏導致的推薦系統性能退化問題，還可以緩解推薦系統中存在的用戶冷 啟動問題。然而，現有的方法大多利用用戶對項目的評分進行建模，忽略了評論文本所蘊含的信息。為此，本文提出了一 種基于雙注意力機制和遷移學習的跨領域推薦模型，首先通過 CNN 對評論文本建模，提取用戶和項目特征；其次通過構 造融合詞的上下文關系的詞注意力機制從評論文本中捕獲詞級別的信息，以提升 CNN 對文本中重點信息的關注度；然后 通過構造特征突顯機制從 CNN 提取到的用戶特征和項目特征中捕獲特征級別的信息；最后引入遷移學習，通過同時提取 領域特有的特征和領域間的共享特征進行不同領域之間的聯合建模，進行評分預測。本文在 Amazon 數據集上進行了實驗 比較與分析，首先對本文模型的推薦性能進行評估，與現有的跨領域推薦模型相比，在兩種不同的跨領域數據集上平均絕 對誤差分別提升 6.1%和 9.15%，均方根誤差分別提升 3.66%和 7.01%；然后對本文模型的知識遷移性能進行評估，與現有 的單領域推薦模型相比，在不同數據集下均方誤差分別提升 5.47%和 10.35%；最后通過實驗驗證了本文提出的注意力機制 的有效性，及在緩解數據稀疏問題問題和用戶冷啟動問題方面的優勢，也驗證了模型的普適性。
付費5元查看完整內容
針對小樣本學習在識別新類別時會出現災難性遺忘的問題，提出一種小樣本學習中克服災難性遺忘的方法。結合卷積神經網絡識別模型提取圖片特征，引用注意力機制設計分類權重生成器，使新類權重的生成基于基類權重。通過基于皮爾森相似度的識別模型計算新類特征與基類圖片分類權重之間的相似度，判斷新類圖像的類別。在三種數據集進行實驗，結果表明：該方法使小樣本圖像分類的精度得到了一定程度的提升，同時不會犧牲基類的識別準確度，克服了災難性遺忘。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191