對抗樣本
·
在一個持續的循環，在這個循環中，對對抗攻擊更強的防御隨后被更高級的防御感知攻擊打破。我們提出了一種結束此循環的新方法，即通過使攻擊者生成語義上類似于攻擊目標類的輸入來“轉移”對抗攻擊。為此，我們首先提出一種基于膠囊網絡的更強大的防御，它結合了三種檢測機制來實現對標準攻擊和防御感知攻擊的最新檢測性能。然后，我們進行了一項人體研究，要求參與者對攻擊產生的圖像進行標記，結果表明，針對我們的防御系統的未檢測到的攻擊通常與對抗目標類相似。這些攻擊圖像不能再被稱為“對抗性的”，因為我們的網絡像人類一樣對它們進行分類。
付費5元查看完整內容
相關內容
題目：
Con?dence-Aware Learning for Deep Neural Networks
簡介：
盡管深度神經網絡可以執行多種任務，但過分一致的預測問題限制了它們在許多安全關鍵型應用中的實際應用。已經提出了許多新的工作來減輕這個問題，但是大多數工作需要在訓練和/或推理階段增加計算成本，或者需要定制的體系結構來分別輸出置信估計。在本文中，我們提出了一種使用新的損失函數訓練深度神經網絡的方法，稱為正確排名損失，該方法將類別概率顯式規范化，以便根據依據的有序等級更好地進行置信估計。所提出的方法易于實現，并且無需進行任何修改即可應用于現有體系結構。而且，它的訓練計算成本幾乎與傳統的深度分類器相同，并且通過一次推斷就可以輸出可靠的預測。在分類基準數據集上的大量實驗結果表明，所提出的方法有助于網絡產生排列良好的置信度估計。我們還證明，它對于與置信估計，分布外檢測和主動學習密切相關的任務十分有效。
付費5元查看完整內容
【導讀】ICML(International Conference on Machine Learning)，即國際機器學習大會, 是機器學習領域全球最具影響力的學術會議之一，因此在該會議上發表論文的研究者也會備受關注。因疫情的影響, 今年第37屆ICML大會將于2020年7月13日至18日在線上舉行。據官方統計，ICML 2020共提交4990篇論文，接收論文1088篇，接收率為21.8%。與往年相比，接收率逐年走低。在會議開始前夕，專知小編為大家整理了ICML 2020圖神經網絡（GNN）的六篇相關論文供參考——核GNN、特征變換、Haar 圖池化、無監督圖表示、譜聚類、自監督GCN。
ICML 2020 Accepted Papers //icml.cc/Conferences/2020/AcceptedPapersInitial
ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN
1. Convolutional Kernel Networks for Graph-Structured Data
作者：Dexiong Chen, Laurent Jacob, Julien Mairal
摘要：我們引入了一系列多層圖核，并在圖卷積神經網絡和核方法之間建立了新的聯系。我們的方法通過將圖表示為核特征映射序列將卷積核網絡推廣到圖結構數據，其中每個節點攜帶關于局部圖子結構的信息。一方面，核的觀點提供了一種無監督的、有表現力的、易于正規化的數據表示，這在樣本有限的情況下很有用。另一方面，我們的模型也可以在大規模數據上進行端到端的訓練，從而產生了新型的圖卷積神經網絡。我們的方法在幾個圖分類基準上取得了與之相當的性能，同時提供了簡單的模型解釋。
網址：
代碼鏈接：
2. GNN-FILM: Graph Neural Networks with Feature-Wise Linear Modulation 作者：Marc Brockschmidt
摘要：本文提出了一種新的基于特征線性調制（feature-wise linear modulation，FiLM）的圖神經網絡(GNN)。許多標準GNN變體僅通過每條邊的源的表示來計算“信息”，從而沿著圖的邊傳播信息。在GNN-FILE中，邊的目標節點的表示被附加地用于計算可以應用于所有傳入信息的變換，從而允許對傳遞的信息進行基于特征的調制。基于基線方法的重新實現，本文給出了在文獻中提到的三個任務上的不同GNN體系結構的實驗結果。所有方法的超參數都是通過廣泛的搜索找到的，產生了一些令人驚訝的結果：基線模型之間的差異比文獻報道的要小。盡管如此，GNN-FILE在分子圖的回歸任務上的表現優于基線方法，在其他任務上的表現也具有競爭性。
網址：
3. Haar Graph Pooling
作者：Yu Guang Wang, Ming Li, Zheng Ma, Guido Montufar, Xiaosheng Zhuang, Yanan Fan
摘要：深度圖神經網絡(GNNs)是用于圖分類和基于圖的回歸任務的有效模型。在這些任務中，圖池化是GNN適應不同大小和結構的輸入圖的關鍵因素。本文提出了一種新的基于壓縮Haar變換的圖池化操作-HaarPooling。HaarPooling實現了一系列池化操作；它是通過跟隨輸入圖的一系列聚類序列來計算的。HaarPooling層將給定的輸入圖變換為節點數較小、特征維數相同的輸出圖；壓縮Haar變換在Haar小波域中過濾出細節信息。通過這種方式，所有HaarPooling層一起將任何給定輸入圖的特征合成為大小一致的特征向量。這種變換提供了數據的稀疏表征，并保留了輸入圖的結構信息。使用標準圖卷積層和HaarPooling層實現的GNN在各種圖分類和回歸問題上實現了最先進的性能。
網址：
4. Interferometric Graph Transform: a Deep Unsupervised Graph Representation 作者：Edouard Oyallon
摘要：我們提出了Interferometric Graph Transform(IGT)，這是一類用于構建圖表示的新型深度無監督圖卷積神經網絡。我們的第一個貢獻是提出了一種從歐幾里德傅立葉變換的推廣得到的通用復數譜圖結構。基于一個新穎的貪婪凹目標，我們的學習表示既包括可區分的特征，也包括不變的特征。通過實驗可以得到，我們的學習過程利用了譜域的拓撲，這通常是譜方法的一個缺陷，特別是我們的方法可以恢復視覺任務的解析算子。我們在各種具有挑戰性的任務上測試了我們的算法，例如圖像分類(MNIST，CIFAR-10)、社區檢測(Authorship，Facebook graph)和3D骨架視頻中的動作識別(SBU，NTU)，在譜圖非監督環境下展示了一種新的技術水平。
網址：
5. Spectral Clustering with Graph Neural Networks for Graph Pooling
作者：Filippo Maria Bianchi, Daniele Grattarola, Cesare Alippi
摘要：譜聚類(SC)是發現圖上強連通社區的一種流行的聚類技術。SC可以在圖神經網絡(GNN)中使用，以實現聚合屬于同一簇的節點的池化操作。然而，Laplacian的特征分解代價很高，而且由于聚類結果是特定于圖的，因此基于SC的池化方法必須對每個新樣本執行新的優化。在本文中，我們提出了一種圖聚類方法來解決SC的這些局限性。我們建立了歸一化minCUT問題的連續松弛公式，并訓練GNN來計算最小化這一目標的簇分配。我們的基于GNN的實現是可微的，不需要計算譜分解，并且學習了一個聚類函數，可以在樣本外的圖上快速評估。從提出的聚類方法出發，我們設計了一個圖池化算子，它克服了現有圖池化技術的一些重要局限性，并在多個監督和非監督任務中取得了最好的性能。
網址：
6. When Does Self-Supervision Help Graph Convolutional Networks?
作者：Yuning You, Tianlong Chen, Zhangyang Wang, Yang Shen
摘要：自監督作為一種新興的技術已被用于訓練卷積神經網絡(CNNs)，以提高圖像表示學習的可傳遞性、泛化能力和魯棒性。然而，自監督對操作圖形數據的圖卷積網絡(GCNS)的介紹卻很少被探索。在這項研究中，我們首次將自監督納入GCNS的系統探索和評估。我們首先闡述了將自監督納入GCNS的三種機制，分析了預訓練&精調和自訓練的局限性，并進而將重點放在多任務學習上。此外，我們還提出了三種新的GCNS自監督學習任務，并進行了理論分析和數值比較。最后，我們進一步將多任務自監督融入到圖對抗性訓練中。研究結果表明，通過合理設計任務形式和合并機制，自監督有利于GCNS獲得更強的泛化能力和魯棒性。
網址：
代碼鏈接：
付費5元查看完整內容
主題： Imitation Attacks and Defenses for Black-box Machine Translation Systems
摘要： 我們考慮一個尋求竊取黑盒機器翻譯（MT）系統的對手，以獲取經濟利益或排除模型錯誤。我們首先表明，黑盒機器翻譯系統可以通過使用單語句子和訓練模型來模擬它們的輸出來竊取。通過模擬實驗，我們證明了即使模仿模型的輸入數據或架構與受害者不同，MTmodel的竊取也是可能的。應用這些思想，我們在高資源和低資源語言對上訓練了三個生產MT系統的0.6 BLEU以內的模仿模型。然后，我們利用模仿模型的相似性將對抗性示例轉移到生產系統。我們使用基于梯度的攻擊，這些攻擊會暴露輸入，從而導致語義錯誤的翻譯，內容丟失和庸俗的模型輸出。為了減少這些漏洞，我們提出了一種防御措施，該防御措施會修改翻譯輸出，從而誤導了模仿模型優化的防御措施。這種防御降低了仿真模型BLEU的性能，并降低了BLEU的攻擊傳輸速率和推理速度。
付費5元查看完整內容
最近，NLP見證了大型預訓練模型使用的激增。用戶下載在大型數據集上預先訓練的模型的權重，然后在他們選擇的任務上微調權重。這就提出了一個問題:下載未經訓練的不可信的權重是否會造成安全威脅。在這篇論文中，我們證明了構造“權重中毒”攻擊是可能的，即預先訓練的權重被注入漏洞，在微調后暴露“后門”，使攻擊者能夠通過注入任意關鍵字來操縱模型預測。我們證明，通過應用正則化方法(我們稱之為RIPPLe)和初始化過程(我們稱之為嵌入手術)，即使對數據集和微調過程的了解有限，這種攻擊也是可能的。我們在情感分類、毒性檢測、垃圾郵件檢測等方面的實驗表明，該攻擊具有廣泛的適用性和嚴重的威脅。最后，我們概述了針對此類攻擊的實際防御。復制我們實驗的代碼可以在//github.com/neulab/RIPPLe找到。
付費5元查看完整內容
There has been an ongoing cycle where stronger defenses against adversarial attacks are subsequently broken by a more advanced defense-aware attack. We present a new approach towards ending this cycle where we "deflect'' adversarial attacks by causing the attacker to produce an input that semantically resembles the attack's target class. To this end, we first propose a stronger defense based on Capsule Networks that combines three detection mechanisms to achieve state-of-the-art detection performance on both standard and defense-aware attacks. We then show that undetected attacks against our defense often perceptually resemble the adversarial target class by performing a human study where participants are asked to label images produced by the attack. These attack images can no longer be called "adversarial'' because our network classifies them the same way as humans do.
題目： Quantum Adversarial Machine Learning
摘要： 對抗性機器學習是一個新興的研究領域，主要研究機器學習方法在對抗性環境中的脆弱性，并開發相應的技術，使學習對對抗性操作具有魯棒性。它在各種機器學習應用中起著至關重要的作用，近年來引起了不同社區的極大關注。本文探討了量子機器學習中不同的對抗情境。我們發現，與基于經典神經網絡的傳統分類器類似，量子學習系統同樣容易受到精心設計的對抗性示例的攻擊，而與輸入數據是經典的還是量子的無關。特別是，我們發現，通過對原始合法樣本添加不可察覺的擾動而獲得的對抗性示例，可以最終欺騙達到接近最新精度的量子分類器。這在不同場景下的量子對抗學習中得到了明確的證明，包括對現實生活中的圖像（如數據集MNIST中的手寫數字圖像）進行分類，對物質的學習階段（如鐵磁/順磁有序和對稱保護拓撲相）進行分類，以及對量子數據進行分類。此外，我們還指出，根據手頭的對抗性例子的信息，可以設計出實用的防御策略來對抗多種不同的攻擊。我們的研究結果揭示了量子機器學習系統對各種擾動的顯著脆弱性，這不僅從理論上揭示了機器學習與量子物理學之間的聯系，而且為基于近期和未來量子技術的量子分類器的實際應用提供了有價值的指導。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191