亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

自訓練算法訓練模型以適應另一個先前學習的模型預測的偽標簽，對于使用神經網絡對未標記的數據進行學習非常成功。但是，當前對自訓練的理論理解僅適用于線性模型。這項工作為半監督學習，無監督領域適應和無監督學習提供了深度網絡自訓練的統一理論分析。我們分析的核心是一個簡單但現實的“擴展”假設，該假設指出，數據的低概率子集必須擴展到相對于子集而言具有較大概率的鄰域。我們還假設不同類別中的示例鄰域具有最小的重疊。我們證明在這些假設下，基于自訓練和輸入一致性正則化的人口目標最小化方法將在地面真相標簽方面實現高精度。通過使用現成的泛化邊界，我們立即將此結果轉換為在邊際和Lipschitzness中為多項式的神經網絡的樣本復雜度保證。我們的結果有助于解釋最近提出的使用輸入一致性正則化的自訓練算法的經驗成功。

//www.zhuanzhi.ai/paper/dd480967a4fbca4c6cc92

本篇論文的研究對象是AI安全領域的后門攻擊。作為一種發生在訓練階段的定向攻擊，后門攻擊近年來在AI安全中引起了極大的重視。后門攻擊能夠控制模型的預測結果，但是卻不會影響正常樣本的預測準確率，是一種相當隱蔽且危險的攻擊。更重要的是，一旦將后門觸發器嵌入到目標模型中，就很難通過傳統的微調或神經修剪來徹底消除其惡意的影響。針對這一問題，本文提出了一種新穎的防御框架--神經元注意力蒸餾（Neural Attention Distillation，NAD），以消除DNN中的后門觸發器。NAD利用教師網絡在少量干凈的數據子集上指導后門學生網絡的微調，以使學生網絡的中間層注意力激活與教師網絡的注意力激活保持一致。其中，教師網絡可以通過對同一干凈子集進行獨立的微調獲得。針對6種最新的后門攻擊——BadNets，Trojan attack，Blend attack，Clean-label attack，Sinusoidal signal attack，Reflection attack，驗證了提出的NAD的有效性，僅使用5％的干凈訓練數據就可以有效擦除后門觸發器，同時幾乎不影響干凈樣本的性能。本文提出的基于神經元注意力蒸餾的后門凈化方法是目前業界最簡單有效的方法，能夠抵御目前已知的所有后門攻擊，理論分析表明該方法具有對后門攻擊的普適性防御能力。論文代碼已經開源：//github.com/bboylyg/NAD。

本文首先給出了一種學習節點信息卷積隱含層的圖網學習算法。根據標簽是附著在節點上還是附著在圖上，研究了兩種類型的GNN。在此基礎上，提出了一個完整的GNN訓練算法收斂性設計和分析框架。該算法適用于廣泛的激活函數，包括ReLU、Leaky ReLU、Sigmod、Softplus和Swish。實驗表明，該算法保證了對基本真實參數的線性收斂速度。對于這兩種類型的GNN，都用節點數或圖數來表征樣本復雜度。從理論上分析了特征維數和GNN結構對收斂率的影響。數值實驗進一步驗證了理論分析的正確性。

//arxiv.org/pdf/2012.03429.pdf

Code：//github.com/Shen-Lab/GraphCL Paper:

對于當前的圖神經網絡(GNNs)來說，圖結構數據的可泛化、可遷移和魯棒表示學習仍然是一個挑戰。與為圖像數據而開發的卷積神經網絡(CNNs)不同，自監督學習和預訓練很少用于GNNs。在這篇文章中，我們提出了一個圖對比學習(GraphCL)框架來學習圖數據的無監督表示。我們首先設計了四種類型的圖擴充來包含不同的先驗。然后，我們在四種不同的環境下系統地研究了圖擴充的各種組合對多個數據集的影響:半監督、無監督、遷移學習和對抗性攻擊。結果表明，與最先進的方法相比，即使不調優擴展范圍，也不使用復雜的GNN架構，我們的GraphCL框架也可以生成類似或更好的可泛化性、可遷移性和健壯性的圖表示。我們還研究了參數化圖增強的范圍和模式的影響，并在初步實驗中觀察了性能的進一步提高。

確定輸入是否在分布外(OOD)是在開放世界中安全部署機器學習模型的一個重要基石。然而，以往依賴softmax置信評分的方法對OOD數據存在過自信的后驗分布。我們提出了一個使用能量分數的OOD檢測的統一框架。我們表明，能量分數比使用softmax分數的傳統方法更好地區分分布內和分布外的樣本。與softmax信心分數不同，能量分數理論上與輸入的概率密度一致，不太容易受到過度自信問題的影響。在這個框架內，能量可以被靈活地用作任何預訓練的神經分類器的評分函數，也可以作為可訓練的代價函數來明確地塑造能量表面，用于OOD檢測。在CIFAR-10預訓練的WideResNet中，使用能量分數比softmax信心分數降低平均FPR (TPR 95%) 18.03%。在以能量為基礎的訓練中，我們的方法在一般的基準上比最先進的方法表現得更好。

//arxiv.org/abs/2010.03759

在本文中，我們提出了一種端到端的圖學習框架，即迭代深度圖學習(IDGL)，用于共同迭代地學習圖結構和圖嵌入。IDGL的關鍵原理是學習基于更好的節點嵌入的更好的圖結構，反之亦然(即基于更好的圖結構的更好的節點嵌入)。我們的迭代方法動態停止時，學習圖接近足夠優化的圖預測任務。此外，我們將圖學習問題轉換為一個相似度量學習問題，并利用自適應圖正則化來控制學習圖的質量。最后，結合基于錨點的近似技術，我們進一步提出了一個可擴展的IDGL版本，即IDGL- anch，在不影響性能的前提下，顯著降低了IDGL的時間和空間復雜度。我們在9個基準上進行的廣泛實驗表明，我們提出的IDGL模型始終能夠優于或匹配最先進的基線。此外，IDGL還能更魯棒地處理對抗圖，并能同時處理傳導學習和歸納學習。

//arxiv.org/abs/2006.13009

我們知道，目前的圖神經網絡(GNNs)由于被稱為過度平滑的問題，很難變深。多尺度GNN是一種很有前途的方法，以減輕過度平滑問題。然而，很少有人從學習理論的角度解釋為什么它在經驗上有效。在本研究中，我們推導了包括多尺度GNN的轉導學習算法的優化和泛化保證。利用boosting理論，證明了訓練誤差在弱學習類型條件下的收斂性。通過將其與泛化間隙邊界在轉導距離復雜度上的結合，我們證明了在此條件下，某一特定類型的多尺度GNN的測試誤差邊界隨深度的減小而相應減小。我們的結果為多尺度結構對抗過平滑問題的有效性提供了理論解釋。我們將boosting算法應用于訓練多尺度的GNN來完成真實的節點預測任務。我們證實其性能與現有的GNNs相當，實際行為與理論觀測一致。代碼可在//github.com/delta2323/GB-GNN下載。

圖神經網絡(GNN)已經在許多具有挑戰性的應用中展示了優越的性能，包括小樣本學習任務。盡管GNN具有強大的從少量樣本中學習和歸納的能力，但隨著模型的深入，GNN通常會出現嚴重的過擬合和過平滑問題，這限制了模型的可擴展性。在這項工作中，我們提出了一個新的注意力GNN來解決這些挑戰，通過合并三重注意機制，即節點自我注意，鄰居注意和層記憶注意力。我們通過理論分析和實例說明了所提出的注意模塊可以改善小樣本學習的GNN的原因。廣泛的實驗表明，在mini-ImageNet 和Tiered-ImageNet數據集上，通過誘導和直推設置，提出的注意力GNN在小樣本學習方面優于基于最先進的GNN方法。

Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks

抽樣方法(如節點抽樣、分層抽樣或子圖抽樣)已成為加速大規模圖神經網絡(GNNs)訓練不可缺少的策略。然而，現有的抽樣方法大多基于圖的結構信息，忽略了最優化的動態性，導致隨機梯度估計的方差較大。高方差問題在非常大的圖中可能非常明顯，它會導致收斂速度慢和泛化能力差。本文從理論上分析了抽樣方法的方差，指出由于經驗風險的復合結構，任何抽樣方法的方差都可以分解為前向階段的嵌入近似方差和后向階段的隨機梯度方差，這兩種方差都必須減小，才能獲得較快的收斂速度。本文提出了一種解耦的方差減小策略，利用(近似)梯度信息自適應地對方差最小的節點進行采樣，并顯式地減小了嵌入近似引入的方差。理論和實驗表明，與現有方法相比，該方法即使在小批量情況下也具有更快的收斂速度和更好的泛化能力。