亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖神經網絡(GNNs)已經成功地用于許多涉及圖結構數據的問題，實現了最先進的性能。GNN通常采用消息傳遞方案，其中每個節點使用置換不變聚合函數從其鄰居聚合信息。經過嚴格檢查的標準選擇(如平均值或和聚合函數)功能有限，因為它們無法捕獲相鄰函數之間的交互。在這項工作中，我們使用一個信息理論框架來形式化這些交互作用，特別是包括協同信息。在此定義的驅動下，我們引入了圖排序注意力層(GOAT)，這是一種新穎的GNN組件，用于捕獲鄰域節點之間的交互。這是通過一種注意力機制來學習局部節點順序，并使用循環神經網絡聚合器處理有序表示來實現的。這種設計允許我們使用一個排列敏感的聚合器，同時保持擬議的GOAT層的排列等效。GOAT模型展示了它在捕獲復雜信息的圖指標(如中間性中心性和節點的有效大小)建模方面提高的性能。在實際用例中，通過在幾個真實的節點分類基準測試中取得的成功，它的卓越建模能力得到了證實。

//www.zhuanzhi.ai/paper/367986d1916e281d7e097fc058bfeb6e

【導讀】國際人工智能會議AAAI 2022論文將在全程線上舉辦，時間在 2 月 22 日-3 月 1 日，本屆大會也將是第 36 屆 AAAI 大會。大會涵蓋了眾多最近研究Tutorial報告，來自Huan Zhang等學者共同做了關于神經網絡驗證研究進展報告，非常值得關注!

神經網絡已經成為現代人工智能的重要組成部分。然而，它們通常是黑盒，可能會出乎意料地行為，并產生令人驚訝的錯誤結果，例如對抗的例子。在本教程中，我們將介紹神經網絡驗證問題，其目的是保證神經網絡的特性，如魯棒性、安全性和正確性。我們的教程涵蓋了驗證問題的理論基礎和最先進算法的介紹。此外，我們還將為用戶友好的神經網絡驗證工具箱提供實踐編碼教程，允許從業者輕松地將正式的驗證技術應用到他們的定制應用中。我們的教程包括在谷歌Colab中編碼演示。我們將演示通用的auto_LiRPA庫和獲獎的α，β-CROWN驗證器的使用。

目錄內容： Part I: Introduction to Neural Network Verifier Part II: Neural Network Verification Algorithms Part III: Hands-on Tutorial on Using State-of-the-art Verification Tools

地址：

//neural-network-verification.com/

我們引入蒙特卡羅注意力(MCA)，這是一種用于降低Transformer架構中自注意機制的計算成本的隨機近似方法。MCA利用了輸入序列中每個標記的重要性隨它們的注意力分數而變化的事實;因此，當編碼低關注度的標記時，一定程度的錯誤是可以容忍的。利用近似矩陣乘法，MCA應用不同的誤差邊界對輸入標記進行編碼，使得那些注意力得分較低的標記的計算精度較低，而顯著元素的誤差最小。MCA可以與其他注意力優化方案并行運行，且不需要修改模型。我們研究了理論誤差范圍，并證明了在GLUE基準中，MCA將各種Transformer模型的注意力復雜度(FLOPS)降低了11倍，而不影響模型精度。

//www.zhuanzhi.ai/paper/6b33480c8d45b3826128eb0c336d1070

近年來，監督學習設置的幾個結果表明，經典的統計學習理論度量，如VC維，不能充分解釋深度學習模型的性能，這促使大量工作在無限寬和迭代機制。然而，對于神經網絡在監督設置之外的成功，幾乎沒有理論解釋。本文認為，在一些分布假設下，經典學習理論測度可以充分解釋圖神經網絡在轉導環境下的泛化問題。特別是，我們提供了一個嚴格的分析神經網絡在轉導推理的背景下的性能，特別是通過分析圖卷積網絡的泛化性質的節點分類問題。雖然VC維在這種情況下也會導致微不足道的泛化誤差邊界，但我們表明，轉換的Rademacher復雜性可以解釋隨機塊模型的圖卷積網絡的泛化特性。我們進一步使用基于轉導Rademacher復雜性的泛化誤差邊界來演示圖卷積和網絡架構在實現更小的泛化誤差方面的作用，并提供關于何時圖結構可以幫助學習的見解。這篇論文的發現可以重新激發人們在學習理論測量方面研究神經網絡泛化的興趣，盡管是在具體的問題上。

//www.zhuanzhi.ai/paper/8dbc5b521467d7c686543811a6d386eb

最近提出了一些查詢和評分來解釋ML模型上的個人預測。考慮到ML模型需要靈活、可靠和易于應用的可解釋性方法，我們預計需要開發聲明性語言來自然地指定不同的可解釋性查詢。我們以一種有原則的方式來實現這一點，將這種語言根植于一個名為FOIL的邏輯中，該邏輯允許表達許多簡單但重要的可解釋性查詢，并可能作為更具表現力的可解釋性語言的核心。我們研究了FOIL查詢在兩類ML模型上的計算復雜性，這兩類模型通常被認為是容易解釋的: 策樹和OBDDs。由于ML模型的可能輸入的數量在其維數上是指數級的，因此FOIL評估問題的可處理性是微妙的，但可以通過限制模型的結構或被評估的FOIL片段來實現。我們還提出了一個用高級聲明性語言包裝的FOIL的原型實現，并進行了實驗，表明這種語言可以在實踐中使用。

//www.zhuanzhi.ai/paper/2a8c253e156bd0c5f2599cbe2ec78d16

什么是自動化攻擊？

惡意用戶不再需要分析代碼、編寫腳本或進行復雜的逆向編譯，只要找到合適的自動化工具就能輕松達到目的。

自動化攻擊包括自動化掃描漏洞和入侵、撞庫盜用賬號、業務自動化攻擊和自動化高級DDOS攻擊等。

本文提出了一種自動化對抗攻擊搜索方案，名為Composite Adversarial Attacks (CAA)。我們實現了32個基礎對抗攻擊算法作為候選池，并設計了一個搜索空間，將攻擊策略表示為一個攻擊序列，即前一個攻擊算法的輸出作為后繼攻擊的初始化輸入。通過使用NSGA-II遺傳算法對攻擊序列和攻擊超參的搜索，我們可以發現更優的攻擊策略并實現自動化對抗攻擊。和當下10個主流攻擊算法的對比實驗結果表明CAA可以在更小計算復雜度的情況下獲得目前最好的攻擊效果。）

//www.zhuanzhi.ai/paper/4594af42d79efb3a1090149653d332e6

盡管健壯的深度學習中的現有工作都集中在基于像素級別的小型規范擾動，但這可能無法解決在多個實際設置中遇到的擾動。在許多此類情況下，盡管可能無法獲得測試數據，但可能知道有關擾動類型（例如未知的旋轉度）的廣泛規范。我們考慮一種在看不見的測試域中預期具有魯棒性的設置。但偏離了訓練領域。雖然可能無法確切知道此偏差，但根據屬性先驗地指定了其廣泛的特征。我們提出了一種對抗訓練方法，該方法學習如何生成新樣本，從而最大程度地將分類器暴露于屬性空間，而無需訪問來自測試域的數據。我們的對抗訓練解決了最小-最大優化問題，通過優化內部最大化產生的對抗性擾動的損失，使內部最大化產生對抗性擾動，而外部最小化找到模型參數。我們證明了我們的方法在三種類型的自然擾動上的適用性-與對象相關的移動，幾何變換和常見的圖像破壞。我們的方法使深度神經網絡能夠抵抗各種自然擾動。我們通過展示在MNIST，CIFAR-10和CLEVR數據集的新變體上進行對抗訓練而獲得的深度神經網絡的魯棒性收益，從而證明了所提出方法的有效性。

//www.zhuanzhi.ai/paper/636acb141a5e0aea86f5cb8e864aca56

多元序列學習的本質是如何提取數據中的相關性。這些數據集，如重癥監護病房的每小時醫療記錄和多頻語音時間序列，通常不僅在個別成分中表現出強烈的序列依賴性(“邊緣”記憶)，而且在橫剖面依賴性中也表現出不可忽略的記憶(“聯合”記憶)。由于聯合分布演化的多元復雜性是數據生成過程的基礎，我們采用數據驅動的方法，構建了一種新的循環網絡結構，稱為記憶門控循環網絡(mGRN)，門顯式地調節兩種不同類型的記憶:邊緣記憶和聯合記憶。通過對一系列公共數據集的綜合模擬研究和經驗實驗的結合，我們表明我們提出的mGRN架構始終優于針對多元時間序列的最先進架構。

//www.zhuanzhi.ai/paper/4236df35ff33a6911c4913ac13bb78e0

論文鏈接：//www.zhuanzhi.ai/paper/5e4dd4fd6b06fc88a7d86e4dc50687c6

簡介：數據增強已被廣泛用于提高機器學習模型的通用性。但是，相對較少的工作研究圖形的數據擴充。這在很大程度上是由于圖的復雜非歐幾里得結構限制了可能的操縱操作。視覺和語言中常用的增強操作沒有圖形類似物。在改進半監督節點分類的背景下，我們的工作研究了圖神經網絡（GNN）的圖數據擴充。我們討論了圖數據擴充的實踐和理論動機，考慮因素和策略。我們的工作表明，神經邊緣預測器可以有效地編碼類同質結構，以在給定的圖結構中促進類內邊緣和降級類間邊緣，并且我們的主要貢獻是引入了GAug圖數據擴充框架，該框架利用這些見解來提高性能通過邊緣預測的基于GNN的節點分類在多個基準上進行的廣泛實驗表明，通過GAug進行的增強可提高GNN架構和數據集的性能。