亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在知識圖譜上回答復雜一階邏輯(FOL)查詢是多跳推理的基礎任務。傳統的符號方法遍歷完整的知識圖譜來提取答案，為每一步提供了良好的解釋。最近的神經方法學習復雜查詢的幾何嵌入。這些方法可以推廣到不完整的知識圖譜，但其推理過程難以解釋。在本文中，我們提出了圖神經網絡查詢執行器(GNNQE)，這是一種神經符號模型，它兼有這兩種方法的優點。GNN-QE將一個復雜的FOL查詢分解為模糊集上的關系投影和邏輯運算，為中間變量提供了可解釋性。為了對缺失環節進行推理，GNN-QE采用知識圖譜補全的圖神經網絡來執行關系投影，并用產品模糊邏輯對邏輯操作進行建模。在3個數據集上的廣泛實驗表明，GNN-QE在回答FOL查詢方面比以前的最先進的模型有顯著的改進。同時，GNN-QE可以在沒有明確監督的情況下預測答案的數量，并對中間變量提供可視化。

圖匹配深度學習由于其優于傳統方法的性能和為解決其他圖上的組合問題提供的見解而成為一個重要的研究課題。雖然最近的通用深度方法廣泛研究了有效的節點/邊緣特征學習或給出這些學習特征的下游通用求解器，但很少有現有工作質疑固定連通性/拓撲是否通常使用啟發式構建(例如，從學習的角度來看，我們認為固定的拓撲可能會限制模型的容量，從而潛在地阻礙性能。為了解決這個問題，我們提出學習潛在拓撲的分布，這樣可以更好地支持下游GM任務。我們設計了兩種潛在圖生成程序，一個是確定性的，一個是生成的。特別地，生成過程強調跨圖的一致性，因此可以看作是一個匹配引導的共生成模型。我們的方法在公共基準上的表現優于以往的先進水平，因此支持了我們的假設。

//proceedings.mlr.press/v139/yu21d.html

盡管神經網絡在安全設置(如惡意軟件檢測)方面取得了相當大的成功，但事實證明，這種模型很容易受到規避攻擊，即攻擊者對輸入(如惡意軟件)稍加改變以繞過檢測。我們提出了一種新的方法——傅里葉穩定，用于設計具有二值輸入的規避魯棒神經網絡。這種方法與其他形式的防御方法是互補的，它用傅里葉分析工具推導出的健壯的類似物取代了單個神經元的權重。神經網絡中穩定神經元的選擇是一個組合優化問題，我們提出了幾種近似求解方法。我們提供了一個由傅里葉穩定引起的每個神經元精度下降的正式界限，并通過實驗證明了所提出的方法在幾個檢測設置中增強神經網絡的魯棒性的有效性。此外，我們還表明，我們的方法可以有效地與對抗性訓練相結合。

//www.zhuanzhi.ai/paper/7abfe62872f67236e2292f1ff2c4f7b5

最近解開深度學習中的隱式正則化之謎的努力促使了對矩陣分解的理論關注——通過線性神經網絡的矩陣完成。作為對實際深度學習的進一步研究，我們首次對張量因子分解中的隱正則化進行了理論分析——通過某種非線性神經網絡的張量補全。我們采用動力學系統的觀點，規避了張量問題的困難，刻畫了梯度下降引起的演化。給出了貪心低張量秩搜索的一種形式，在一定條件下給出了嚴格的證明，并在其他條件下給出了經驗證明。基于張量秩捕獲非線性神經網絡隱含正則化的動機，我們將其作為復雜性的度量方法進行了實證研究，并發現它捕獲了神經網絡所泛化的數據集的本質。這使我們相信張量秩可以為解釋深度學習中的隱正則化以及將這種隱正則化轉換為泛化的真實數據的特性鋪平道路。

貝葉斯范式有潛力解決深度神經網絡的核心問題，如校準差和數據效率低。唉，將貝葉斯推理擴展到大權重空間通常需要限制性的近似。在這項工作中，我們證明，為了獲得準確的預測后驗，對模型權重的一個小子集進行推理是足夠的。其他權重保留為點估計值。這個子網絡推理框架使我們能夠在這些子集上使用表達性的，否則難以處理的后驗近似。特別地，我們將子網絡線性化拉普拉斯作為一種簡單的、可擴展的貝葉斯深度學習方法來實現:我們首先獲得所有權重的MAP估計，然后使用線性化拉普拉斯近似來推斷子網絡上的全協方差高斯后程。我們提出了一種子網絡選擇策略，旨在最大限度地保持模型的預測不確定性。

在不依賴下游任務的情況下評估學習表征的質量仍然是表示學習的挑戰之一。在這項工作中，我們提出幾何成分分析(GeomCA)算法，評估表示空間的幾何和拓撲性質。GeomCA可以應用于任何維度的表示，獨立于生成它們的模型。我們通過分析從各種場景中獲得的表征來證明其適用性，如對比學習模型、生成模型和監督學習模型。

//www.zhuanzhi.ai/paper/efa6de0f034d485bbb30b2a45947ea18

殘差網絡(ResNets)在模式識別方面顯示了令人印象深刻的結果，最近，由于與神經常微分方程(neural ODEs)的感知聯系，獲得了相當大的理論興趣。隨著層數的增加，這條鏈路依賴于網絡權值的收斂到平滑的函數。我們通過詳細的數值實驗研究了隨機梯度下降訓練權值的性質，以及它們隨網絡深度的變換。我們觀察到有明顯不同于神經ODE文獻中假設的標度區存在。根據網絡結構的某些特征，如激活函數的光滑性，人們可以得到另一個ODE極限，一個隨機微分方程或兩者都不能。這些發現對神經ODE模型作為深度ResNets的充分漸近描述的有效性提出了質疑，并指出了另一類微分方程作為深度網絡極限的更好描述。

//www.zhuanzhi.ai/paper/74bb9f3249e109282560f46658d244eb

論文題目：Graph Neural Networks Inspired by Classical Iterative Algorithms

作者：Yongyi Yang，Tang Liu，Yangkun Wang，Jinjing Zhou，Quan Gan，魏哲巍，Zheng Zhang，Zengfeng Huang，David Wipf

論文概述：圖神經網絡（GNN）作為建模實體間關系的代表性方法，已被成功應用于多個領域。然而現有方法仍存在一些局限性，例如過平滑問題、長距離依賴性問題等。本篇論文基于兩種經典迭代算法提出了首個unfolding視角的GNN集成框架TWIRLS，首先通過模仿近似梯度下降設計了一個可擴展的基礎GNN架構，能夠允許任意的傳播步驟以捕捉長距離依賴關系同時有效避免過平滑問題。在此基礎上，結合迭代加權最小二乘法的更新規則提出了新的注意力機制系列，無需引入額外參數或設計啟發式方法而對邊的不確定性表現魯棒。同時，本篇論文進行了大量實驗旨在評估不同情況下算法的性能，實驗結果表明，即使與特定任務SOTA模型相比，本篇論文所提算法均取得具有競爭力或更高的節點分類精度。

//www.zhuanzhi.ai/paper/49b1ba16194db9f330657396a37982dd

圖神經網絡(GNN)中缺乏各向異性核極大地限制了其表達能力，導致了一些眾所周知的問題，如過度平滑。為了克服這個限制，我們提出了第一個全局一致的各向異性核GNN，允許根據拓撲導出的方向流定義圖卷積。首先，通過在圖中定義矢量場，我們提出了一種方法應用方向導數和平滑投影節點特定的信息到場。然后，我們提出用拉普拉斯特征向量作為這種向量場。在Weisfeiler-Lehman 1-WL檢驗方面，我們證明了該方法可以在n維網格上泛化CNN，并證明比標準的GNN更有分辨力。我們在不同的標準基準上評估了我們的方法，發現在CIFAR10圖數據集上相對誤差減少了8%，在分子鋅數據集上相對誤差減少了11%到32%，在MolPCBA數據集上相對精度提高了1.6%。這項工作的重要成果是，它使圖網能夠以一種無監督的方式嵌入方向，從而能夠更好地表示不同物理或生物問題中的各向異性特征。

//www.zhuanzhi.ai/paper/f415f74f0c50433285945af702223eaf

空間數據的精確統計分析在許多應用中都很重要。如果不能正確地解釋空間自相關，可能會導致錯誤的結論。與此同時，空間數據集不斷增長的規模帶來了巨大的計算挑戰，因為許多空間分析的標準方法都被限制在幾千個數據點上。

在本論文中，我們探討了高斯馬爾可夫隨機場(GMRFs)如何用于可擴展的空間數據分析。GMRFs與常用的高斯過程密切相關，但具有稀疏性，這使得它們在計算時間和內存方面都很便宜。貝葉斯框架使GMRF作為一個空間先驗，包含了在空間上平滑變化的假設，并給出了一個原則的方法來估計參數和傳播不確定性。

我們開發了一種新的算法，可以將GMRF先驗應用于功能磁共振成像(fMRI)數據中固有的大腦活動，并進行數百萬次觀察。我們表明，我們的方法比以前的工作更快，更準確。提出了一種對后驗不確定性進行估計的逆精度矩陣(即協方差矩陣)中選定元素的近似方法。此外，我們在GMRFs和deep convolutional neural networks之間建立了一個鏈接，這個鏈接已經成功應用于無數的機器學習圖像任務中，形成了一個deep GMRF模型。最后，我們展示了GMRFs如何用于實時機器人搜索和救援行動，以建模受傷人員的空間分布。

//liu.diva-portal.org/smash/record.jsf?pid=diva2%3A1433819&dswid=-2934

空間統計處理描述存在于跨空間測量的數據中的統計模式。以空間位置作為參考的數據在廣泛的領域中是常見的和自然產生的。許多應用是在地理范圍內進行的，例如描述動植物的分布、疾病的傳播或城市中房價的變化。空間數據的一個重要方面是，附近的測量結果往往比距離較遠的更相似，這可以被描述為空間自相關。同一物種的植物更經常發現彼此接近，和房子往往賣類似的價格在同一地區的其他房子，而不是在其他地區的房子。在分析空間數據時，正確地考慮這些依賴關系是得出正確結論和做出可信預測的關鍵。

本文的目的是為了使貝葉斯分析能夠應用于醫學圖像等大尺度空間數據的空間先驗。許多應用需要分層的、結構化的、靈活的貝葉斯空間模型來恰當地描述數據，正確地傳播不確定性，并得出正確的結論。我們通過開發貝葉斯推理的快速算法來解決這個問題，并在幾個應用中展示了它們的性能。

論文分為兩個部分，第一部分是對研究領域的基本介紹，第二部分是研究論文的集合。本章以對這些文章的總結結束。在第二章中，我們回顧了貝葉斯和空間統計模型，特別關注了GMRFs。第三章介紹了貝葉斯推理的方法。第四章介紹了fMRI數據的統計分析，特別是空間先驗。第五章總結了本文的研究成果，并對未來的研究方向進行了展望。