亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

近年來，圖神經網絡在文獻分類中得到了廣泛的應用。然而，現有的方法大多是基于沒有句子級信息的靜態詞同現圖，這帶來了三個挑戰:(1)詞的歧義性(2)詞的同義性(3)動態上下文依存。為了解決這些問題，我們提出了一種新的基于GNN的稀疏結構學習模型用于文檔分類。具體地說，文檔級圖最初是由句子級詞同現圖的斷開并集生成的。模型收集了一組可訓練的連接句子間不相連詞的邊，利用結構學習對動態上下文依賴的邊進行稀疏選取。具有稀疏結構的圖可以通過GNN聯合利用文檔中的局部和全局上下文信息。在歸納學習中，將改進后的文檔圖進一步輸入到一個通用的讀出函數中，以端到端方式進行圖級分類和優化。在幾個真實世界數據集上的大量實驗表明，提出的模型優于最先進的結果，并揭示了學習每個文檔稀疏結構的必要性。

//www.zhuanzhi.ai/paper/63b66dc21199c294e92d3703a5444d25

流行的張量列(TT)和張量環(TR)分解在科學和工程上取得了很有前途的結果。然而，TT和TR分解只是建立相鄰兩個因子之間的聯系，并且對張量模的排列高度敏感，導致了不充分和不靈活的表示。本文提出了一種廣義張量分解，它將一個N階張量分解為一組n階因子，并建立了任意兩個因子之間的多線性運算/聯系。由于它可以圖形化地解釋為所有因素的全連接網絡，我們將其命名為全連接張量網絡(FCTN)分解。FCTN分解的優點在于充分刻畫任意兩個張量模間的內在相關性和換位的本質不變性。此外，我們將FCTN分解應用于一個有代表性的任務，即張量補全，并提出一個有效的基于近端交替最小化的算法。在理論上，我們證明了該算法的收斂性，即得到的算法序列全局收斂于一個臨界點。實驗結果表明，該方法與現有的基于張量分解的方法相比具有良好的性能。

//qibinzhao.github.io/publications/AAAI2021_Yu_Bang_Zheng/AAAI2021_FCTN_Decomposition_ybz.pdf

基于深度學習的半監督學習(SSL)算法在醫學圖像分割方面取得了很有前途的結果，并可以通過利用未標記的數據減輕醫生昂貴的標注。然而，現有文獻中的大多數SSL算法都傾向于通過干擾網絡和/或數據來規約模型訓練。考慮到多/雙任務學習涉及到具有固有的預測擾動的各個級別的信息，我們在這項工作中提出了一個問題:我們能夠顯式地構建任務級別的正則化，而不是隱式地構建用于SSL的網絡和/或數據級別的擾動和轉換嗎?為了回答這個問題，我們首次提出了一個新的雙任務一致性半監督框架。具體地說，我們使用一個雙任務深度網絡來聯合預測一個像素級分割圖和一個幾何感知的目標集表示。通過可微任務轉換層將水平集表示轉換為近似分割映射。同時，我們在水平集導出的分割圖和直接預測的分割圖之間引入了一種雙任務一致性正則化，用于標記和未標記數據。在兩個公共數據集上的大量實驗表明，我們的方法可以通過合并未標記數據極大地提高性能。同時，我們的框架優于最先進的半監督醫學圖像分割方法。代碼可以在//github.com/Luoxd1996/DTC找到。

有的有監督解耦方法，比如把中間表征解耦成種類相關的表征和種類無關的表征，大多基于交換生成的經驗性框架，缺乏理論指導，無法保證種類相關表征中不包含種類無關的信息。本工作嘗試建立信息瓶頸（Information Bottleneck, IB）和有監督解耦之間的聯系，為有監督解耦提供理論指導。信息瓶頸是一種從源數據中提取出與任務目標有關信息的方法，一般通過優化權衡壓縮項和預測項的IB Lagrangian來實現。現有文獻已經指出IB Lagrangian存在的一些問題，比如期望的壓縮水平與控制權衡的Lagrangian乘子之間沒有因果關聯，因此對于IB Lagrangian來說需要多次嘗試優化來實現期望目標；其次，我們具體分析了IB Lagrangian中存在的權衡問題，表明了隨著壓縮程度增大，預測性能是嚴格減小的。為了克服這些問題，我們一方面期望在不損傷預測性能前提下能夠實現最大化壓縮，簡稱為“最大化壓縮”；另一方面期望無需多次嘗試優化，即模型能夠一致地實現最大化壓縮。為此，我們首先考察了最大化壓縮實現時對應的量化條件，之后對優化目標給出了最大化壓縮一致性的性質定義，即只要優化目標滿足該性質就能夠一致地實現最大化壓縮。在此基礎上，我們給出我們的方案設計。與現有的IB Lagrangian不同，我們從有監督解耦的角度來實現信息壓縮，這是因為我們認為信息壓縮與有監督解耦本質上是同一回事：在有監督解耦任務中，需要將源數據中與給定標簽有關的信息和其它信息分開，如給定圖像的類別標簽，將圖像信息解耦為類別有關的和類別無關的信息；而類似地，在信息壓縮任務中，要將源數據中與給定標簽無關的信息丟棄從而實現壓縮，同樣需要區分出與給定標簽有關的信息和與給定標簽無關的信息。基于此，我們將有監督解耦與信息壓縮相聯系，提出了基于解耦的信息瓶頸算法。我們給出了一些結論，同時在多個數據集上驗證了這些結論，并驗證了所提方法在包括信息壓縮等多個評估指標上的性能。

論文鏈接：//yuanfulu.github.io/publication/AAAI-L2PGNN.pdf

該方法的關鍵點是 L2P-GNN 試圖學習在預訓練過程中以可遷移先驗知識的形式進行微調。為了將局部信息和全局信息都編碼為先驗信息，研究者進一步為 L2P-GNN 設計了在節點和圖級別雙重適應（dual adaptation）的機制。最后研究者使用蛋白質圖公開集合和書目圖的新匯編進行預訓練，對各種 GNN 模型的預訓練進行了系統的實證研究。實驗結果表明，L2P-GNN 能夠學習有效且可遷移的先驗知識，從而為下游任務提供強大的表示。

總體來說，這篇論文的貢獻如下：

首次探索學習預訓練 GNN，緩解了預訓練與微調目標之間的差異，并且為預訓練 GNN 提供了新視角。

針對節點與圖級表示，該研究提出完全自監督的 GNN 預訓練策略。

針對預訓練 GNN，該研究建立了一個新型大規模書目圖數據，并且在兩個不同領域的數據集上進行了大量實驗。實驗表明，該研究提出的方法顯著優于 SOTA 方法。

多元序列學習的本質是如何提取數據中的相關性。這些數據集，如重癥監護病房的每小時醫療記錄和多頻語音時間序列，通常不僅在個別成分中表現出強烈的序列依賴性(“邊緣”記憶)，而且在橫剖面依賴性中也表現出不可忽略的記憶(“聯合”記憶)。由于聯合分布演化的多元復雜性是數據生成過程的基礎，我們采用數據驅動的方法，構建了一種新的循環網絡結構，稱為記憶門控循環網絡(mGRN)，門顯式地調節兩種不同類型的記憶:邊緣記憶和聯合記憶。通過對一系列公共數據集的綜合模擬研究和經驗實驗的結合，我們表明我們提出的mGRN架構始終優于針對多元時間序列的最先進架構。

//www.zhuanzhi.ai/paper/4236df35ff33a6911c4913ac13bb78e0

從異步視頻面試(AVI)中的自動語音識別(ASR)轉錄中，我們解決了基于文本特征自動為候選人的能力評分的任務。問題的關鍵在于如何構建問題與答案之間的依賴關系，并對每個問答(QA)對進行語義級交互。然而，目前AVI的研究大多集中在如何更好地表示問題和答案上，而忽視了它們之間的依賴信息和相互作用，而這是QA評估的關鍵。在這項工作中，我們提出了一種層次推理圖神經網絡(HRGNN)用于問答對的自動評估。具體來說，我們構建了一個句子級關系圖神經網絡來捕獲問題和答案之間的句子依賴信息。基于這些圖，我們采用語義級推理圖注意網絡對當前QA會話的交互狀態進行建模。最后，我們提出了一種門控遞歸單元編碼器來表示用于最終預測的時間問答對。在CHNAT(一個真實數據集)上進行的實證結果驗證了我們提出的模型顯著優于基于文本匹配的基準模型。消融研究和10個隨機種子的實驗結果也表明了我們模型的有效性和穩定性。

//www.zhuanzhi.ai/paper/5c766d478e8b7fae79e95f2a09e5bdd1

圖神經網絡(gnn)的優勢在于對結構化數據的拓撲信息進行顯式建模。然而，現有的gnn在獲取層次圖表示方面的能力有限，而層次圖表示在圖形分類中起著重要的作用。本文創新性地提出了層次圖膠囊網絡(HGCN)，該網絡可以聯合學習節點嵌入和提取圖的層次結構。具體地說，解糾纏圖膠囊是通過識別每個節點下的異構因素建立的，這樣它們的實例化參數代表同一實體的不同屬性。為了學習層次表示，HGCN通過顯式地考慮部件之間的結構信息，刻畫了低層膠囊(部分)和高層膠囊(整體)之間的部分-整體關系。實驗研究證明了HGCN算法的有效性和各組成部分的貢獻。

//www.zhuanzhi.ai/paper/c9930a15b45547cafbee90db8c5612aa

本文首先給出了一種學習節點信息卷積隱含層的圖網學習算法。根據標簽是附著在節點上還是附著在圖上，研究了兩種類型的GNN。在此基礎上，提出了一個完整的GNN訓練算法收斂性設計和分析框架。該算法適用于廣泛的激活函數，包括ReLU、Leaky ReLU、Sigmod、Softplus和Swish。實驗表明，該算法保證了對基本真實參數的線性收斂速度。對于這兩種類型的GNN，都用節點數或圖數來表征樣本復雜度。從理論上分析了特征維數和GNN結構對收斂率的影響。數值實驗進一步驗證了理論分析的正確性。

//arxiv.org/pdf/2012.03429.pdf

圖神經網絡(GNNs)是圖信號支持的信息處理體系結構。它們在這里作為卷積神經網絡(CNNs)的推廣提出，其中每個層包含圖卷積濾波器，而不是經典卷積濾波器。濾波器由點態非線性組成并分層堆疊。結果表明，GNN結構對排列的方差相等，對圖形變形的穩定性較好。這些特性提供了一個解釋的措施，可以觀察到的良好性能的GNNs經驗。如果圖收斂于一個極限對象，圖形，GNN收斂于一個相應的極限對象，圖神經網絡。這種收斂證明了GNN在不同節點數量的網絡之間的可遷移性。

//www.zhuanzhi.ai/paper/c2f153249a7ff16b6b73279c30e7b93f