亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

作為圖結構數據的基本元素，節點被認為是圖表示學習的主要研究對象。單個節點直觀上具有整個圖的多個以節點為中心的子圖(例如，社交網絡中的一個人根據其不同的關系具有多個社交圈)。在圖對比學習框架下研究了這種直覺，提出了一種多節點為中心的子圖對比表示學習方法，以自監督的方式學習圖上的節點表示。具體而言，我們仔細設計了一系列以中心節點為中心的區域子圖。然后，通過對比損失最大化同一節點的不同子圖之間的互信息。在各種真實數據集和不同下游任務上的實驗表明，我們的模型取得了最先進的結果。

圖表示學習最近受到越來越多的關注[5]，其目的是將高維圖結構化數據轉換為低維稠密的向量表示。作為圖結構化數據的基本元素，節點表示已成為圖表示學習的主要對象。一個全面的節點表示可以很好地用于各種下游任務，如節點分類[14]和鏈接預測[3]。一種廣泛使用的圖表示學習方法是圖神經網絡(GNN)的應用[4, 14, 29, 32, 40]。但大多數此類方法都側重于監督學習，依賴于圖中的監督信號。對于現實世界的網絡，這些監督信號的獲取往往繁瑣而昂貴。自監督學習[11]是近年來的一個熱門研究領域，它為無標簽數據設計代理任務，以挖掘數據本身的表征性質作為監督信息。

圖互信息(GMI)[23]不使用損壞函數，而是最大化節點隱藏表示與其原始局部結構之間的MI。另一方面，圖信息簇(GIC)[19]在DGI的基礎上最大化節點表示與其對應的簇表示之間的MI。雖然這些方法取得了許多進展，但它們都專注于節點嵌入與僅一個相關圖結構之間的MI，如圖1所示。在現實中，我們可以從多個角度看待一個特定的事情。對于圖數據，我們可以從多個角度觀察圖中的單個節點，但很少有文獻關注這一點。直觀地講，對于社交網絡中的個人來說，可能有一個基于血緣關系的親戚社交圈，一個基于工作關系的同事社交圈，以及其他具有許多不同興趣的朋友社交圈。如果我們從這些不同的社交圈中分析這個個人，實際上相當于從多個角度對該網絡中的節點進行學習。基于此直覺，提出了多節點中心子圖對比表示學習(MNCSCL).MNCSCL以網絡中的每個節點為中心，在不同的語義下對其節點中心的區域子圖進行采樣，從而形成對應節點的幾個不同視角，如圖1所示.具體而言，首先通過corrupt函數生成一個負例，然后通過視圖生成器生成原始圖的一系列節點中心子圖，并在負例上對對應子圖進行采樣.然后，將這些子圖輸入到圖神經網絡編碼器中，在池化后獲得中心節點及其子圖的表示.最后，通過對比學習目標函數在潛空間中最大化同一節點的不同子圖之間的互信息.在各種數據集上的實驗結果表明，該設計具有優異的性能.論文的主要貢獻如下：

? 提出了一種通過多個節點中心子圖學習節點表示的新框架，從多個角度觀察單個節點，是當前工作中的一個新思路。 ? 我們仔細設計了五個節點中心子圖，并通過大量實驗分析了不同子圖對節點表示學習質量的影響，具有參考意義。 ? 我們在五個標準數據集和兩個下游任務上評估了MNCSCL，以驗證所提方法的有效性。我們的實驗表明，多個子圖的對比學習在結果上優于上述單個子圖的對比學習。

圖神經網絡(GNNs)在許多圖學習任務中表現出令人印象深刻的性能。然而，當輸入的圖數據信息弱，即結構不完整、特征不完整和標簽不足時，GNNs的性能可能會下降。大多數先前的研究試圖從具有特定類型弱信息的圖數據中學習，但在處理各種數據缺陷并相互影響的場景時，這些研究效果不佳。為了填補這個空白，我們在這篇論文中，試圖針對弱信息圖學習（GLWI）問題，開發一種有效且原則性的方法。基于我們的實證分析，我們得出了解決GLWI問題的兩個設計重點，即使GNNs能夠進行長距離傳播，并允許信息傳播到那些與最大連接組件隔離的漂泊節點。據此，我們提出了D2PT，一種雙通道GNN框架，它不僅在具有不完整結構的輸入圖上執行長距離信息傳播，而且還在編碼全局語義相似性的全局圖上執行信息傳播。我們進一步開發了一個原型對比對齊算法，它將從兩個通道中學到的類級原型進行對齊，以便兩種不同的信息傳播過程可以相互受益，最終學習的模型可以很好地處理GLWI問題。在八個真實世界的基準數據集上的大量實驗表明，我們提出的方法在各種GLWI場景中都表現出了有效性和效率。

連續圖學習通常在各種現實應用中發揮作用，其中包含不同任務的圖數據依次出現。盡管之前的工作取得了成功，但仍然面臨著巨大的挑戰。一方面，現有的方法處理零曲率的歐氏空間，很大程度上忽略了曲率隨即將到來的圖序列而變化的事實。另一方面，文獻中的持續學習者依賴于豐富的標簽，但在實踐中對圖進行標注尤其困難，特別是對于不斷涌現的動態圖。為了解決上述的挑戰，我們提出探索一個具有挑戰性但實際的問題，自適應黎曼空間中的自監督連續圖學習。在本文中，我們提出了一種新的自監督黎曼圖持續學習者(RieGrace)。在RieGrace中，我們首先設計了一個自適應黎曼GCN (AdaRGCN)，一個與神經曲率適配器相結合的統一GCN，使黎曼空間由學習到的自適應于每個圖的曲率來塑造。然后，我們提出了一種無標簽洛倫茲蒸餾方法，該方法為圖序列創建師生AdaRGCN。學生依次從自身進行內餾，從老師進行間餾，從而鞏固知識，避免災難性的遺忘。特別地，我們提出了黎曼空間中對比蒸餾的廣義洛倫茲投影。在基準數據集上的大量實驗證明了RieGrace算法的優越性。

理解強化學習(RL)智能體的新出現行為可能是困難的，因為此類智能體通常在復雜環境中使用高度復雜的決策程序進行訓練。這導致了強化學習中各種可解釋性方法的產生，這些方法旨在協調智能體的行為和觀察者預期的行為之間可能出現的差異。最近的大多數方法都依賴于領域知識(這可能并不總是可用的)，依賴于對智能體策略的分析，或者依賴于對底層環境的特定元素的分析(通常建模為馬爾可夫決策過程(Markov Decision Process, MDP))。我們的關鍵主張是，即使底層的MDP不是完全已知的(例如，轉移概率沒有被準確地學習)或不是由智能體維護的(即，轉移概率不是由智能體維護的)。，當使用無模型方法時)，它仍然可以被利用來自動生成解釋。出于這個目的，我們建議使用正式的MDP抽象和轉換(以前在文獻中用于加速搜索最優策略)來自動生成解釋。由于這種轉換通常基于環境的符號表示，它們可以表示預期和實際智能體行為之間差距的有意義的解釋。我們正式地定義了這個問題，提出了一類可以用來解釋突發行為的變換，并提出了能夠有效地尋找解釋的方法。我們將在一組標準基準上演示該方法。

圖神經網絡(GNNs)被廣泛用于學習一種強大的圖結構數據表示。最近的研究表明，將知識從自監督任務遷移到下游任務可以進一步改善圖的表示。然而，自監督任務與下游任務在優化目標和訓練數據上存在內在的差距。傳統的預訓練方法可能對知識遷移不夠有效，因為它們不能適應下游任務。為了解決這一問題，我們提出了一種新的遷移學習范式，該范式可以有效地將自監督任務作為輔助任務來幫助目標任務。在微調階段，我們的方法將不同的輔助任務與目標任務進行自適應的選擇和組合。我們設計了一個自適應輔助損失加權模型，通過量化輔助任務與目標任務之間的一致性來學習輔助任務的權重。此外，我們通過元學習來學習權重模型。我們的方法可以運用于各種遷移學習方法，它不僅在多任務學習中有很好的表現，而且在預訓練和微調中也有很好的表現。在多個下游任務上的綜合實驗表明，所提出的方法能夠有效地將輔助任務與目標任務相結合，與現有的方法相比，顯著提高了性能。

//www.zhuanzhi.ai/paper/852db932624d6feeb7bbd32e67772b27

目前的圖表示(GR)算法在超參數調優方面需要大量的人工專家，這極大地限制了其實際應用，促使人們迫切需要無需人工干預的自動圖表示。雖然自動機器學習(AutoML)是自動超參數調優的一個很好的候選對象，但關于自動圖表示學習的文獻報道很少，現有的工作只有使用黑盒策略，缺乏解釋不同超參數的相對重要性的見解。為了解決這一問題，本文研究了具有超參數重要性的可解釋自動圖表示。我們提出了一種可解釋的AutoML圖表示方法(e-AutoGR)，該方法在性能估計過程中利用可解釋的圖特征，并通過非線性去相關加權回歸學習不同超參數的去相關重要權重，以影響模型性能。這些學習到的重要權重在超參數搜索過程中可以反過來幫助提供更多的洞察力。我們從理論上證明了去相關加權算法的正確性。在真實數據集上的大量實驗表明，我們提出的e-AutoGR模型在模型性能和超參數重要性解釋方面優于最新方法。

//icml.cc/Conferences/2021/ScheduleMultitrack?event=9680

最近的對比表示學習方法依賴于估計一個上下文的多個視圖之間的互信息。例如，我們可以通過應用數據增強獲得給定圖像的多個視圖，或者我們可以將序列分割成包含序列中某個步驟的過去和未來的視圖。MI的下界比較容易優化，但當評估大量的MI有強烈的低估偏見。我們提出將完整的MI估計問題分解為一個較小的估計問題。這個表達式包含一個無條件和條件MI項的和，每個測量總的MI的適度塊，這有助于通過對比界近似。為了使和最大化，我們給出了條件MI的一個比較下界，它可以有效地逼近。我們將我們的一般方法稱為互信息分解估計(DEMI)。我們證明了DEMI可以捕獲比標準的非分解對比界在綜合設置更大數量的MI，并在視覺域的對話生成學習更好的表示。

//www.zhuanzhi.ai/paper/8843e06299bf34535700e85e6c684c37

圖結構數據的自監督學習最近引起了從無標記圖學習可泛化、可遷移移和魯棒表示的興趣。其中，圖對比學習(GraphCL)以良好的表征學習性能出現。不幸的是，與圖像數據不同的是，GraphCL的有效性依賴于特定的數據擴展，由于圖數據的多樣性，必須根據經驗或反復試驗的規則手動選擇每個數據集。這極大地限制了GraphCL更普遍的適用性。為了填補這一關鍵空白，本文提出了一個統一的雙層優化框架，在對特定圖形數據執行GraphCL時自動、自適應、動態地選擇數據增強。聯合增強優化(JOint Augmentation Optimization, JOAO)的通用框架被實例化為最小最大化優化。JOAO所做的增強的選擇通常與從手工調優中觀察到的以前的“最佳實踐”一致:但現在已經自動化，更加靈活和通用。此外，我們提出了一種新的增強感知投影頭機制，在每個訓練步驟中，通過選擇不同的投影頭對應不同的增強來路由輸出特征。大量實驗表明，JOAO在不同規模和類型的多個圖數據集上的性能與最先進的競爭對手(包括GraphCL)相當，有時甚至更好，而無需對增強選擇進行任何費力的數據集特定調優。我們在//github.com/ Shen-Lab/GraphCL_Automated發布了代碼。

本文研究了卷積神經網絡（CNN）和視覺語言預訓練Transformer（VLPT）的聯合學習，旨在從數百萬個圖像-文本對中學習跨模態對齊。當前大多數文章都是先抽取出圖像中的顯著性區域，再將其與文字一一對齊。由于基于區域的視覺特征通常代表圖像的一部分，因此現有的視覺語言模型要充分理解配對自然語言的語義是一項挑戰。由于基于區域的視覺特征通常代表圖像的一部分，現有的視覺語言模型很難完全理解成對自然語言的語義。本文提出SOHO“開箱即看”的概念，將完整的圖像為輸入，以一種端到端的方式學習視覺語言表達。SOHO不需要邊界框標注，這使得推理速度比基于區域的方法快10倍。特別地，SOHO學會了通過視覺詞典（VD）來提取全面而緊湊的圖像特征，這有助于跨模態理解。大量的實驗結果也驗證了本文SOHO的有效性。

//www.zhuanzhi.ai/paper/a8c52c4b641c0a5bc840a955b6258b39

Transformer 模型的自監督預訓練已經徹底改變了NLP的應用。這種語言建模目標的預訓練為參數提供了一個有用的初始化，這些參數可以很好地推廣到新的任務中。然而，微調仍然是數據效率低下的——當有標記的例子很少時，準確性可能會很低。數據效率可以通過優化預訓練;這可以看作是一個元學習問題。然而，標準的元學習技術需要許多訓練任務才能泛化;不幸的是，找到一組不同的這樣的監督任務通常是困難的。本文提出了一種自監督的方法，從無標記文本生成一個龐大的，豐富的元學習任務分布。這是使用closize風格的目標實現的，但是通過從少數詞匯表術語中收集待刪除的標記來創建單獨的多類分類任務。這產生的唯一元訓練任務與詞匯術語子集的數量一樣多。我們使用最近的元學習框架對任務分配的transformer模型進行元訓練。在17個NLP任務中，我們表明，這種元訓練比語言模型前訓練后的精細化能產生更好的少樣本泛化效果。此外，我們還展示了如何將自監督任務與監督任務結合起來進行元學習，從而比之前的監督元學習獲得了更大的準確性。

//arxiv.org/abs/2009.08445