亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖級異常檢測 (GLAD) 旨在識別與集合中的大多數相比呈現顯著差異的圖。然而，當前的研究主要集中在評估圖級的異常性，而未能為預測提供有意義的解釋，這在很大程度上限制了它們的可靠性和應用范圍。在本文中，我們研究了一個新的具有挑戰性的問題，即可解釋的GLAD，其學習目標是預測每個圖樣本的異常性及相應的解釋，即導致預測的關鍵子圖。為了解決這一具有挑戰性的問題，我們提出了一個自解釋的圖異常檢測模型（簡稱SIGNET），它可以同時檢測異常圖并生成有益的解釋。具體地說，我們首先介紹多視圖子圖信息瓶頸 (MSIB) 框架，作為我們自解釋GLAD方法的設計基礎。這樣，SIGNET不僅能夠基于交叉視圖互信息測量每個圖的異常性，而且還能夠通過從輸入圖和其雙重超圖中提取瓶頸子圖以自我監督的方式提供有益的圖理由。在16個數據集上的廣泛實驗展示了SIGNET的異常檢測能力和自解釋性。

在這項工作中，我們旨在在兩大重要的機器學習研究領域之間建立緊密聯系：持續學習和序列建模。也就是說，我們建議將持續學習表述為一個序列建模問題，從而允許使用先進的序列模型來進行持續學習。在此表述下，持續學習過程變成了序列模型的前向傳遞。通過采用元持續學習（MCL）框架，我們可以在元級上訓練序列模型，處理多個持續學習情節。作為我們新表述的一個具體示例，我們展示了Transformers及其高效變體作為MCL方法的應用。我們在七個基準測試上的實驗，涵蓋了分類和回歸，顯示序列模型可以成為一般MCL的有吸引力的解決方案。

//www.zhuanzhi.ai/paper/94502ea5795b6b063f921a4b9876c8bd

視覺變換器（ViT）的不斷擴展使得這些大型模型的高效微調用于滿足特定需求在各種應用中變得極為困難。這個問題起源于ViT中線性層的反向傳播過程中所需的計算密集的矩陣乘法。在本文中，我們通過提出一種新的低秩反向傳播通過沃爾什-哈達瑪變換（LBP-WHT）方法來解決這個問題。直觀地說，LBP-WHT將梯度投影到一個低秩空間并執行反向傳播。這種方法大大減少了適應ViT所需的計算，因為在低秩空間中的矩陣乘法遠少資源密集。我們對多個數據集中的不同模型（ViT，混合卷積-ViT模型）進行了廣泛的實驗，以展示我們方法的有效性。例如，在CIFAR100上調整一個EfficientFormer-L1模型時，我們的LBP-WHT比最先進的基線高出10.4％的準確性，同時需要較少的9 MFLOPs計算。作為第一個使用低秩反向傳播加速ViT適應的工作，我們的LBP-WHT方法與許多先前的努力相輔相成，可以與它們結合以獲得更好的性能。

近期，使用掩碼自編碼器的自監督學習因其能有效產生圖像或文本表示而日益受到歡迎，這些表示可以應用于多種下游任務，無需重新訓練。然而，我們觀察到當前的掩碼自編碼器模型在圖數據上缺乏良好的泛化能力。為了解決這一問題，我們提出了一個名為GiGaMAE的新型圖掩碼自編碼器框架。與現有的掩碼自編碼器不同，這些編碼器通過顯式重構原始圖組件（例如，特征或邊）來學習節點表示，在本文中，我們提議協同重構有信息性和整合性的潛在嵌入。通過考慮 encompassing 圖的拓撲結構和屬性信息的嵌入作為重建目標，我們的模型可以捕獲更為泛化和全面的知識。此外，我們引入了一個基于互信息的重建損失，該損失可以有效地重建多個目標。這個學習目標使我們能夠區分從單一目標中學到的獨有知識和多個目標共享的常見知識。我們在三個下游任務上評估了我們的方法，使用了七個數據集作為基準。大量實驗顯示，GiGaMAE相對于最先進的基線表現出色。我們希望我們的結果將為圖結構數據上的基礎模型設計提供啟示。我們的代碼可在以下網址找到： //github.com/sycny/GiGaMAE。

基于模型的強化學習算法旨在學習環境模型，并通過環境模型做決策，其樣本效率高于無模型算法。基于模型的方法的樣本效率取決于模型能否很好地近似環境。然而，學習一個精確的模型是具有挑戰性的，特別是在復雜和嘈雜的環境中。為了解決這個問題，MIRA Lab 提出了基于模型的保守 actor-critic 方法（conservative model-based actor-critic---CMBAC）。這是一種在不依賴精確學習模型的情況下實現了高樣本效率的新方法。具體而言，CMBAC從一組不準確的模型中學習Q值函數的多個估計值，并使用其最小的k個估計值的均值（即保守估計值）來優化策略。CMBAC的保守估計能夠有效地鼓勵智能體避免不可靠的“有前景的動作”，即那些僅在一小部分模型中估計價值高的動作。實驗結果表明，CMBAC方法在多個具有挑戰性的控制任務上的樣本效率明顯優于現有的方法，并且該方法在噪聲環境下比現有的方法更具魯棒性。原論文標題為《Sample-Efficient Reinforcement Learning via Conservative Model-Based Actor-Critic》，由王杰教授指導MIRA Lab 的王治海、周祺等人發表于AAAI 2022。

//arxiv.org/abs/2112.10504

從合成生物學到計算機架構，計算設計問題出現在許多環境中。在本文中，我們的目標是解決基于數據驅動模型的優化(MBO)問題，其中的目標是找到一個設計輸入，使一個未知的目標函數最大化，只提供訪問先前實驗的靜態數據集。這種數據驅動的優化過程是許多現實領域中唯一實用的方法，在這些領域中，主動數據收集是昂貴的(如優化蛋白質)或危險的(如優化飛機設計)。針對已知模型優化設計的典型MBO方法遭遇了分布轉移:很容易找到一種設計，它“愚弄”了模型，使其預測出高價值。為了克服這一點，我們提出了保守目標模型(COMs)，一種學習目標函數模型的方法，該模型下界的真實目標的實際值在非分布輸入外，并使用它進行優化。在結構上，COMs類似于用來克服對抗性例子的對抗性訓練方法。COM易于實現，并且在許多MBO問題上優于現有的一些方法，包括優化蛋白質序列、機器人形態、神經網絡權值和超導材料。

//www.zhuanzhi.ai/paper/eaa6ff747a559f00731e498e36ddb232

協同過濾(CF)作為推薦系統的一種基本方法，通常建立在具有可學習參數的潛在因子模型上，預測用戶對產品的偏好。但是，為給定的數據設計適當的CF模型并不容易，因為數據集的屬性是高度多樣化的。在本文中，基于自動機器學習(AutoML)的最新進展，我們提出利用AutoML技術設計一個數據特定的CF模型。這里的關鍵是一個新的框架，它將最先進的CF方法統一起來，并將它們劃分為輸入編碼、嵌入函數、交互函數和預測函數等不相交的階段。我們進一步開發了一種易于使用、健壯和高效的搜索策略，它利用隨機搜索和性能預測器在上述框架內進行高效搜索。通過這種方式，我們可以從SOTA模型中組合概括出文獻中沒有訪問過的特定于數據的CF模型。在五個真實數據集上的大量實驗表明，對于各種CF任務，我們的方法可以持續優于SOTA方法。進一步的實驗驗證了所提框架的合理性和搜索策略的有效性。搜索的CF模型還可以為將來探索更有效的方法提供見解。

//www.zhuanzhi.ai/paper/9f6f6b9ea06d5249f6a1e91d9635a429

少樣本數據集泛化是研究良好的少樣本分類問題的一種具有挑戰性的變體，其中給出了多個數據集的不同訓練集，目的是訓練一個可適應的模型，然后可以通過僅使用幾個例子從新數據集學習類。為此，我們提出利用不同的訓練集來構建一個通用模板:通過插入適當的組件，可以定義廣泛的數據集專用模型的部分模型。因此，對于每個新的幾桿分類問題，我們的方法只需要推斷少量參數插入到通用模板中。我們設計了一個單獨的網絡，為每個給定的任務生成這些參數的初始化，然后我們通過梯度下降的幾個步驟來微調其提出的初始化。與以前的方法相比，我們的方法參數效率更高，可擴展性更強，適應性更強，并在具有挑戰性的Meta-Dataset基準測試上達到了最好的性能。

//arxiv.org/abs/2105.07029

時序知識圖譜推理是信息檢索和語義搜索的關鍵任務。當TKG頻繁更新時，這是特別具有挑戰性的。該模型必須適應TKG的變化，以便進行有效的訓練和推理，同時保持其對歷史知識的表現。最近的工作通過增加一個時間感知編碼函數來實現TKG補全(TKGC)。然而，使用這些方法在每個時間步驟中直接微調模型并不能解決以下問題:1)災難性遺忘;2)模型不能識別事實的變化(例如，政治派別的變化和婚姻的結束);3)缺乏訓練效率。為了解決這些挑戰，我們提出了時間感知增量嵌入(TIE)框架，該框架結合了TKG表示學習、經驗回放和時間正則化。我們引入一組度量標準來描述模型的不妥協性，并提出一個約束，將刪除的事實與負面標簽相關聯。在Wikidata12k和YAGO11k數據集上的實驗結果表明，本文提出的TIE框架減少了大約10倍的訓練時間，并在提出的指標上有所改進。對于任何傳統的度量方法，它都不會造成性能上的重大損失。廣泛的消融研究揭示了不同評估指標之間的性能權衡，這對于真實世界的TKG應用的決策是至關重要的。

圖神經網絡通過聚合和結合鄰居信息來學習節點特征，在許多圖的任務中取得了良好的性能。然而，GNN大多被視為黑盒，缺乏人類可理解的解釋。因此，如果不能解釋GNN模型，就不能完全信任它們并在某些應用程序域中使用它們。在這項工作中，我們提出了一種新的方法，稱為XGNN，在模型級別上解釋GNN。我們的方法可以為GNNs的工作方式提供高層次的見解和一般性的理解。特別地，我們提出通過訓練一個圖生成器來解釋GNN，使生成的圖模式最大化模型的某種預測。我們將圖形生成表述為一個強化學習任務，其中對于每一步，圖形生成器預測如何向當前圖形中添加一條邊。基于訓練后的GNN信息，采用策略梯度方法對圖生成器進行訓練。此外，我們還加入了一些圖規則，以促使生成的圖是有效的。在合成和真實數據集上的實驗結果表明，我們提出的方法有助于理解和驗證訓練過的GNN。此外，我們的實驗結果表明，所生成的圖可以為如何改進訓練的神經網絡提供指導。

概述

圖神經網絡(GNNs)在不同的圖任務(如節點分類[11,37]、圖分類[39,47]和鏈接預測[46])上顯示了其有效性并取得了最新的性能。此外，對不同的圖運算進行了大量的研究，如圖卷積[13,16,19]、圖池化[20,44]、圖注意力[10,36,37]。由于圖數據廣泛存在于不同的真實世界應用程序中，如社交網絡、化學和生物學，GNN變得越來越重要和有用。盡管它們的性能很好，GNNs也有和其他深度學習模型一樣的缺點;也就是說，它們通常被視為黑盒子，缺乏人類理解的解釋。如果不理解和驗證內部工作機制，就不能完全信任GNNs，這就阻礙了它們在涉及公平、隱私和安全的關鍵應用程序中的使用[7,40]。例如，我們可以訓練一個GNN模型來預測藥物的效果，我們將每種藥物視為一個分子圖。如果不探索其工作機理，我們就不知道分子圖中是什么化學基團導致了這些預測。那么我們就無法驗證GNN模型的規則是否與真實世界的化學規則一致，因此我們不能完全信任GNN模型。這就增加了開發GNN解釋技術的需要。

最近，人們提出了幾種解釋技術來解釋圖像和文本數據的深度學習模型。根據所提供的解釋的類型，現有的技術可以歸類為實例級[5,9,29,31,32,43,45,48]或模型級[8,24,25]方法。實例級解釋通過模型確定輸入中的重要特征或該輸入的決策過程來解釋對給定輸入示例的預測。這類常用技術包括基于梯度的方法[31,32,43]、中間特征圖可視化[29,48]和基于遮擋的方法[5,9,45]。與提供依賴于輸入的解釋不同，模型級別的解釋旨在通過研究哪些輸入模式可以導致某種預測來解釋模型的一般行為，而不考慮任何特定的輸入示例。輸入優化[8,24 - 26]是最常用的模型級解釋方法。這兩類解釋方法旨在從不同的角度解釋深層模型。由于解釋的最終目的是驗證和理解深度模型，我們需要手動檢查解釋結果，并得出深度模型是否按我們預期的方式工作的結論。對于示例級方法，我們可能需要探究大量示例的解釋，然后才能相信模型。然而，這需要時間和專家的廣泛努力。對于模型級方法，其解釋更加普遍和高級，因此需要較少的人力監督。然而，與實例級的解釋相比，模型級方法的解釋不那么精確。總的來說，模型級和實例級方法對于解釋和理解深度模型都很重要。

在圖數據上解釋深度學習模型變得越來越重要，但仍缺乏探索。就我們所知，目前還沒有在模型級解釋GNN的研究。現有研究[4,40]僅對圖模型提供了實例層次的解釋。作為對現有工作的徹底背離，我們提出了一種新的解釋技術，稱為XGNN，用于在模型級別上解釋深層圖模型。我們提出研究什么樣的圖模式可以最大化某個預測。具體地說，我們提出訓練一個圖生成器，以便生成的圖模式可以用來解釋深度圖模型。我們把它表示為一個強化學習問題，在每一步，圖生成器預測如何添加一條邊到給定的圖和形成一個新的圖。然后根據已訓練圖模型的反饋，使用策略梯度[35]對生成器進行訓練。我們還加入了一些圖規則，以鼓勵生成的圖是有效的。注意，XGNN框架中的圖生成部分可以推廣到任何合適的圖生成方法，這些方法由手邊的數據集和要解釋的GNN決定。最后，我們在真實數據集和合成數據集上訓練了GNN模型，取得了良好的性能。然后我們使用我們提出的XGNN來解釋這些訓練過的模型。實驗結果表明，我們提出的XGNN可以找到所需的圖模式，并解釋了這些模型。通過生成的圖形模式，我們可以驗證、理解甚至改進經過訓練的GNN模型。