但由于它們之間固有的差距，設計一個用于處理各種模態（例如自然語言、2D圖像、3D點云、音頻、視頻、時間序列、表格數據）的統一網絡仍然具有挑戰性。在這項工作中，我們提出了一個名為Meta-Transformer的框架，它利用一個固定的編碼器在沒有任何成對的多模態訓練數據的情況下執行多模態感知。在Meta-Transformer中，來自各種模態的原始輸入數據被映射到一個共享的令牌空間，允許一個具有固定參數的后續編碼器提取輸入數據的高級語義特征。Meta-Transformer由三個主要組件組成：一個統一的數據令牌化器、一個模態共享的編碼器和用于下游任務的任務特定頭部。Meta-Transformer是第一個能夠在12種模態上執行統一學習并使用非配對數據的框架。在不同基準上的實驗顯示，Meta-Transformer可以處理包括基本感知（文本、圖像、點云、音頻、視頻）、實際應用（X射線、紅外、超光譜和IMU）和數據挖掘（圖、表格和時間序列）在內的廣泛任務。Meta-Transformer為使用變換器開發統一的多模態智能展示了一個有前景的未來。代碼將在 //github.com/invictus717/MetaTransformer 上提供。
付費5元查看完整內容
相關內容
內容與風格（C-S）的解耦是風格轉移中的基本問題和關鍵挑戰。基于明確的定義（例如，Gram矩陣）或隱式學習（例如，GANs）的現有方法既不可解釋也不易于控制，導致了交織的表示和不太令人滿意的結果。在這篇論文中，我們提出了一種新的C-S解耦風格轉移框架，不使用之前的假設。關鍵的洞見是明確地提取內容信息并隱式地學習互補的風格信息，從而產生可解釋和可控的C-S解耦和風格轉移。我們引入了一個簡單而有效的基于CLIP的風格解耦損失，與風格重建先驗協同工作，以在CLIP圖像空間中解耦C-S。通過進一步利用擴散模型的強大風格去除和生成能力，我們的框架比現有的技術獲得了更好的結果，并具有靈活的C-S解耦和權衡控制。我們的工作為風格轉移中的C-S解耦提供了新的洞見，并展示了擴散模型在學習良好解耦的C-S特征方面的潛力。
付費5元查看完整內容
在這篇論文中，我們提出了用于學習和應用多源知識圖譜（KG）嵌入的“聯合預訓練和局部重訓”框架。我們的動機是，不同的KG包含可以改進KG嵌入和下游任務的互補信息。我們在鏈接的多源KG上預訓練一個大型的教師KG嵌入模型，并將知識蒸餾到針對特定任務的KG的學生模型中。為了實現不同KG之間的知識轉移，我們使用實體對齊來構建一個連接預訓練KG和目標KG的鏈接子圖。這個鏈接子圖被重新訓練，進行從教師到學生的三級知識蒸餾，即特征知識蒸餾，網絡知識蒸餾和預測知識蒸餾，以生成更有表現力的嵌入。教師模型可以被重復用于不同的目標KG和任務，無需從頭開始訓練。我們進行了大量的實驗來展示我們的框架的有效性和效率。
//www.zhuanzhi.ai/paper/7c51aae482b4dfe47e2d387915dbcf24
付費5元查看完整內容
元學習算法能夠利用先前學習的知識來學習新任務，但它們通常需要大量的元訓練任務，而這些任務可能并不容易獲得。為了解決這個問題，我們提出了一種用更少任務進行小樣本學習的方法，我們稱之為 MetaModulation（元調制）。關鍵的想法是通過在元訓練期間調節批量歸一化參數，使用神經網絡增加元訓練任務的密度。此外，我們在各種網絡層面，而非僅在單一層面，修改參數以增加任務多樣性。為了解決由于訓練任務有限而導致的不確定性，我們提出了一種變分元調制方法，其中調制參數被視為隱變量。我們還引入了通過變分元調制學習的變分特征層次結構，這種調制可以調節所有層面的特征，并能考慮任務不確定性，生成更多樣化的任務。消融研究顯示了在不同層面利用可學習的任務調制的優點，并證明了在少任務元學習中加入概率變體的好處。我們的元調制及其變分變體在四個少任務元學習基準測試中均一致優于當前最先進的替代方案。
//www.zhuanzhi.ai/paper/6bad681ebd0c520eacc14067e18627dc
付費5元查看完整內容
我們研究離線元強化學習，這是一種實用的強化學習范式，從離線數據中學習以適應新的任務。離線數據的分布由行為策略和任務共同決定。現有的離線元強化學習算法無法區分這些因素，導致任務表示對行為策略的變化不穩定。為了解決這個問題，我們提出了一個任務表示的對比學習框架，該框架對訓練和測試中的行為策略分布不匹配具有魯棒性。我們設計了一個雙層編碼器結構，使用互信息最大化來形式化任務表示學習，導出了一個對比學習目標，并引入了幾種方法來近似負對的真實分布。在各種離線元強化學習基準上的實驗表明，我們的方法比以前的方法更有優勢，特別是在泛化到非分布行為策略上。代碼可以在//github.com/PKU-AI-Edge/CORRO上找到。
付費5元查看完整內容
視覺對話旨在回答基于對話歷史和圖像內容的多輪互動問題。現有方法要么單獨考慮答案排序和生成，要么僅通過兩個單獨的模型微弱地捕捉兩個任務之間的關系。在單一模型中共同學習排序和生成答案的通用框架的研究很少。在本文中，我們提出了一個基于對比學習的框架UTC，以統一和促進識別任務和生成任務在視覺對話中使用單一的模型。具體來說，考慮到之前學習范式的內在局限性，我們設計了兩種任務間對比損失，即情境對比損失和答案對比損失，使區分性任務和生成性任務相輔相成。這兩種互補的對比損失利用對話語境和目標答案作為錨點，從不同的角度提供表征學習信號。我們在VisDial v1.0數據集上評估我們提出的UTC，在那里，我們的方法在鑒別和生成任務上優于最先進的技術，并在Recall@1上超過2個絕對點。
付費5元查看完整內容
我們考慮了在存在潛在混淆變量和選擇偏差的情況下，從觀測數據中學習系統的因果MAG(Maximal Ancestral Graph)的問題。基于約束的方法是解決這一問題的主要方法之一，但現有方法在處理大型圖時要么計算代價太高，要么缺乏完整性保證。我們提出了一種新的計算有效的遞歸約束方法，是健全和完整的。我們方法的關鍵思想是，在每次迭代中標識和刪除特定類型的變量。這使我們能夠高效地遞歸地學習結構，因為這種技術既減少了所需的條件獨立(CI)測試的數量，又減少了條件集的大小。前者大大降低了計算復雜度，而后者產生了更可靠的CI測試。我們提供了最壞情況下所需CI測試數量的上限。據我們所知，這是文獻中最緊的上界。我們進一步提供了任何基于約束的方法所需的CI測試數量的下界。在最壞的情況下，我們所提出的方法的上界和下界最多相差一個等于變量數的因子。我們也通過模擬與真實實驗對提出的方法與當前最優算法進行了比較。
付費5元查看完整內容
我們考慮發現K個相關高斯有向無環圖(DAG)的問題，其中涉及的圖結構共享一個一致的因果順序和稀疏的支持聯合。在多任務學習環境下，我們提出一種l1/l2-正則化極大似然估計(MLE)來學習K個線性結構方程模型。我們從理論上證明，通過在相關任務中利用數據，聯合估計器可以獲得比單獨估計更好的恢復因果順序(或拓撲順序)的樣本復雜度。此外，聯合估計器還可以將不可識別的DAG與一些可識別的DAG一起估計，從而恢復不可識別的DAG。最后，我們的分析也顯示了結構的聯合支持恢復的一致性。為了實現，我們設計了一個連續優化問題，它的優化器與聯合估計器相同，可以用迭代算法有效地逼近。通過實驗驗證了理論分析和聯合估計的有效性。
付費5元查看完整內容
最近提出了一些查詢和評分來解釋ML模型上的個人預測。考慮到ML模型需要靈活、可靠和易于應用的可解釋性方法，我們預計需要開發聲明性語言來自然地指定不同的可解釋性查詢。我們以一種有原則的方式來實現這一點，將這種語言根植于一個名為FOIL的邏輯中，該邏輯允許表達許多簡單但重要的可解釋性查詢，并可能作為更具表現力的可解釋性語言的核心。我們研究了FOIL查詢在兩類ML模型上的計算復雜性，這兩類模型通常被認為是容易解釋的: 策樹和OBDDs。由于ML模型的可能輸入的數量在其維數上是指數級的，因此FOIL評估問題的可處理性是微妙的，但可以通過限制模型的結構或被評估的FOIL片段來實現。我們還提出了一個用高級聲明性語言包裝的FOIL的原型實現，并進行了實驗，表明這種語言可以在實踐中使用。
付費5元查看完整內容
作者在不同任務中嘗試了節點式歸一化(Node-wise)，鄰接式歸一化(Adjance-wise)，圖式歸一化(Graph-wise)和批處理歸一化(Batch-wise)作為歸一化計算方式，來分析每種歸一化方式的優劣，并提出一種基于學習的四合一自動加權組合的方式來學習適合當前任務的圖歸一化。
Paper: Learning Graph Normalization for Graph Neural Networks //arxiv.org/abs/2009.11746 Source Code:
背景 圖神經網絡(GNN)近年來吸引了大量的關注，因為圖神經網絡成為了處理圖結構數據最有希望的一種范例。圖神經網絡通過堆疊多層，每一層通過節點間的信息傳遞與聚合來更新每個節點的表示，多層信息傳遞，可以捕捉遠程節點之間的依賴關系，而帶來更好的性能。要訓練一個多層的GNN，歸一化技術是必不可少的。但不同的歸一化技術對不同任務有不一樣的表現，最近arXiv上公開的一篇文章《Learning Graph Normalization for Graph Neural Networks》探討了在圖神經網絡里面，應該如何選擇更好的歸一化技術。
核心思想介紹 首先我們來看在論文中提到的四種歸一化技術，（a）節點式（node-wise）歸一化，其實類似于NLP里面的層歸一化（LayerNorm）, 每個節點單獨來計算歸一化；（b）鄰接式歸一化（Adjance-wise）是將該節點的鄰接節點信息加進來一起計算歸一化，在查閱源代碼之后，這一點實現作者用了一個比較巧妙的實現方式，利用dgl的消息傳遞機制，鄰接節點特征聚合到中心節點之后再計算歸一化，等于是做了兩次的信息傳遞。（c）圖式（Graph-wise）歸一化, 就是利用整個圖所有節點的特征來計算歸一化，歸一化只考慮圖內信息，而不是考慮整個數據庫的分布。（d）批處理式（Batch-wise）歸一化，在CV領域最常用的歸一化方式。（e）（f）（g）（h）是同樣的計算，在圖的邊上的體現。
付費5元查看完整內容
大多數基于圖網絡的元學習方法都對實例級關系進行了建模。我們進一步擴展了這個思想，以1-vs-N的方式顯式地將一個示例的分布級關系建模為所有其他示例的分布級關系。提出了一種新的分布傳播圖網絡(DPGN)學習算法。在每一個小樣本學習任務中，它都傳達了分布層次關系和實例層次關系。為了結合所有實例的分布級關系和實例級關系，我們構造了一個由點圖和分布圖組成的對偶完全圖網絡，其中每個節點都代表一個實例。DPGN具有雙重圖結構，可以在幾個更新代中將標簽信息從帶標簽的示例傳播到未帶標簽的示例。在對小樣本學習基準的大量實驗中，DPGN在監督設置下的5% ~ 12%和在半監督設置下的7% ~ 13%的范圍內都比最新的結果好得多。代碼可以在//github.com/megviiresearch/DPGN找到。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191