亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

域泛化(DG)的目的是訓練一個模型，從多個觀測源域，以更好地執行不可見的目標域。為了獲得泛化能力，以往的DG方法都側重于跨源提取領域不變信息來泛化目標領域，而通常忽略與單個領域標簽密切相關的有用領域特定信息和對目標領域的泛化。在本文中，我們提出了元領域特定的領域不變式(mDSDI)——一個新的理論上合理的框架，它擴展了不變性視圖，進一步捕獲領域特定信息的有用性。我們的關鍵觀點是在一個統一的框架中共同學習領域不變和領域特定特征的同時，解開潛在空間中的特征。通過元學習框架優化了特定領域的表示，以適應源領域，針對未見領域的魯棒泛化。我們的經驗表明，mDSDI在DG提供了具有競爭力的結果與最先進的技術。使用我們生成的數據集(Background-Colored-MNIST)進行的進一步消融研究，證實了領域特異性至關重要的假設，與僅使用領域不變量相比，可以獲得更好的結果。

//arxiv.org/abs/2110.09410

類不平衡問題作為學習節點表示的一個重要問題，越來越受到社會的關注。盡管現有研究中所考慮的不平衡源于不同類別中標記示例的數量不等(數量不平衡)，但我們認為，圖數據暴露了不平衡的唯一來源，即標記節點的不對稱拓撲屬性，即:標記節點在圖中的結構角色不平等(拓撲不平衡)。在本工作中，我們首先探討了之前未知的拓撲不平衡問題，包括其特征、原因和對半監督節點分類學習的威脅。然后通過標簽傳播算法考慮節點影響轉移現象，提供了一個統一的視角來共同分析數量不平衡和拓撲不平衡問題。根據我們的分析，我們設計了一種基于影響沖突檢測——基于度量的Totoro來測量圖拓撲不平衡的程度，并提出了一種模型無關的ReNode方法來解決拓撲不平衡問題，方法是根據標記節點相對于類邊界的相對位置對其影響進行自適應加權。系統實驗證明了該方法在緩解拓撲不平衡問題和促進半監督節點分類方面的有效性和可泛化性。進一步的分析揭示了不同的圖神經網絡對拓撲不平衡的敏感性不同，為評價圖神經網絡體系結構提供了新的視角。

//www.zhuanzhi.ai/paper/e4392c7e18418db5eab9b0f759470985

互聯多模態信息源的日益可用性推動了推薦系統的新概率模型的開發，該模型利用關系數據中的上下文。因此，我們尋求整合上下文信息，以預測用戶的信息需求。在這篇論文中，我們關注一組將上下文信息建模到因子化模型的技術，特別是使用隱式反饋(如事件計數)的模型。此外，我們提出了這些模型的分析工具，提高了我們尋找合適超參數的能力。為了將計數(例如，頁面中的點擊次數)建模為隱式用戶反饋，我們選擇使用泊松分解作為構建塊。然后，我們開發了兩個泊松分解模型，其中包括社會網絡、項目文本內容和作為上下文信息的周期時間事件，并將其合并到一個聯合矩陣和張量分解模型中(第3章和第4章)。我們開發了一個聯合層次遞歸神經網絡和一個時間點過程模型來解決多會話推薦的問題，我們觀察項目的序列分組到會話序列中，并創建了一個能夠提供itens推薦和下一次會話時間預測的模型(第5章)。我們利用并開發了一種基于先驗預測分布的方法，該方法允許我們設置泊松因子分解模型的超參數，而不需要將模型與數據擬合，(第6章)這里的一個相關結果是泊松因子分解模型中潛在空間維度的一個封閉形式方程。一般來說，我們將這項工作定位為在推薦系統的背景下利用多關系和計數數據作為上下文信息的信號的概率建模的貢獻，貢獻范圍包括模型設計、分析和超參數選擇。

圖對齊的目的是識別跨多個圖的節點對應，這在各個領域具有重要意義。由于監督信息往往是不可獲取的，無監督方法最近吸引了大量的研究興趣。大多數現有的無監督方法都假定相應的節點應該具有類似的局部結構，然而，這往往不成立。同時，富節點屬性通常是可用的，并已證明在緩解上述局部拓撲不一致問題方面是有效的。由于圖卷積網絡(GCNs)成功地融合了網絡和節點屬性用于各種學習任務，我們的目標是在GCNs的基礎上解決圖對齊問題。然而，由于多方面的挑戰，直接將GCNs嫁接到圖對齊上往往是不可行的。為了解決這一問題，我們提出了一種新的無監督圖對齊框架WAlign。我們首先開發了一個輕量級的GCN架構來捕獲本地和全局圖模式以及它們與節點屬性的內在關聯。然后證明在嵌入空間中，獲得最優對齊結果等價于最小化不同圖中節點嵌入之間的Wasserstein距離。為此，我們提出了一種新的Wasserstein距離鑒別器來識別候選節點對應對，用于更新節點嵌入。整個過程就像一個兩人博弈，最后我們得到了適合于對齊任務的鑒別嵌入。在合成和真實數據集上的大量實驗驗證了所提出框架WAlign的有效性和效率。

多任務學習(Multi-task learning, MTL)旨在通過對多個相關任務的聯合學習來提高任務的泛化能力。作為對比，除了聯合訓練方案，現代元學習允許在測試階段進行一些不可見的、標簽有限的任務，希望能夠快速適應它們。盡管MTL和元學習在問題表述上存在細微的差異，但兩種學習范式都認為，現有訓練任務之間的共享結構可以導致更好的泛化和適應性。本文通過理論分析和實證調查，進一步了解了這兩種學習模式之間的密切聯系。理論上，我們首先證明了MTL與一類基于梯度的元學習(GBML)算法具有相同的優化公式。然后我們證明了對于具有足夠深度的過參數化神經網絡，MTL和GBML學習到的預測函數是接近的。特別是，這一結果表明，這兩個模型給出的預測是相似的，在相同的看不見的任務。通過實證，我們證實了我們的理論發現，通過適當的實現，MTL可以在一組少樣本分類基準上與先進的GBML算法相媲美。由于現有的GBML算法經常涉及代價高昂的二階兩級優化，我們的一階MTL方法在大型數據集(如微型imagenet)上快了一個數量級。我們相信，這項工作可以幫助彌合這兩種學習模式之間的差距，并提供一個計算效率高的替代GBML，也支持快速任務適應。

//www.zhuanzhi.ai/paper/5d6fac14a84a1a6163d80eb46284b0af

摘要

多任務學習(Multi-Task Learning, MTL)是機器學習中的一種學習范式，其目的是利用多個相關任務中包含的有用信息來幫助提高所有任務的泛化性能。

本文從算法建模、應用和理論分析三個方面對MTL進行了綜述。在算法建模方面，給出了MTL的定義，并將不同的MTL算法分為特征學習、低秩、任務聚類、任務關系學習和分解五類，并討論了每種方法的特點。

為了進一步提高學習任務的性能，MTL可以與半監督學習、主動學習、無監督學習、強化學習、多視圖學習和圖形模型等學習范式相結合。當任務數量較大或數據維數較高時，我們回顧了在線、并行和分布式的MTL模型，以及維數降維和特征哈希，揭示了它們在計算和存儲方面的優勢。

許多現實世界的應用程序使用MTL來提高它們的性能，我們在本文中回顧了代表性的工作。最后，我們對MTL進行了理論分析，并討論了MTL的未來發展方向。

引言

人類可以同時學習多個任務，在這個學習過程中，人類可以使用在一個任務中學習到的知識來幫助學習另一個任務。例如，根據我們學習打網球和壁球的經驗，我們發現打網球的技巧可以幫助學習打壁球，反之亦然。多任務學習(Multi-Task learning, MTL)[1]是機器學習的一種學習范式，受人類這種學習能力的啟發，它的目標是共同學習多個相關的任務，使一個任務中包含的知識能夠被其他任務利用，從而提高手頭所有任務的泛化性能。

在其早期階段，MTL的一個重要動機是緩解數據稀疏問題，即每個任務都有有限數量的標記數據。在數據稀疏性問題中，每個任務中標記數據的數量不足以訓練出一個準確的學習器，而MTL則以數據增強的方式將所有任務中的標記數據進行聚合，從而為每個任務獲得更準確的學習器。從這個角度來看，MTL可以幫助重用已有的知識，降低學習任務的手工標注成本。當“大數據”時代在計算機視覺和自然語言處理(NLP)等領域到來時，人們發現，深度MTL模型比單任務模型具有更好的性能。MTL有效的一個原因是與單任務學習相比，它利用了更多來自不同學習任務的數據。有了更多的數據，MTL可以為多個任務學習到更健壯、更通用的表示形式和更強大的模型，從而更好地實現任務間的知識共享，提高每個任務的性能，降低每個任務的過擬合風險。

MTL與機器學習中的其他學習范式有關，包括遷移學習[2]、多標簽學習[3]和多輸出回歸。MTL的設置與遷移學習相似，但存在顯著差異。在MTL中，不同任務之間沒有區別，目標是提高所有任務的性能。而遷移學習是借助源任務來提高目標任務的性能，因此目標任務比源任務起著更重要的作用。總之，MTL對所有的任務一視同仁，但在遷移學習中目標任務最受關注。從知識流的角度來看，遷移學習中的知識轉移流是從源任務到目標任務，而在多任務學習中，任何一對任務之間都存在知識共享流，如圖1(a)所示。持續學習[4]是一個一個地學習任務，任務是有順序的，而MTL是將多個任務一起學習。在多標簽學習和多輸出回歸中，每個數據點都與多個標簽相關聯，這些標簽可以是分類的或數字的。如果我們把所有可能的標簽都當作一個任務，那么多標簽學習和多輸出回歸在某種意義上可以看作是多任務學習的一種特殊情況，不同的任務在訓練和測試階段總是共享相同的數據。一方面，這種多標簽學習和多輸出回歸的特點導致了與MTL不同的研究問題。例如，排名損失使得與數據點相關的標簽的分數(例如分類概率)大于沒有標簽的分數，可以用于多標簽學習，但它不適合MTL，因為不同的任務擁有不同的數據。另一方面，這種在多標簽學習和多輸出回歸中的特性在MTL問題中是無效的。例如，在2.7節中討論的一個MTL問題中，每個任務都是根據19個生物醫學特征預測患者帕金森病的癥狀評分，不同的患者/任務不應該共享生物醫學數據。總之，多標簽學習和多輸出回歸與圖1(b)所示的多任務學習是不同的，因此我們不會對多標簽學習和多輸出回歸的文獻進行綜述。此外，多視圖學習是機器學習的另一種學習范式，每個數據點與多個視圖相關聯，每個視圖由一組特征組成。雖然不同的視圖有不同的特征集，但是所有的視圖是一起學習同一個任務的，因此多視圖學習屬于具有多組特征的單任務學習，這與圖1(c)所示的MTL是不同的。

在過去的幾十年里，MTL在人工智能和機器學習領域引起了廣泛的關注。許多MTL模型已經被設計出來，并在其他領域得到了廣泛的應用。此外，對MTL的理論問題也進行了大量的分析。本文從算法建模、應用和理論分析三個方面對MTL進行了綜述。在算法建模方面，首先給出了MTL的定義，然后將不同的MTL算法分為5類: 特征學習方法，又可分為特征轉換與特征選擇方法、低秩方法、任務聚類方法、任務關系學習方法和分解方法。然后，我們討論了MTL與其他學習范式的結合，包括半監督學習、主動學習、無監督學習、強化學習、多視圖學習和圖形模型。為了處理大量的任務，我們回顧了在線、并行和分布式的MTL模型。對于高維空間中的數據，引入特征選擇、降維和特征哈希作為處理這些數據的重要工具。MTL作為一種很有前途的學習范式，在計算機視覺、生物信息學、健康信息學、語音、自然語言處理、web等領域有著廣泛的應用。從理論分析的角度，對MTL的相關工作進行回顧。最后，討論了MTL的未來發展方向。

基于深度學習的半監督學習(SSL)算法在醫學圖像分割方面取得了很有前途的結果，并可以通過利用未標記的數據減輕醫生昂貴的標注。然而，現有文獻中的大多數SSL算法都傾向于通過干擾網絡和/或數據來規約模型訓練。考慮到多/雙任務學習涉及到具有固有的預測擾動的各個級別的信息，我們在這項工作中提出了一個問題:我們能夠顯式地構建任務級別的正則化，而不是隱式地構建用于SSL的網絡和/或數據級別的擾動和轉換嗎?為了回答這個問題，我們首次提出了一個新的雙任務一致性半監督框架。具體地說，我們使用一個雙任務深度網絡來聯合預測一個像素級分割圖和一個幾何感知的目標集表示。通過可微任務轉換層將水平集表示轉換為近似分割映射。同時，我們在水平集導出的分割圖和直接預測的分割圖之間引入了一種雙任務一致性正則化，用于標記和未標記數據。在兩個公共數據集上的大量實驗表明，我們的方法可以通過合并未標記數據極大地提高性能。同時，我們的框架優于最先進的半監督醫學圖像分割方法。代碼可以在//github.com/Luoxd1996/DTC找到。

通過在終身學習中存儲舊知識來尋求提醒模型，是緩解災難性遺忘最有效的方法之一，即在轉向新任務時對先前知識的偏差遺忘。然而，在訓練新任務時，以往大多數基于預演的舊任務存在不可預測的域偏移問題。這是因為這些方法總是忽略兩個重要的因素。首先，新任務和舊任務之間的數據不平衡，使得舊任務的域容易移位。其次，所有任務之間的任務隔離會使領域向不可預測的方向移動;針對不可預測的領域遷移問題，本文提出多領域多任務排練，對新老任務進行并行、平等的訓練，打破任務之間的隔離狀態。具體地說，提出了一個兩級的角裕度損失模型，以促進類內/任務的緊湊性和類間/任務的差異，使模型避免領域混亂。此外，為了進一步解決舊任務的領域轉移問題，我們在記憶上提出了一個可選的情景蒸餾損失來錨定每個舊任務的知識。在基準數據集上的實驗驗證了該方法能夠有效地抑制不可預測的領域漂移。

//www.zhuanzhi.ai/paper/14cea5f6a54c9dafce7141871467aa0d

最近，終身學習在構建不斷積累和轉移知識以幫助未來學習的機器學習系統方面引起了關注。無監督主題建模廣泛用于從文檔集合中發現主題。然而，由于數據稀疏性，例如，在一個小的(短)文檔集合中，會產生不連貫的主題和次優的文檔表示，主題建模的應用具有挑戰性。為了解決這個問題，我們提出了一個神經主題建模的終身學習框架，它可以連續處理文檔集流，積累主題，并通過從多個來源的知識轉移來指導未來的主題建模任務，以更好地處理稀疏的數據。在終身學習過程中，我們特別共同研究:(1)終生共享生成同源性(潛在話題)以轉移先驗知識，(2)通過新穎的選擇性數據增強、聯合訓練和話題正則化方法最小化保留過去學習的災難性遺忘。在給定一個文檔集合流的情況下，我們應用所提出的終身神經主題建模(LNTM)框架，將三個稀疏文檔集合建模為未來任務，并通過perplexity、Topic coherence和information retrieval task量化，證明了性能的提高。