亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

學習適用于各種下游任務的通用時間序列表征是具有挑戰性但在實際應用中極具價值的。最近，研究人員嘗試利用自監著學習（SSCL）在計算機視覺（CV）和自然語言處理（NLP）中的成功來解決時間序列表征的問題。然而，由于時間序列的特殊時序特性，僅依賴于其他領域的經驗指導可能對時間序列無效，且難以適應多個下游任務。為此，我們審查了SSCL涉及的三個部分，包括1）設計正樣本對的增強方法，2）構建（困難的）負樣本對，以及3）設計SSCL損失函數。對于1）和2），我們發現不合適的正、負樣本對構建可能引入不適當的歸納偏見，既不能保留時序屬性，也不能提供足夠的判別特征。對于3），僅探索片段級或實例級的語義信息對于學習通用表征是不夠的。為解決上述問題，我們提出了一種名為TimesURL的新型自監著框架。具體來說，我們首先引入一種基于頻率-時序的增強方法，以保持時序屬性不變。然后，我們構建雙重“Universum”作為一種特殊的困難負樣本，以指導更好的對比學習。此外，我們引入時間重構作為與對比學習的聯合優化目標，以捕獲片段級和實例級信息。結果表明，TimesURL能夠學習高質量的通用表征，并在6種不同的下游任務中實現最先進的性能，包括短期和長期預測、插值、分類、異常檢測和遷移學習。

圖結構學習是一個成熟的問題，旨在優化適應特定圖數據集的圖結構，以幫助消息傳遞神經網絡（即GNN）產生有效且魯棒的節點嵌入。然而，現有模型的普遍限制在于基本的封閉世界假設：測試圖與訓練圖相同。這個前提要求對每個圖數據集獨立從頭開始訓練結構學習模型，導致計算成本過高，并可能出現嚴重的過擬合風險。為了緩解這些問題，本文探索了一個新的方向，即學習一個通用的結構學習模型，可以在開放世界中推廣到各種圖數據集。我們首先介紹這個新穎問題設置的數學定義，并從概率數據生成的角度描述模型的構建。然后，我們設計了一個通用框架，協調一個圖共享的結構學習器和多個圖特定的GNN，以捕捉跨數據集的可推廣的最佳消息傳遞拓撲模式。經過良好訓練的結構學習器可以直接為未見過的目標圖生成適應性結構，而無需任何微調。在不同的數據集和各種具有挑戰性的跨圖泛化協議中，我們的實驗證明，即使在目標圖上沒有進行訓練，所提出的模型：i）顯著優于在輸入（非優化）拓撲上訓練的表達能力強大的GNN；ii）令人驚訝地與獨立優化特定目標圖的最先進模型表現相當，并且在目標圖上訓練的速度明顯加快了幾個數量級。 //arxiv.org/abs/2306.11264

圖神經網絡(GNNs)在許多圖學習任務中表現出令人印象深刻的性能。然而，當輸入的圖數據信息弱，即結構不完整、特征不完整和標簽不足時，GNNs的性能可能會下降。大多數先前的研究試圖從具有特定類型弱信息的圖數據中學習，但在處理各種數據缺陷并相互影響的場景時，這些研究效果不佳。為了填補這個空白，我們在這篇論文中，試圖針對弱信息圖學習（GLWI）問題，開發一種有效且原則性的方法。基于我們的實證分析，我們得出了解決GLWI問題的兩個設計重點，即使GNNs能夠進行長距離傳播，并允許信息傳播到那些與最大連接組件隔離的漂泊節點。據此，我們提出了D2PT，一種雙通道GNN框架，它不僅在具有不完整結構的輸入圖上執行長距離信息傳播，而且還在編碼全局語義相似性的全局圖上執行信息傳播。我們進一步開發了一個原型對比對齊算法，它將從兩個通道中學到的類級原型進行對齊，以便兩種不同的信息傳播過程可以相互受益，最終學習的模型可以很好地處理GLWI問題。在八個真實世界的基準數據集上的大量實驗表明，我們提出的方法在各種GLWI場景中都表現出了有效性和效率。

類增量學習(class incremental learning, CIL)旨在在類別數量逐步增加的情況下訓練分類模型。CIL模型面臨的一個內在挑戰是穩定性與可塑性的權衡，即CIL模型既要保持穩定性以保留舊知識，又要保持可塑性以吸收新知識。然而，現有的CIL模型都不能在不同的數據接收設置中實現最佳權衡——通常，從一半開始訓練(TFH)設置需要更大的穩定性，但從頭開始訓練(TFS)需要更大的可塑性**。設計了一種在線學習方法，可以在不知道先驗設置的情況下自適應地優化權衡。**首先引入了影響權衡的關鍵超參數，例如知識蒸餾(KD)損失權重、學習率和分類器類型。然后，將超參數優化過程建模為一個在線馬爾可夫決策過程(MDP)問題，并提出了一種具體的算法來求解該問題。本文采用局部估計獎勵和經典bandit算法Exp3[4]來解決將在線MDP方法應用于CIL協議時存在的問題。所提出方法在TFH和TFS設置中不斷改進表現最好的CIL方法，例如，與最先進的[23]相比，在ImageNet-Full上將TFH和TFS的平均精度提高了2.2個百分點。

//www.zhuanzhi.ai/paper/1aa5db12a9fd06a275ad0b6e89be62bb

基于擴散的生成模型在生成高質量的圖像方面非常有效，生成的樣本在某些指標下常常超過其他模型生成的樣本。然而，這些模型的一個顯著特征是，它們通常需要很長的采樣鏈來生成高保真圖像。這不僅帶來了采樣時間的挑戰，也帶來了通過這些鏈反向傳播的固有困難，以完成諸如模型反演等任務，即近似地找到生成已知圖像的潛在狀態。在本文中，我們從一個不同的角度來看待擴散模型，即一個(深度)平衡(DEQ)不動點模型。具體來說，我們擴展了最近的去噪擴散隱式模型(DDIM;Song et al. 2020)，并將整個采樣鏈建模為一個聯合的多元不動點系統。這種設置提供了擴散模型和平衡模型的優雅統一，并顯示出1)單幅圖像采樣的好處，因為它用并行采樣過程取代了典型的全串行采樣過程;2)模型反演，我們可以利用DEQ設置中的快速梯度，更快地找到生成給定圖像的噪聲。該方法也是正交的，因此與用于減少采樣時間或改進模型反演的其他方法互補。我們在多個數據集上演示了我們的方法的強大性能，包括CIFAR10、CelebA和LSUN Bedrooms和Churches。

最近關于3D語義分割的工作提出利用圖像和點云之間的協同作用，通過一個專用的網絡處理每個模態，并將學習到的2D特征投影到3D點上。合并大規模點云和圖像提出了幾個挑戰，如構建點和像素之間的映射，以及在多個視圖之間聚合特征。目前的方法需要網格重建或專門的傳感器來恢復遮擋，并使用啟發式選擇和聚集可用的圖像。相反，我們提出了一個端到端可訓練的多視圖聚合模型，利用3D點的觀看條件來合并在任意位置拍攝的圖像的特征。我們的方法可以結合標準的2D和3D網絡，在不需要著色、網格化或真實深度地圖的情況下，優于彩色點云和混合2D/3D網絡上運行的3D模型。我們在S3DIS (74.7 mIoU 6-Fold)和KITTI360 (58.3 mIoU)上設置了大規模室內外語義分割的最新技術。我們的流程可以訪問 https: //github.com/drprojects/DeepViewAgg，只需要原始3D掃描和一組圖像和姿勢。

圖神經網絡(GNNs)被廣泛用于學習一種強大的圖結構數據表示。最近的研究表明，將知識從自監督任務遷移到下游任務可以進一步改善圖的表示。然而，自監督任務與下游任務在優化目標和訓練數據上存在內在的差距。傳統的預訓練方法可能對知識遷移不夠有效，因為它們不能適應下游任務。為了解決這一問題，我們提出了一種新的遷移學習范式，該范式可以有效地將自監督任務作為輔助任務來幫助目標任務。在微調階段，我們的方法將不同的輔助任務與目標任務進行自適應的選擇和組合。我們設計了一個自適應輔助損失加權模型，通過量化輔助任務與目標任務之間的一致性來學習輔助任務的權重。此外，我們通過元學習來學習權重模型。我們的方法可以運用于各種遷移學習方法，它不僅在多任務學習中有很好的表現，而且在預訓練和微調中也有很好的表現。在多個下游任務上的綜合實驗表明，所提出的方法能夠有效地將輔助任務與目標任務相結合，與現有的方法相比，顯著提高了性能。

//www.zhuanzhi.ai/paper/852db932624d6feeb7bbd32e67772b27

當測試數據和訓練數據的分布相似時，基于深度神經網絡的方法已經取得了驚人的性能，但如果沒有相似的分布，則性能可能表現很差。因此，消除訓練和測試數據之間分布變化的影響對于構建具有良好性能的深度模型至關重要。傳統的方法要么假設訓練數據已知的異質性(例如域標簽)，要么假設不同域的容量近似相等。在本文中，我們考慮一個更具有挑戰性的情況，即上述兩種假設都不成立。為了解決這一問題，我們提出通過學習訓練樣本的權重來消除特征之間的依賴關系，這有助于深度模型擺脫虛假的相關性，從而更加關注區分性特征和標簽之間的真實聯系。大量的實驗清楚地證明了我們的方法在多個分布泛化基準上的有效性，與最先進的同行相比。通過大量的分布泛化基準實驗，包括PACS、VLCS、mist - m和NICO，我們證明了該方法的有效性，并與最新的同類方法進行了比較。

//www.zhuanzhi.ai/paper/dd9a8778840b02be8c81aebac3c94263

現代機器學習擅長于從固定的數據集和固定的環境中訓練出強大的模型，常常超過人類的能力。然而，這些模型未能模擬人類的學習過程，而人類的學習過程是有效的、穩健的，并且能夠從非平穩世界的連續經驗中逐步學習。對于這一局限性的見解可以從神經網絡優化的本質中獲得，這意味著持續學習技術可以從根本上提高深度學習，并打開了新的應用領域的大門。持續學習的有前途的方法可以在最細粒度的層次上找到，使用基于梯度的方法，也可以在體系結構層次上找到，使用模塊化和基于內存的方法。我們也認為元學習是一個潛在的重要方向。

人工智能研究在過去的幾個月中取得了巨大的進步，但它主要依賴于固定的數據集和固定的環境。持續學習是一個日益相關的研究領域，它表明人工系統可能像生物系統一樣，從連續不斷的相關數據流中有序地學習。在目前的回顧中，我們將持續學習與神經網絡的學習動力學聯系起來，強調它在穩步提高數據效率方面的潛力。我們進一步考慮了近年來出現的許多受生物學啟發的新方法，重點關注那些利用正規化、模塊化、記憶和元學習的方法，并強調了一些最有前途和最有影響的方向。

世界不是靜止不動的

人工智能成功的一個常見基準是模仿人類學習的能力。我們測量人類識別圖像、玩游戲和駕駛汽車的能力，舉幾個例子，然后開發機器學習模型，如果有足夠的訓練數據，它可以匹配或超過這些能力。這種范式把重點放在最終結果上，而不是學習過程上，并且忽略了人類學習的一個關鍵特征:它對不斷變化的任務和連續的經驗是魯棒的。人類以這種方式學習也許并不奇怪，畢竟，時間是不可逆的，世界是不穩定的(見詞匯表)，所以人類的學習已經進化到在動態學習環境中茁壯成長。然而，這種魯棒性與最強大的現代機器學習方法形成了鮮明的對比，后者只有在數據經過仔細的洗牌、平衡和均質后才能表現良好。這些模型不僅表現不佳，而且在某些情況下，它們會完全失敗，或者在早期學習的任務上遭遇快速的性能下降，即所謂的災難性遺忘。

基于生物系統持續學習基礎

對自然世界及其智能物種的研究經常與人工智能研究交叉，包括與持續學習有關的方面[1]。生物學為在復雜環境中成功地持續學習提供了存在證據，也暗示了成功方法的設計原則和權衡。有多種機制使生物系統能夠適應不斷變化的環境，而不固執或遺忘。因此，在本節中，我們將通過類比來介紹四種持續學習模式，并將每種方法的詳細討論留到后面的章節中。此外，可以通過描述它們的規范模型來簡要地描述這些方法，如圖1(關鍵圖)所示。

持續學習的定義

持續學習的問題通常是由順序訓練協議和解決方案所期望的特性來定義的。與靜態數據集或環境的普通機器學習設置相反，持續學習設置明確地關注非平穩或變化的環境，通常被劃分為需要按順序完成的一組任務。這種設置可能在任務轉換(平滑或離散)、任務長度和重復、任務類型(如無監督、監督或強化學習)方面有所不同，或者甚至可能沒有定義明確的任務[9-11]。與課程學習相比[12,13]，學習者不能控制任務的順序。

支持現代機器學習的獨立同分布假設

神經網絡大量利用現代技術來并行計算，同時考慮大量數據;事實上，這種易于伸縮的特性使得它們在過去的十年中成為了語音、視覺和語言應用程序的主流方法。 在典型的學習設置中，目標是通過設置網絡的參數來最小化一些損失函數，例如真輸出和預測輸出之間的誤差。基于梯度的學習,最有效的和廣泛使用的范式,是一種迭代算法,在每一次迭代,使一個小變化的參數,以減少損失(更詳細的解釋,見盒2)。這條規則的機制在拔河的動態結果,其中每個數據樣本正試圖拉動每個參數更大或更小。通過平均梯度，我們因此創建了一個拔河游戲，其中應用于每個參數的更新(因為它是正的或負的)揭示了哪個數據樣本贏了或輸了。在許多優化步驟上組合許多拔河式更新，可以進行學習(圖3)。

基于梯度的解決方案

由前面描述的拔河式學習動態驅動，一種有前途的方法是直接調節不同任務的梯度。這不僅是優化問題的核心，而且是由生物大腦[3]中突觸鞏固的研究激發的。一種方法是迫使梯度與之前學習任務的梯度保持一致[19,20]，消除潛在干擾。這些方法在其他環境中也有好處，例如，在多任務學習中，它們有可能在目標沖突的情況下提高學習效率[21-23]。

模塊化架構

模塊化的神經網絡結構是一種自然有效的解決持續學習中的干擾和災難性遺忘問題的方法。模塊化提供了一個折衷方案，即使用一個容易遺忘的單一單片網絡，以及為每個任務使用獨立的網絡，這既可以防止災難性遺忘，也可以防止任務之間的轉移(參見圖1C的模塊化架構說明)。模塊化在生物系統中也很明顯，它支持大腦區域的功能專門化。

人工學習系統的記憶

基于梯度和模塊化的方法可能更適合短期的持續學習，而不是長期的記憶。基于梯度的方法不能防止任意長任務序列的遺忘，而模塊化方法可以在長時間尺度上保存知識，它們可能在神經網絡能力方面達到實際的極限。考慮一下這樣一個具有挑戰性的場景:在幾個月的時間里，把食物藏在1000個不同的地方，然后在更多的食物消失后，正確地找到每一個食物。這個特征是每個冬天都會出現的，比如夜鶯、松鴉和鴉類[57]。通過調整一個簡單的神經網絡的參數來保存存儲食物的順序經驗既具有挑戰性又效率低下。一個更可伸縮的策略是使用專用的讀寫內存對空間位置進行編碼。

元學習:發現持續學習的歸納偏差

到目前為止所討論的所有解決方案都規定了用于持續學習的手工設計的機制或架構，歸納偏差。每種歸納偏差都在需求(如良好的知識保留與基于記憶的方法中的正向遷移)之間達成了不同的權衡。值得考慮的是，從數據中學習解決方案，而不是依靠人類的獨創性來設計它，是否能夠實現更好的權衡。歷史上，許多元學習或學習-學習方法已經證明，解決方案可以通過自動學習歸納偏差(如架構、數據和學習參數)來改進，否則需要手工設計(圖1E) 。

結論和未來方向

機器學習研究人員經常指出，人類具有快速學習和概括(例如，從幾個例子中推斷出一個模式)的非凡能力。然而，我們并不經常重新評價人類在一生的教育和經歷中不斷學習的能力，盡管正是這種能力使人類在科學、藝術和工業上取得成就。這篇文章不僅試圖強調持續學習的重要性，而且還暴露了現代神經網絡在這方面的局限性，特別是導致效率低下、基于梯度的拔河的信用分配問題。

通過對這一空間的調查，我們發現了一種學習模式，如果擴展到更有雄心的領域，它就有可能發揮真正的影響力。毫不奇怪，這些范式都有很強的平行神經科學和生物系統。基于梯度的方法直接修改了神經網絡的操作時間，并被證明可以減少災難性遺忘。

模塊化架構為干擾和災難性遺忘提供了實用的解決方案，同時通過技能和知識的層次重組實現面向遷移。端到端記憶模型可以成為長時間學習的可擴展解決方案，元學習方法可以超越手工設計的算法和架構。有了這些潛在的積極影響，也必須認識到部署不斷變化的機器學習模型所涉及的風險，因為任何安全和預期行為的初始評估都不能輕易地永久保證。然而，通過提高學習算法的長期可靠性，以及通過開發確保某些規則或邊界不被違反的架構，持續學習解決方案可以降低這些風險。

情感自動識別是一個活躍的研究課題，具有廣泛的應用前景。由于人工標注成本高和標簽不可避免的模糊性，情感識別數據集的發展在規模和質量上都受到了限制。因此，如何在有限的數據資源下建立有效的模型是關鍵挑戰之一。之前的研究已經探索了不同的方法來應對這一挑戰，包括數據增強、遷移學習和半監督學習等。然而，這些現有方法的缺點包括:訓練不穩定、遷移過程中的性能損失大、或改進幅度小。

在本研究中，我們提出了一種基于跨模態分布匹配的半監督多模態情感識別模型，該模型在假設跨模態內部情緒狀態在話語層面一致的前提下，利用大量的未標記數據來增強模型訓練。

我們在兩個基準數據集IEMOCAP和MELD上進行了廣泛的實驗來評估所提出的模型。實驗結果表明，該半監督學習模型能夠有效地利用未標記數據，并結合多種模態來提高情緒識別性能，在相同條件下優于其他先進的方法。與現有方法相比，該模型還利用了說話者和交互上下文等附加的輔助信息，從而達到了競爭能力。