亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

會話情緒識別(ERC)的目標是檢測每個話語的情緒標簽。最近的研究已經證明，以有意義的順序輸入訓練實例，而不是隨機考慮它們，可以提高模型的性能，基于此，我們提出了一個ercorient混合課程學習框架。我們的框架包括兩個課程:(1)對話水平課程(CC);(2)話語水平課程(UC)。在CC中，我們基于對話中的“情感轉移”頻率構建難度測量器，然后根據難度測量器返回的難度分數將對話安排在“易到難”模式中。UC則從情緒相似度的角度來實現，逐步增強了模型識別困惑情緒的能力。在提出的模型無關的混合課程學習策略下，我們觀察到現有的各種ERC模型的顯著性能提升，并且我們能夠在四個公共ERC數據集上實現新的最先進的結果。

//www.zhuanzhi.ai/paper/99e93cf8c4fdca76e734c63a16d18e94

本文提出了一種基于無監督學習的視頻目標分割方法。與之前的工作不同，我們的公式允許在完全卷積的情況下直接學習密集特征表示。我們依靠統一的網格采樣來提取一組錨點，并訓練我們的模型來在視頻間和視頻內消除它們之間的歧義。然而，訓練這樣一個模型的樸素方案會得到一個退化解。我們提出了一種簡單的正則化方案來防止這種情況，該方案適應了分割任務對相似變換的等方差特性。我們的訓練目標實現高效，并表現出快速的訓練趨同。在已建立的VOS基準上，我們的方法超過了以前工作的分割精度，盡管使用的訓練數據和計算能力明顯更少。

//www.zhuanzhi.ai/paper/0ef8bdd09f3e46584b83f6236ca799fb

我們考慮發現K個相關高斯有向無環圖(DAG)的問題，其中涉及的圖結構共享一個一致的因果順序和稀疏的支持聯合。在多任務學習環境下，我們提出一種l1/l2-正則化極大似然估計(MLE)來學習K個線性結構方程模型。我們從理論上證明，通過在相關任務中利用數據，聯合估計器可以獲得比單獨估計更好的恢復因果順序(或拓撲順序)的樣本復雜度。此外，聯合估計器還可以將不可識別的DAG與一些可識別的DAG一起估計，從而恢復不可識別的DAG。最后，我們的分析也顯示了結構的聯合支持恢復的一致性。為了實現，我們設計了一個連續優化問題，它的優化器與聯合估計器相同，可以用迭代算法有效地逼近。通過實驗驗證了理論分析和聯合估計的有效性。

//www.zhuanzhi.ai/paper/b3305f7188ba3f69e3025383d906f503

現代神經網絡體系結構可以利用大量的數據來很好地泛化訓練分布。然而，對于從看不見的但相關的分布中提取的數據，它們的系統泛化能力較差，這需要組合推理和知識重用。在這項工作中，我們提出了神經解釋器，這是一種將自注意網絡中的推理分解為一個模塊系統的架構，我們稱之為函數。模型的輸入以端到端學習的方式通過一系列函數進行路由。該體系結構可以靈活地沿寬度和深度組合計算，易于訓練后的能力擴展。為了證明神經解釋器的通用性，我們在兩個不同的環境中評估它: 圖像分類和視覺抽象推理。在前者中，我們證明了神經解釋器在使用更少參數的情況下，與視覺transformer 的表現相當，同時可以以樣本有效的方式轉移到新任務中。在后者中，我們發現神經解釋器在系統概括方面與最先進的技術相比具有競爭力。

//www.zhuanzhi.ai/paper/2bc15eecd32f4070c53c2f1346feaddd

在為許多現實世界的問題指定獎勵方面的困難導致人們越來越關注從人的反饋中學習獎勵，比如演示。然而，通常有許多不同的獎勵功能來解釋人類的反饋，這讓智能體不確定什么是真正的獎勵功能。雖然大多數策略優化方法通過優化預期性能來處理這種不確定性，但許多應用需要規避風險行為。我們推導了一種新的策略梯度式魯棒優化方法PG-BROIL，它優化了平衡預期性能和風險的軟魯棒目標。據我們所知，PG-BROIL是第一個對獎勵假設分布魯棒的策略優化算法，該假設可以擴展到連續的MDPs。結果表明，PG-BROIL可以產生一系列從風險中性到風險厭惡的行為，并通過對沖不確定性從模糊的演示中學習，而不是尋求唯一識別演示者的獎勵功能時，表現優于最先進的模仿學習算法。

//www.zhuanzhi.ai/paper/a367014851df7b705e67adc94da69694

**從簡單的樣本到困難的樣本，以一種有意義的順序，使用課程學習可以提供比基于隨機數據變換的標準訓練方法更好的性能，而不需要額外的計算成本。**課程學習策略已成功地應用于機器學習的各個領域，廣泛的任務。然而，必須找到一種方法來對樣本從容易到難進行排序，以及正確的節奏函數來引入更難的數據，這可能會限制課程方法的使用。在本綜述中，我們展示了這些限制是如何在文獻中被處理的，并且我們為機器學習中的各種任務提供了不同的課程學習實例。我們根據不同的分類標準，手工構建了一個多角度的課程學習方法分類。我們進一步使用凝聚聚類算法建立課程學習方法的層次樹，將發現的聚類與我們的分類方法聯系起來。最后，我們對未來的工作提出了一些有趣的方向。

//www.zhuanzhi.ai/paper/737037858f92a59732f06559b38cfc15

背景和動機。深度神經網絡已經在各種各樣的任務成為最先進的方法，從對象識別圖像[1]，[2]，[3]，[4]和醫學成像[5]，[11]0，[11]1，[11]3到文本分類[11]2，[10]，[11]，[12]和語音識別[13]，[14]。這一研究領域的主要焦點是構建越來越深入的神經體系結構，這是最近性能改進的主要驅動力。例如，Krizhevsky等人的CNN模型[1]在只有8層結構的ImageNet[15]上達到了15.4%的top-5誤差，而最近的ResNet模型[4]達到了3.6%的top-5誤差，有152層。在過去的幾年里，CNN的架構已經進化到可以容納更多的卷積層，減少濾波器的尺寸，甚至消除完全連接的層，相比之下，人們對改進訓練過程的關注較少。上面提到的最先進的神經模型的一個重要限制是在訓練過程中以隨機順序考慮示例。事實上，訓練通常是用小批隨機梯度下降的某種變體來進行的，每個小批中的例子是隨機選擇的。

既然神經網絡的架構是受到人類大腦的啟發，那么我們似乎可以合理地認為，學習過程也應該受到人類學習方式的啟發。與機器通常接受的訓練方式的一個本質區別是，人類學習基本(簡單)概念的時間較早，學習高級(困難)概念的時間較晚。這基本上反映在世界上所有學校系統所教授的課程中，因為當例子不是隨機呈現，而是按照有意義的順序組織起來時，人類學習得更好。使用類似的策略訓練機器學習模型，我們可以實現兩個重要的好處: (i) 提高訓練過程的收斂速度和(ii) 更好的準確性。Elman[16]對這一方向進行了初步研究。據我們所知，Bengio等人[17]是第一個在機器學習的背景下形成易-難訓練策略的人，并提出了課程學習(CL)范式。這一開創性的工作激發了許多研究人員在各種應用領域研究課程學習策略，如弱監督對象定位[18]，[19]，[20]，對象檢測[21]，[22]，[23]，[24]和神經機器翻譯[25]，[26]，[27]，[18]0等。這些研究的實證結果表明，用課程學習取代基于隨機小批量抽樣的傳統訓練有明顯的好處。盡管課程學習在多個領域都取得了一致的成功，但這種訓練策略并沒有被主流作品所采用。這一事實促使我們撰寫了這篇關于課程學習方法的綜述，以提高課程學習方法的普及程度。另一方面，研究人員提出了相反的策略，強調更難的例子，如硬樣例挖掘(HEM)[29]，[30]，[31]，[32]或反課程[33]，[34]，在特定條件下顯示出改善的結果。

貢獻。我們的第一個貢獻是將現有的課程學習方法正式化。這使我們能夠定義課程學習的一般形式。從理論上講，我們將課程學習與任何機器學習方法的四個主要組成部分聯系起來:數據、模型、任務和性能度量。我們觀察到，課程學習可以應用于這些組成部分中的每一個，所有這些課程形式都有一個與損失函數平滑相關的聯合解釋。在此基礎上，結合數據類型、任務、課程策略、排名標準和課程安排的正交分析視角，對課程學習方法進行了分類。我們用自動構建的課程方法層次樹來驗證人工構建的分類方法。在很大程度上，層次樹確認了我們的分類，盡管它也提供了一些新的視角。在收集關于課程學習和定義課程學習方法分類的工作的同時，我們的綜述也旨在展示課程學習的優勢。因此，我們最后的貢獻是在主流工作中提倡課程學習。

Improved Analysis of Clipping Algorithms for Non-convex Optimization

梯度裁剪在深度神經網絡訓練中應用廣泛，部分原因是其在解決梯度爆炸問題上的實用性。最近，Zhang等人[2020a]通過引入一個新的假設(L0, L1)-平滑性，證明剪切(隨機)梯度下降(GD)比普通的GD/SGD收斂得更快，該假設表征了深度神經網絡中通常遇到的梯度劇烈波動。然而，它們在問題相關參數上的迭代復雜性是相當悲觀的，并且裁剪與其他關鍵技術(如動量加速)相結合的理論證明仍然缺乏。在本文中，我們提出了一個研究剪切算法的一般框架來彌補這一差距，該框架也考慮了動量法。我們提供了框架在確定性和隨機設置的收斂性分析，并通過比較它們與現有的下界來證明我們的結果的緊密性。我們的結果表明，剪裁方法的效率不會退化，即使在景觀的高度非光滑的區域。實驗證明了基于裁剪的方法在深度學習任務中的優越性。

//arxiv.org/abs/2010.02519

為了從最能區分類的高維數據中學習內在的低維結構，我們提出了最大編碼率降低原理(MCR2)，這是一種信息理論度量，可以最大限度地提高整個數據集和每個類的編碼率差。明確了它與交叉熵、信息瓶頸、信息增益、壓縮學習和對比學習等現有框架的關系，為學習多樣性和有判別性表示提供了理論保障。該編碼率可以從簡并類子空間分布的有限樣本中精確地計算出來，并且可以統一地學習有監督、自監督和無監督三種情況下的本征表示。特別地，單獨使用該原理學習的表示比使用交叉熵學習的表示在分類中標記錯誤時具有更強的魯棒性，并且可以在自學習不變特征聚類混合數據方面產生最先進的結果。

//www.zhuanzhi.ai/paper/fb91343d453aad8707064021f94bb9de

題目： Laplacian Regularized Few-Shot Learning

簡介：

我們為小樣本學習提出了一個拉普拉斯正則化推斷。給定從基類中學習到的任何特征嵌入，我們將包含兩個項的二次二進制賦值函數最小化：（1）將查詢樣本分配給最近的類原型的一元項，以及（2）鼓勵附近查詢樣本成對使用的成對拉普拉斯項具有一致的標簽。我們的推論不會重新訓練基本模型，并且可以將其視為查詢集的圖形聚類，但要受到支持集的監督約束。我們導出了函數松弛的計算有效邊界優化器，該函數在保證收斂的同時為每個查詢樣本計算獨立（并行）更新。在基礎類上進行簡單的交叉熵訓練，并且沒有復雜的元學習策略后，我們對五個基準進行了全面的實驗。我們的LaplacianShot在不同模型，設置和數據集上具有顯著優勢，始終優于最新方法。此外，我們的歸納推理非常快，其計算時間接近于歸納推理，可用于大規模的一次性任務。

小樣本學習是計算機視覺中的一項基本任務，它帶來了減輕對詳盡標記數據需求的希望。到目前為止，大多數小樣本學習方法都集中在日益復雜的神經特征提取器和分類器適應策略，以及任務定義本身的細化。在這篇論文中，我們探討了一個假設，即一個簡單的基于類協方差的距離度量，即馬氏距離，被采用到一個最先進的小樣本學習方法(CNAPS)中，它本身可以導致顯著的性能改進。我們還發現，學習自適應特征提取器是可能的，它允許從非常少的樣本中對該度量所需的高維特征協方差進行有用的估計。我們的工作結果是一個新的“簡單的CNAPS”架構，它比CNAPS少了9.2%的可訓練參數，并且在標準的小樣本圖像分類基準數據集上比現有的技術水平高了6.1%。