亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

元強化學習算法提供了一種數據驅動的方法來獲得快速適應許多具有不同獎勵或動態功能的任務的策略。然而，學習到的元策略通常只在它們被訓練的確切任務分布上有效，并在測試時間獎勵的分布變化或過渡動態的存在下很困難。本文為元強化學習算法開發了一個框架，能夠在任務空間的測試時分布變化下表現適當。我們的框架以一種適應分布魯棒性的方法為中心，它訓練一組元策略對不同級別的分布轉移具有魯棒性。當在可能發生變化的任務測試時分布上進行評估時，這使我們能夠選擇具有最適當魯棒性水平的元策略，并使用它來執行快速自適應。我們正式地展示了我們的框架如何允許改進分布位移下的遺憾，并實證地展示了它在廣泛分布位移下的模擬機器人問題上的有效性。

大多數最近的學習圖像表示的自監督方法集中于生成具有不變性的全局特征或生成一組局部特征。前者最適合于分類任務，后者最適合于檢測和分割任務。本文探討了學習局部特征和全局特征之間的基本權衡。提出了一種新的VICRegL方法，該方法同時學習良好的全局和局部特征，在保持良好的分類任務性能的同時，在檢測和分割任務上取得了優異的性能。具體地說，一個標準卷積網結構的兩個相同的分支被提供相同圖像的兩個不同的扭曲版本。VICReg準則應用于全局特征向量對。同時，VICReg準則應用于出現在最后一個池化層之前的局部特征向量對。如果兩個局部特征向量的l2距離小于閾值，或者它們的相對位置與兩個輸入圖像之間的已知幾何變換相一致，則它們會相互吸引。我們在線性分類和分割轉移任務上展示了強大的性能。代碼和經過預先訓練的模型可以在//github.com/facebookresearch/VICRegL上公開獲取。

現有的分布外(OOD)檢測方法通常以具有平衡類分布的訓練集為基準。然而，在實際應用中，訓練集通常具有長尾分布。在這項工作中，我們首先證明了現有的OOD檢測方法在訓練集為長尾分布時通常會出現顯著的性能下降。通過分析，我們認為這是因為模型很難將分布中的少數尾類樣本與真實的OOD樣本區分開來，使得尾類更容易被錯誤地檢測為OOD。為了解決這一問題，提出了部分和非對稱監督對比學習(Partial and Asymmetric Supervised contrast Learning, PASCL)，明確鼓勵模型區分尾部類內分布樣本和OOD樣本。為了進一步提高分布內分類精度，我們提出了輔助分支微調(Auxiliary Branch Finetuning)，它使用BN和分類層的兩個獨立分支分別進行異常檢測和分布內分類。直覺上，分布內異常數據和OOD異常數據具有不同的底層分布。我們的方法在CIFAR10-LT、CIFAR100-LT和ImageNet-LT上的異常檢測假陽性率(FPR)分別為1.29%、1.45%、0.69%，分布內分類準確率為3.24%、4.06%、7.89%。代碼和預訓練的模型可以在https: //github.com/amazon-research/上獲得。

視覺對話旨在回答基于對話歷史和圖像內容的多輪互動問題。現有方法要么單獨考慮答案排序和生成，要么僅通過兩個單獨的模型微弱地捕捉兩個任務之間的關系。在單一模型中共同學習排序和生成答案的通用框架的研究很少。在本文中，我們提出了一個基于對比學習的框架UTC，以統一和促進識別任務和生成任務在視覺對話中使用單一的模型。具體來說，考慮到之前學習范式的內在局限性，我們設計了兩種任務間對比損失，即情境對比損失和答案對比損失，使區分性任務和生成性任務相輔相成。這兩種互補的對比損失利用對話語境和目標答案作為錨點，從不同的角度提供表征學習信號。我們在VisDial v1.0數據集上評估我們提出的UTC，在那里，我們的方法在鑒別和生成任務上優于最先進的技術，并在Recall@1上超過2個絕對點。

//www.zhuanzhi.ai/paper/527537bf22a0260715026e0ea474fb5f

在本文中，我們提出參數對比學習(PaCo)來處理長尾識別。通過理論分析，我們發現監督對比損失在高頻類別上有偏置的傾向，從而增加了不平衡學習的難度。我們引入一組參數類學習中心，從優化的角度進行再平衡。進一步，我們分析了平衡設置下的PaCo損失。我們的分析表明，當更多的樣本被拉到相應的中心時，PaCo可以自適應地增強同類樣本的推近強度，并有利于較難的示例學習。長尾CIFAR、ImageNet、Places和iNaturalist 2018上的實驗顯示了長尾識別的新技術。在全ImageNet上，使用PaCo損失訓練的模型在各種ResNet骨干上超過了有監督的對比學習。我們的代碼可在//github.com/jiequancui/ Parametric-Contrastive-Learning.

從合成生物學到計算機架構，計算設計問題出現在許多環境中。在本文中，我們的目標是解決基于數據驅動模型的優化(MBO)問題，其中的目標是找到一個設計輸入，使一個未知的目標函數最大化，只提供訪問先前實驗的靜態數據集。這種數據驅動的優化過程是許多現實領域中唯一實用的方法，在這些領域中，主動數據收集是昂貴的(如優化蛋白質)或危險的(如優化飛機設計)。針對已知模型優化設計的典型MBO方法遭遇了分布轉移:很容易找到一種設計，它“愚弄”了模型，使其預測出高價值。為了克服這一點，我們提出了保守目標模型(COMs)，一種學習目標函數模型的方法，該模型下界的真實目標的實際值在非分布輸入外，并使用它進行優化。在結構上，COMs類似于用來克服對抗性例子的對抗性訓練方法。COM易于實現，并且在許多MBO問題上優于現有的一些方法，包括優化蛋白質序列、機器人形態、神經網絡權值和超導材料。

//www.zhuanzhi.ai/paper/eaa6ff747a559f00731e498e36ddb232

我們提出了一種新的參數化方案來解決在大型神經網絡上運用差分私有SGD所面臨的挑戰，這些挑戰包括1) 存儲單個梯度的巨大存儲成本，2) 附加的噪聲嚴重依賴于維數。具體地說，我們用兩個小維的梯度載波矩陣和一個殘差權矩陣來重新參數化每個權矩陣。我們認為，這樣的重新參數化保持向前/向后過程不變，同時使我們能夠在不計算梯度本身的情況下計算投影梯度。為了學習差分隱私，我們設計了重參數梯度擾動(RGP)，它擾亂梯度載體矩陣上的梯度，并從有噪聲的梯度中重建原始權重的更新。重要的是，我們使用歷史更新來尋找梯度載波矩陣，其最優性在線性回歸下得到嚴格證明，并通過深度學習任務得到經驗驗證。RGP顯著降低了內存成本并改進了實用程序。例如，我們首次能夠在BERT模型上應用差分隱私，并在e = 8的四個下游任務上實現了83.9%的平均精度，與非私有基準相比，損失在5%以內，但隱私泄漏風險要低得多。

//www.zhuanzhi.ai/paper/3daeb1dc335f94ac104faf7abb027f98

類不平衡數據的半監督學習雖然是一個現實的問題，但已經得到了研究。雖然現有的半監督學習(SSL)方法在少數類上表現不佳，但我們發現它們仍然在少數類上生成高精度的偽標簽。通過利用這一特性，在這項工作中，我們提出了類再平衡自我訓練(CReST)，這是一個簡單而有效的框架，用于改進現有的對類不平衡數據的SSL方法。CReST通過從一個未標記集中添加偽標記樣本擴展了一個標記集，迭代地重新訓練一個基線SSL模型，在該模型中，根據估計的類分布，從少數類中更頻繁地選擇偽標記樣本。我們還提出了一種漸進式分布對齊，以適應調整CReST+的再平衡強度。我們展示了CReST和CReST+在各種類不平衡的數據集上改進了最先進的SSL算法，并始終優于其他流行的再平衡方法。

//www.zhuanzhi.ai/paper/fdb3245caf8bded4d2ba340c2a9c64cc

為了從最能區分類的高維數據中學習內在的低維結構，我們提出了最大編碼率降低原理(MCR2)，這是一種信息理論度量，可以最大限度地提高整個數據集和每個類的編碼率差。明確了它與交叉熵、信息瓶頸、信息增益、壓縮學習和對比學習等現有框架的關系，為學習多樣性和有判別性表示提供了理論保障。該編碼率可以從簡并類子空間分布的有限樣本中精確地計算出來，并且可以統一地學習有監督、自監督和無監督三種情況下的本征表示。特別地，單獨使用該原理學習的表示比使用交叉熵學習的表示在分類中標記錯誤時具有更強的魯棒性，并且可以在自學習不變特征聚類混合數據方面產生最先進的結果。

//www.zhuanzhi.ai/paper/fb91343d453aad8707064021f94bb9de

基于語言模型的預訓練模型，如BERT，在不同的NLP任務中提供了顯著的收益。在本文中，我們研究了不同類型的基于自回歸模型(GPT-2)、自編碼器模型(BERT)和seq2seq模型(BART)等用于條件數據增強的預訓練transformer 模型。我們表明，將類標簽前置到文本序列提供了一種簡單而有效的方法來設置預訓練模型的條件，以便進行數據擴充。在三個分類基準上，預先訓練的Seq2Seq模型優于其他模型。此外，我們還探討了不同的基于預訓練模型的數據擴充在數據多樣性方面是如何不同的，以及這些方法如何很好地保存類標簽信息。