亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在現實世界中，存在許多難以用數學方法指定的約束條件。然而，對于強化學習(RL)的現實部署來說，RL agent意識到這些約束條件是至關重要的，這樣它們才能安全地行動。在這項工作中，我們考慮了學習約束的問題，從一個遵守約束的行為的示范。我們通過實驗驗證了我們的方法，并證明了我們的框架能夠成功地學習agent所尊重的最有可能的約束。我們進一步證明，這些習得的約束是可轉移到新個體的，這些新個體可能具有不同的形態和/或獎賞功能。在這方面，之前的工作要么主要局限于表格(離散)設置、特定類型的約束，要么假設環境的過渡動力學。相比之下，我們的框架能夠在完全無模型的環境中學習高維中的任意文本{馬爾可夫}約束。代碼可在:\url{//github.com/shehryar-malik/icrl}。

對抗性例子的威脅激發了訓練可靠的魯棒神經網絡的工作，以便在推理時有效地驗證局部魯棒性。我們形式化了全局魯棒的概念，它捕獲了在線局部魯棒認證的操作特性，同時為魯棒訓練提供了一個自然學習目標。我們證明，通過將有效的全局Lipschitz邊界合并到網絡中，通過構建達到最先進的可驗證精度的可靠模型，廣泛使用的體系結構可以很容易地適應這一目標。值得注意的是，與最近的認證訓練方法相比，這種方法需要更少的時間和記憶，并且在在線認證點時成本可以忽略不計;例如，我們的評估表明，在大約幾小時內訓練一個大型魯棒的Tiny-Imagenet模型是可能的。我們的模型有效地利用了便宜的全局Lipschitz邊界來進行實時認證，盡管之前的建議是為了良好的性能需要更緊密的局部邊界;我們假設這是可能的，因為我們的模型經過專門訓練，以實現更緊密的全局邊界。也就是說，我們證明了對于給定的數據集，最大可實現的可驗證精度不能通過使用局部邊界來提高。

//arxiv.org/abs/2102.08452

本文研究了無監督圖表示學習，這在許多任務中至關重要，如藥物和材料中分子特性預測。現有方法主要側重于保留不同圖實例之間的局部相似性，但是沒有考慮整個數據集的全局語義結構。在本文中，作者提出了一個統一的框架，GraphLoG，用于自監督的全圖表示學習。

具體來說，除了局部相似性之外，GraphLoG 還引入了層次原型來捕獲全局語義。進一步提出了一種有效的在線期望最大化 (EM) 算法來學習模型。本文評估的方法是通過在未標記圖預訓練，然后對下游任務進行微調來進行。對化學和生物基準數據集的大量實驗證明了所提出方法的有效性。

傳統的無監督多源域適應（Domain Adaptation）方法假設所有源域都可以直接訪問。然而，該假設忽略了隱私保護政策，即所有數據和計算都必須在本地進行。在隱私保護要求下進行域適應存在三個挑戰：首先，最小化域間距離需獲取源域和目標域的數據并進行成對計算，而源域數據本地存儲，不可訪問。其次，通信成本和隱私安全限制了現有域適應方法的應用，例如域對抗訓練。最后，由于無法鑒別源域數據質量，更易出現不相關或惡意的源域，從而導致負遷移。為解決上述問題，我們提出一種滿足隱私保護要求的去中心化無監督域適應范式，稱為基于知識蒸餾的去中心化域適應（KD3A），通過對來自多個源域的模型進行知識蒸餾來進行知識遷移。大量實驗表明，KD3A顯著優于其他前沿域適應方法。此外，與其他去中心化的域適應方法相比，KD3A 對負遷移具有魯棒性，并可將通信成本降低100倍。

//www.zhuanzhi.ai/paper/beaaa5a9921f38b2a06d5

弱監督學習是一種有效的機器學習方法，是當前機器學習研究的熱門話題，它可以有效減少標注數據所需的人力與時間。該論文提出了一種新穎的基于相似置信度學習的算法，該算法建立了無需真實標簽，僅利用成對的無標簽樣本以及它們之間的相似度構造分類風險無偏估計量，并從理論上證明了該方法的概率收斂誤差上界。在大數據時代標簽缺失的情況下，對提高數據利用效率方面有著十分重要的意義。

//arxiv.org/abs/2102.06879

在不依賴下游任務的情況下評估學習表征的質量仍然是表示學習的挑戰之一。在這項工作中，我們提出幾何成分分析(GeomCA)算法，評估表示空間的幾何和拓撲性質。GeomCA可以應用于任何維度的表示，獨立于生成它們的模型。我們通過分析從各種場景中獲得的表征來證明其適用性，如對比學習模型、生成模型和監督學習模型。

//www.zhuanzhi.ai/paper/efa6de0f034d485bbb30b2a45947ea18

學生作者：王希梅，高敬涵

//www.zhuanzhi.ai/paper/2d828976f615c8c8bf691f9235b05fc1

摘要：大規模標記數據集推動深度學習獲得廣泛應用，但在現實場景中收集足量的標記數據往往耗時耗力。為了降低對標記數據的需求，半監督學習側重于同時探索標記和未標記數據，而遷移學習旨在將預訓練模型微調到目標數據中。然而，從頭訓練的半監督自訓練模型容易被錯誤的偽標簽所誤導，而僅僅挖掘有限標記數據的遷移學習方法則面臨模型漂移的挑戰。為了實現數據高效的深度學習，本文提出的Self-Tuning方法設計了一種新的“偽標簽組對比”機制，將標記和未標記數據的探索與預訓練模型的遷移統一起來。在多個基準數據集中，Self-Tuning的性能取得大幅提升，例如，在標簽比例為15%的Stanford Cars中，Self-Tuning相較標準fine-tuning獲得了翻倍的準確率。

arxiv鏈接：

Adaptive Consistency Regularization for Semi-Supervised Transfer Learning Abulikemu Abuduweili1,2*, Xingjian Li1,3? , Humphrey Shi2? , Cheng-Zhong Xu3 , Dejing Dou1?

雖然最近關于半監督學習的研究在利用標記和未標記數據方面取得了顯著進展，但大多數研究都假定模型的基本設置是隨機初始化的。在這項工作中，我們將半監督學習和遷移學習結合起來，從而形成一個更實用和更具競爭力的范式，該范式可以利用來自源領域的強大的預訓練模型以及目標領域的標記/未標記數據。更好地利用pre-trained權重和標記的價值目標的例子,我們引入自適應一致性互補正規化,由兩部分組成:自適應知識一致性(AKC)在源和目標之間的示例模型和自適應表示一致性(AKC)標記和未標記示例之間的目標模型。一致性正則化所涉及的實例是根據它們對目標任務的潛在貢獻自適應選擇的。通過微調ImageNet預先訓練的ResNet-50模型，我們對流行基準進行了廣泛的實驗，包括CIFAR-10、CUB-200、Indoor67和MURA。結果表明，我們提出的自適應一致性正則化優于最先進的半監督學習技術，如偽標簽、Mean Teacher和MixMatch。此外，我們的算法與現有的方法是正交的，因此能夠在MixMatch和FixMatch之上獲得額外的改進。我們的代碼可以在//github.com/SHI-Labs/SemiSupervised-Transfer-Learning上找到。

基于深度學習的半監督學習(SSL)算法在醫學圖像分割方面取得了很有前途的結果，并可以通過利用未標記的數據減輕醫生昂貴的標注。然而，現有文獻中的大多數SSL算法都傾向于通過干擾網絡和/或數據來規約模型訓練。考慮到多/雙任務學習涉及到具有固有的預測擾動的各個級別的信息，我們在這項工作中提出了一個問題:我們能夠顯式地構建任務級別的正則化，而不是隱式地構建用于SSL的網絡和/或數據級別的擾動和轉換嗎?為了回答這個問題，我們首次提出了一個新的雙任務一致性半監督框架。具體地說，我們使用一個雙任務深度網絡來聯合預測一個像素級分割圖和一個幾何感知的目標集表示。通過可微任務轉換層將水平集表示轉換為近似分割映射。同時，我們在水平集導出的分割圖和直接預測的分割圖之間引入了一種雙任務一致性正則化，用于標記和未標記數據。在兩個公共數據集上的大量實驗表明，我們的方法可以通過合并未標記數據極大地提高性能。同時，我們的框架優于最先進的半監督醫學圖像分割方法。代碼可以在//github.com/Luoxd1996/DTC找到。

題目： Laplacian Regularized Few-Shot Learning

簡介：

我們為小樣本學習提出了一個拉普拉斯正則化推斷。給定從基類中學習到的任何特征嵌入，我們將包含兩個項的二次二進制賦值函數最小化：（1）將查詢樣本分配給最近的類原型的一元項，以及（2）鼓勵附近查詢樣本成對使用的成對拉普拉斯項具有一致的標簽。我們的推論不會重新訓練基本模型，并且可以將其視為查詢集的圖形聚類，但要受到支持集的監督約束。我們導出了函數松弛的計算有效邊界優化器，該函數在保證收斂的同時為每個查詢樣本計算獨立（并行）更新。在基礎類上進行簡單的交叉熵訓練，并且沒有復雜的元學習策略后，我們對五個基準進行了全面的實驗。我們的LaplacianShot在不同模型，設置和數據集上具有顯著優勢，始終優于最新方法。此外，我們的歸納推理非常快，其計算時間接近于歸納推理，可用于大規模的一次性任務。