亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

最近的一些研究闡明了為什么知識蒸餾(KD)可以提高模型性能。然而，KD算法除了能提高模型性能外，還具有其他優點，目前研究較少。在這項研究中，我們試圖表明KD增強了模型的可解釋性和準確性。我們測量了網絡解剖中識別的概念檢測器的數量，以定量比較模型的可解釋性。我們將可解釋性的提高歸因于從教師模型傳遞到學生模型的類相似度信息。首先，通過logit蒸餾確定類相似度信息從教師模型向學生模型的遷移;然后，從類相似信息的存在與否和相似信息的程度兩個方面分析了類相似信息對模型可解釋性的影響;我們進行了各種定量和定性的實驗，并根據不同的數據集、不同的KD方法和不同的可解釋性度量檢查了結果。我們的研究表明，由大型模型組成的KD模型可以更可靠地應用于各種領域。

近年來，基于異構信息網絡(HINs)的自監督預訓練方法與傳統的半監督異構圖神經網絡(HGNNs)相比顯示出了良好的競爭力。不幸的是，它們的性能嚴重依賴于精心定制各種策略，以生成高質量的正例和反例，這明顯限制了它們的靈活性和泛化能力。在這項工作中，我們提出了一種新的自監督異構圖預訓練方法SHGP，它不需要生成任何正例或負例。它由兩個共享相同注意力聚合方案的模塊組成。在每次迭代中，Att-LPA模塊通過結構聚類產生偽標簽，這些偽標簽作為自我監督信號，指導Att-HGNN模塊學習對象嵌入和注意系數。這兩個模塊可以有效地相互利用和增強，促進模型學習判別嵌入。在四個真實數據集上的大量實驗證明了SHGP對最先進的無監督基線甚至半監督基線的優越有效性。我們在//github.com/kepsail/SHGP發布源代碼。

現有的分布外(OOD)檢測方法通常以具有平衡類分布的訓練集為基準。然而，在實際應用中，訓練集通常具有長尾分布。在這項工作中，我們首先證明了現有的OOD檢測方法在訓練集為長尾分布時通常會出現顯著的性能下降。通過分析，我們認為這是因為模型很難將分布中的少數尾類樣本與真實的OOD樣本區分開來，使得尾類更容易被錯誤地檢測為OOD。為了解決這一問題，提出了部分和非對稱監督對比學習(Partial and Asymmetric Supervised contrast Learning, PASCL)，明確鼓勵模型區分尾部類內分布樣本和OOD樣本。為了進一步提高分布內分類精度，我們提出了輔助分支微調(Auxiliary Branch Finetuning)，它使用BN和分類層的兩個獨立分支分別進行異常檢測和分布內分類。直覺上，分布內異常數據和OOD異常數據具有不同的底層分布。我們的方法在CIFAR10-LT、CIFAR100-LT和ImageNet-LT上的異常檢測假陽性率(FPR)分別為1.29%、1.45%、0.69%，分布內分類準確率為3.24%、4.06%、7.89%。代碼和預訓練的模型可以在https: //github.com/amazon-research/上獲得。

我們考慮了在存在潛在混淆變量和選擇偏差的情況下，從觀測數據中學習系統的因果MAG(Maximal Ancestral Graph)的問題。基于約束的方法是解決這一問題的主要方法之一，但現有方法在處理大型圖時要么計算代價太高，要么缺乏完整性保證。我們提出了一種新的計算有效的遞歸約束方法，是健全和完整的。我們方法的關鍵思想是，在每次迭代中標識和刪除特定類型的變量。這使我們能夠高效地遞歸地學習結構，因為這種技術既減少了所需的條件獨立(CI)測試的數量，又減少了條件集的大小。前者大大降低了計算復雜度，而后者產生了更可靠的CI測試。我們提供了最壞情況下所需CI測試數量的上限。據我們所知，這是文獻中最緊的上界。我們進一步提供了任何基于約束的方法所需的CI測試數量的下界。在最壞的情況下，我們所提出的方法的上界和下界最多相差一個等于變量數的因子。我們也通過模擬與真實實驗對提出的方法與當前最優算法進行了比較。

//arxiv.org/abs/2110.12036

對抗訓練是提高模型對抗擾動魯棒性的最有效技術之一。然而，這種方法對模型的全部影響還沒有被很好地理解。例如，雖然對抗訓練可以減少對抗風險(針對對手的預測錯誤)，但它有時會增加標準風險(沒有對手時的泛化錯誤)。在本文中，我們關注于分布擾動對手框架，其中對手可以改變訓練數據分布的鄰域內的測試分布。鄰域是通過分布之間的Wasserstein距離定義的，鄰域的半徑是對手操縱能力的度量。我們研究了標準風險和對抗風險之間的權衡，并推導了在特征維數不變的無限數據限制下，在特定類型的模型上可實現的Pareto最優權衡。我們考慮了三種學習設置:1) 線性模型類的回歸; 2) 二元分類下的高斯混合數據模型，用線性分類器分類; 3)用一類隨機特征模型進行回歸(可等效表示為第一層權值為隨機的兩層神經網絡)。我們表明，標準風險和對抗性風險之間的權衡在所有三種情況下都得到了體現。我們進一步描述了Pareto最優權衡曲線，并討論了各種因素，如特征相關性、對手的力量或兩層神經網絡的寬度會如何影響這種權衡。

//www.zhuanzhi.ai/paper/e511cb93baf31c0a8c8549bd4b2a42ef

在不依賴下游任務的情況下評估學習表征的質量仍然是表示學習的挑戰之一。在這項工作中，我們提出幾何成分分析(GeomCA)算法，評估表示空間的幾何和拓撲性質。GeomCA可以應用于任何維度的表示，獨立于生成它們的模型。我們通過分析從各種場景中獲得的表征來證明其適用性，如對比學習模型、生成模型和監督學習模型。

//www.zhuanzhi.ai/paper/efa6de0f034d485bbb30b2a45947ea18

預訓練已被證實能夠大大提升下游任務的性能。傳統方法中經常利用大規模的帶圖像標注分類數據集（如 ImageNet）進行模型監督預訓練，近年來自監督學習方法的出現，讓預訓練任務不再需要昂貴的人工標簽。然而，絕大多數方法都是針對圖像分類進行設計和優化的。但圖像級別的預測和區域級別 / 像素級別存在預測差異，因此這些預訓練模型在下游的密集預測任務上的性能可能不是最佳的。

基于此，來自阿德萊德大學、同濟大學、字節跳動的研究者設計了一種簡單且有效的密集自監督學習方法，不需要昂貴的密集人工標簽，就能在下游密集預測任務上實現出色的性能。目前該論文已被 CVPR 2021 接收。

//www.zhuanzhi.ai/paper/4b31c2807b7c37ca49ca8f7c43b4b7d4

該研究提出的新方法 DenseCL（Dense Contrastive Learning）通過考慮局部特征之間的對應關系，直接在輸入圖像的兩個視圖之間的像素（或區域）特征上優化成對的對比（不相似）損失來實現密集自監督學習。

兩種用于表征學習的對比學習范式的概念描述圖。

現有的自監督框架將同一張圖像的不同數據增強作為一對正樣本，利用剩余圖像的數據增強作為其負樣本，構建正負樣本對實現全局對比學習，這往往會忽略局部特征的聯系性與差異性。該研究提出的方法在此基礎上，將同一張圖像中最為相似的兩個像素（區域）特征作為一對正樣本，而將余下所有的像素（區域）特征作為其負樣本實現密集對比學習。

具體而言，該方法去掉了已有的自監督學習框架中的全局池化層，并將其全局映射層替換為密集映射層實現。在匹配策略的選擇上，研究者發現最大相似匹配和隨機相似匹配對最后的精度影響非常小。與基準方法 MoCo-v2[1] 相比，DenseCL 引入了可忽略的計算開銷（僅慢了不到 1%），但在遷移至下游密集任務（如目標檢測、語義分割）時，表現出了十分優異的性能。

場景圖以結構化、符號化的方式將圖像的高層內容進行了概括，兩幅圖像的場景圖之間的相似性反映了其內容的相關性。基于這一思想，我們提出了一種利用圖神經網絡測量場景圖相似度的圖像到圖像檢索新方法。在我們的方法中，圖神經網絡被訓練來預測代理圖像的關聯度量，使用預先訓練的句子相似度模型從人工標注的標題計算。我們收集并發布由人類標注員測量的圖像相關性數據集，以評估檢索算法。收集到的數據集表明，我們的方法比其他基準方法更符合人類對圖像相似性的感知。

//www.zhuanzhi.ai/paper/36010276b120c7ce7d78a8b4b2427f71

遷移學習技術在難以獲得大量高質量注釋數據的NLP任務中特別有用。目前的方法在對下游任務進行微調之前，直接對域內文本采用預先訓練好的語言模型(LM)。我們展示了使用特定于領域的術語擴展LM的詞匯表會帶來進一步的收獲。在更大的效果上，我們利用未標記數據中的結構創建輔助合成任務，這有助于LM向下游任務轉移。在事先訓練好的Roberta-large LM系統上逐步應用這些方法，并在IT領域的三個任務上顯示出可觀的性能提升:閱讀理解、文檔排序和重復問題檢測。

//arxiv.org/abs/2010.05904