亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目：

Con?dence-Aware Learning for Deep Neural Networks

簡介：

盡管深度神經網絡可以執行多種任務，但過分一致的預測問題限制了它們在許多安全關鍵型應用中的實際應用。已經提出了許多新的工作來減輕這個問題，但是大多數工作需要在訓練和/或推理階段增加計算成本，或者需要定制的體系結構來分別輸出置信估計。在本文中，我們提出了一種使用新的損失函數訓練深度神經網絡的方法，稱為正確排名損失，該方法將類別概率顯式規范化，以便根據依據的有序等級更好地進行置信估計。所提出的方法易于實現，并且無需進行任何修改即可應用于現有體系結構。而且，它的訓練計算成本幾乎與傳統的深度分類器相同，并且通過一次推斷就可以輸出可靠的預測。在分類基準數據集上的大量實驗結果表明，所提出的方法有助于網絡產生排列良好的置信度估計。我們還證明，它對于與置信估計，分布外檢測和主動學習密切相關的任務十分有效。

我們介紹了一種通過對比圖的結構視圖來學習節點和圖表示的自監督方法。我們表明，與視覺表示學習不同，增加視圖數量到兩個以上或對比多尺度編碼不會提高性能，而最佳性能是通過對比一階鄰居編碼和圖擴散來實現的。在線性評估協議下，我們在8個節點中的8個和圖分類基準上實現了新的最先進的自監督學習結果。例如，在Cora(節點)和reddy - binary(圖形)分類基準上，我們實現了86.8%和84.5%的準確率，相對于之前的最先進水平分別提高了5.5%和2.4%。與監督基準相比，我們的方法在8個基準中有4個優于監督基準。源代碼發布在:

Hierarchical Inter-Message Passing for Learning on Molecular Graphs

我們提出了一個在分子圖上學習的遞階神經信息傳遞架構。我們的模型采用了兩種互補的圖表示:原始的分子圖表示和相關的結樹，其中節點表示原始圖中有意義的簇，如環或橋接化合物。然后，我們通過在每個圖中傳遞消息來學習分子的表示，并使用粗到細和細到粗的信息流在兩種表示之間交換消息。我們的方法能夠克服經典GNN的一些限制，如檢測周期，同時仍然非常有效的訓練。我們在ZINC數據集和MoleculeNet基準收集數據集上驗證了它的性能。

小樣本學習(FSL)近年來引起了越來越多的關注，但仍然具有挑戰性，因為學習從少數例子中歸納的固有困難。本文提出了一種自適應間隔原則，以提高基于度量的元學習方法在小樣本學習問題中的泛化能力。具體地說，我們首先開發了一個與類相關的加性邊緣損失算法，該算法考慮了每對類之間的語義相似性，從而將特征嵌入空間中的樣本從相似的類中分離出來。此外，我們在抽樣訓練任務中加入所有類別之間的語義上下文，并開發了與任務相關的附加間隔損失，以更好地區分不同類別的樣本。我們的自適應間隔方法可以很容易地推廣到更現實的廣義FSL設置。大量的實驗表明，在標準FSL和通用FSL設置下，所提出的方法可以提高現有基于度量的元學習方法的性能。

人工神經網絡(ANNS)在解決各種認知模式下的感知任務方面顯示出很大的經驗成功。雖然它們只是受到生物大腦的松散啟發，但最近的研究報告稱，從任務優化的神經網絡中提取的表征與大腦中的神經種群之間存在相當多的相似性。神經網絡后來成為一個流行的模型類，用來推斷復雜認知功能下的計算原理，反過來，它們也成為一個自然的實驗平臺，用來應用最初開發的方法來探測神經群體中的信息。在這項工作中，我們利用平均場理論流形分析，從計算神經科學的最新技術，從大規模語境嵌入模型分析語言表示的高維幾何。我們從不同的模型族(BERT, RoBERTa, GPT-2等)中探索表征，并找到跨層深度的語言流形出現的證據(例如詞性流形和組合范疇語法標簽)。我們進一步觀察到，不同的編碼方案用于獲取表示，導致這些語言流形出現在網絡的早期或后期層的差異。此外，我們發現這些流形中線性可分性的出現是由流形半徑、維數和流形間相關性的聯合減少所驅動的。

//arxiv.org/abs/2006.01095

一次性神經架構搜索(NAS)通過權重共享顯著提高了計算效率。然而，這種方法也在超網絡訓練(架構搜索階段)中引入了多模型遺忘，在超網絡訓練中，當使用部分共享的權重順序訓練新架構時，之前架構的性能會下降。為了克服這種災難性遺忘，最先進的方法假設共享權值在聯合優化后驗概率時是最優的。然而，這種嚴格的假設在實踐中并不一定適用于一次性NAS。在本文中，我們將一次性NAS中的超網絡訓練描述為一個持續學習的約束優化問題，即當前架構的學習不應該降低以前架構的性能。提出了一種基于新搜索的結構選擇損失函數，并證明了在最大化所選約束的多樣性時，不需要嚴格的假設就可以計算后驗概率。設計了一種貪心查新方法，尋找最具代表性的子集，對超網絡訓練進行正則化。我們將我們提出的方法應用于兩個一次性的NAS基線，隨機抽樣NAS (RandomNAS)和基于梯度的抽樣NAS (GDAS)。大量的實驗證明，我們的方法提高了超級網絡在一次NAS中的預測能力，并在CIFAR-10、CIFAR-100和PTB上取得了顯著的效率。

最近，NLP見證了大型預訓練模型使用的激增。用戶下載在大型數據集上預先訓練的模型的權重，然后在他們選擇的任務上微調權重。這就提出了一個問題:下載未經訓練的不可信的權重是否會造成安全威脅。在這篇論文中，我們證明了構造“權重中毒”攻擊是可能的，即預先訓練的權重被注入漏洞，在微調后暴露“后門”，使攻擊者能夠通過注入任意關鍵字來操縱模型預測。我們證明，通過應用正則化方法(我們稱之為RIPPLe)和初始化過程(我們稱之為嵌入手術)，即使對數據集和微調過程的了解有限，這種攻擊也是可能的。我們在情感分類、毒性檢測、垃圾郵件檢測等方面的實驗表明，該攻擊具有廣泛的適用性和嚴重的威脅。最后，我們概述了針對此類攻擊的實際防御。復制我們實驗的代碼可以在//github.com/neulab/RIPPLe找到。

題目： Milking CowMask for Semi-Supervised Image Classification

摘要：

一致性正則化是一種用于半監督學習的技術，最近被證明可以在標記數據很少的情況下產生強大的分類結果。該方法通過增加或反例擾動輸入數據，并鼓勵所學習的模型對未標記數據的擾動具有魯棒性。在這里，我們評估了一種最近提出的增強方法，稱為CowMasK。在半監督一致性正則化中，使用CowMask作為增強方法，我們在Imagenet上建立了一個新的最優結果，標記數據為10%，前5位誤差為8.76%，前1位誤差為26.06%。此外，我們使用的方法比其他方法簡單得多。我們通過在小型圖像基準SVHN、CIFAR-10和CIFAR-100上運行許多較小規模的實驗，進一步研究了CowMask用于半監督學習的行為，在這些實驗中，我們獲得了與現有水平相當的結果，并且發現了CowMask擾動廣泛適用的證據。

大多數現有的目標檢測方法依賴于每類豐富的標記訓練樣本的可用性和批處理模式下的離線模型訓練。這些要求極大地限制了在只能容納具有有限標記訓練數據的新類別，特別是模型在部署過程中的準確性和訓練的效率。我們提出了一項研究，旨在通過考慮增量小樣本檢測(iFSD)問題設置來超越這些限制，其中新類必須以增量方式注冊(不需要重新訪問基類)，并且只有很少的例子。為此，我們提出了開放式中心網(一次)，這是一種用于增量學習的檢測器，用于檢測具有少量實例的新類對象。這是通過將CentreNet檢測器優雅地適應小樣本學習場景和元學習來實現的，元學習是一個類特定的代碼生成器模型，用于注冊新的類。一旦完全尊重增量學習范式，新的類注冊只需要一個前向遍歷的小樣本訓練樣本，并且不訪問基類——因此適合在嵌入式設備上部署。在標準物體檢測和時尚地標檢測任務上進行的大量實驗首次證明了iFSD的可行性，開拓了一個有趣而又非常重要的研究方向。

在一個持續的循環，在這個循環中，對對抗攻擊更強的防御隨后被更高級的防御感知攻擊打破。我們提出了一種結束此循環的新方法，即通過使攻擊者生成語義上類似于攻擊目標類的輸入來“轉移”對抗攻擊。為此，我們首先提出一種基于膠囊網絡的更強大的防御，它結合了三種檢測機制來實現對標準攻擊和防御感知攻擊的最新檢測性能。然后，我們進行了一項人體研究，要求參與者對攻擊產生的圖像進行標記，結果表明，針對我們的防御系統的未檢測到的攻擊通常與對抗目標類相似。這些攻擊圖像不能再被稱為“對抗性的”，因為我們的網絡像人類一樣對它們進行分類。