亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目：

Con?dence-Aware Learning for Deep Neural Networks

簡介：

盡管深度神經網絡可以執行多種任務，但過分一致的預測問題限制了它們在許多安全關鍵型應用中的實際應用。已經提出了許多新的工作來減輕這個問題，但是大多數工作需要在訓練和/或推理階段增加計算成本，或者需要定制的體系結構來分別輸出置信估計。在本文中，我們提出了一種使用新的損失函數訓練深度神經網絡的方法，稱為正確排名損失，該方法將類別概率顯式規范化，以便根據依據的有序等級更好地進行置信估計。所提出的方法易于實現，并且無需進行任何修改即可應用于現有體系結構。而且，它的訓練計算成本幾乎與傳統的深度分類器相同，并且通過一次推斷就可以輸出可靠的預測。在分類基準數據集上的大量實驗結果表明，所提出的方法有助于網絡產生排列良好的置信度估計。我們還證明，它對于與置信估計，分布外檢測和主動學習密切相關的任務十分有效。

最近發布的GPT-3讓我對NLP中的零學習和小樣本的狀態產生了興趣。雖然大多數的零樣本學習研究集中在計算機視覺，也有一些有趣的工作在NLP領域。

我將會寫一系列的博文來涵蓋現有的關于NLP零樣本學習的研究。在這第一篇文章中，我將解釋Pushp等人的論文“一次訓練，到處測試:文本分類的零樣本學習”。本文從2017年12月開始，首次提出了文本分類的零樣本學習范式。

什么是零樣本學習?

零樣本學習是檢測模型在訓練中從未見過的類的能力。它類似于我們人類在沒有明確監督的情況下歸納和識別新事物的能力。

例如，我們想要做情感分類和新聞分類。通常，我們將為每個數據集訓練/微調一個新模型。相比之下，零樣本學習，你可以直接執行任務，如情緒和新聞分類，沒有任何特定的任務訓練。

一次訓練，隨處測試

本文提出了一種簡單的零樣本分類方法。他們沒有將文本分類為X類，而是將任務重新組織為二元分類，以確定文本和類是否相關。

//amitness.com/2020/05/zero-shot-text-classification/

【導讀】Yann Lecun在紐約大學開設的2020春季《深度學習》課程，干貨滿滿。最新的一期是來自Facebook AI的研究科學家Ishan Misra講述了計算機視覺中的自監督學習最新進展，108頁ppt，很不錯報告。

在過去的十年中，許多不同的計算機視覺問題的主要成功方法之一是通過對ImageNet分類進行監督學習來學習視覺表示。并且，使用這些學習的表示，或學習的模型權值作為其他計算機視覺任務的初始化，在這些任務中可能沒有大量的標記數據。

但是，為ImageNet大小的數據集獲取注釋是非常耗時和昂貴的。例如:ImageNet標記1400萬張圖片需要大約22年的人類時間。

因此，社區開始尋找替代的標記過程，如社交媒體圖像的hashtags、GPS定位或自我監督方法，其中標簽是數據樣本本身的屬性。

什么是自監督學習？

定義自我監督學習的兩種方式：

• 基礎監督學習的定義，即網絡遵循監督學習，標簽以半自動化的方式獲得，不需要人工輸入。

• 預測問題，其中一部分數據是隱藏的，其余部分是可見的。因此，其目的要么是預測隱藏數據，要么是預測隱藏數據的某些性質。

自監督學習與監督學習和非監督學習的區別:

• 監督學習任務有預先定義的(通常是人為提供的)標簽，

• 無監督學習只有數據樣本，沒有任何監督、標記或正確的輸出。

• 自監督學習從給定數據樣本的共現形式或數據樣本本身的共現部分派生出其標簽。

自然語言處理中的自監督學習

Word2Vec

• 給定一個輸入句子，該任務涉及從該句子中預測一個缺失的單詞，為了構建文本前的任務，該任務特意省略了該單詞。

• 因此，這組標簽變成了詞匯表中所有可能的單詞，而正確的標簽是句子中省略的單詞。

• 因此，可以使用常規的基于梯度的方法對網絡進行訓練，以學習單詞級表示。

為什么自監督學習

自監督學習通過觀察數據的不同部分如何交互來實現數據的學習表示。從而減少了對大量帶注釋數據的需求。此外，可以利用可能與單個數據樣本相關聯的多個模式。

計算機視覺中的自我監督學習

通常，使用自監督學習的計算機視覺管道涉及執行兩個任務，一個前置任務和一個下游任務。

• 下游任務可以是任何類似分類或檢測任務的任務，但是沒有足夠的帶注釋的數據樣本。

• Pre-text task是為學習視覺表象而解決的自監督學習任務，其目的是利用所學習的表象，或下游任務在過程中獲得的模型權值。

發展Pre-text任務

• 針對計算機視覺問題的文本前任務可以使用圖像、視頻或視頻和聲音來開發。

• 在每個pre-text任務中，都有部分可見和部分隱藏的數據，而任務則是預測隱藏的數據或隱藏數據的某些屬性。

下載鏈接： 鏈接: //pan.baidu.com/s/1gNK4DzqtAMXyrD1fBFGa-w 提取碼: ek7i

主題： Heterogeneous Graph-based Knowledge Transfer for Generalized Zero-shot Learning

摘要： 廣義零樣本學習（GZSL）解決了同時涉及可見類和不可見類的實例分類問題。關鍵問題是如何有效地將從可見類學習到的模型轉換為不可見類。GZSL中現有的工作通常假設關于未公開類的一些先驗信息是可用的。然而，當新的不可見類動態出現時，這種假設是不現實的。為此，我們提出了一種新的基于異構圖的知識轉移方法（HGKT），該方法利用圖神經網絡對GZSL、不可知類和不可見實例進行知識轉移。具體地說，一個結構化的異構圖，它是由所見類的高級代表節點構造而成，這些代表節點通過huasstein-barycenter來選擇，以便同時捕獲類間和類內的關系，聚集和嵌入函數可以通過圖神經網絡來學習，它可以用來計算不可見類的嵌入，方法是從它們的內部遷移知識。在公共基準數據集上的大量實驗表明，我們的方法達到了最新的結果。

題目

知識圖譜的生成式對抗零樣本關系學習:Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs

簡介

大規模知識圖譜（KGs）在當前的信息系統中顯得越來越重要。為了擴大知識圖的覆蓋范圍，以往的知識圖完成研究需要為新增加的關系收集足夠的訓練實例。本文考慮一種新的形式，即零樣本學習，以擺脫這種繁瑣的處理，對于新增加的關系，我們試圖從文本描述中學習它們的語義特征，從而在不見實例的情況下識別出看不見的關系。為此，我們利用生成性對抗網絡（GANs）來建立文本與知識邊緣圖域之間的聯系：生成器學習僅用有噪聲的文本描述生成合理的關系嵌入。在這種背景下，零樣本學習自然轉化為傳統的監督分類任務。從經驗上講，我們的方法是模型不可知的，可以應用于任何版本的KG嵌入，并在NELL和Wikidataset上產生性能改進。

作者 Pengda Qin,Xin Wang,Wenhu Chen,Chunyun Zhang,Weiran Xu1William Yang Wang

?【導讀】NeurIPS 是全球最受矚目的AI、機器學習頂級學術會議之一，每年全球的人工智能愛好者和科學家都會在這里聚集，發布最新研究。NIPS 2019大會已經在12月8日-14日在加拿大溫哥華舉行。這次專知小編發現零樣本學習(Zero-Shot Learning, ZSL)在今年的NeurIPS出現了好多篇，也突出其近期的火熱程度， 為此，專知小編整理了NIPS 2019零樣本學習(Zero-Shot Learning)相關的論文供大家學習收藏—零樣本知識遷移、Transductive ZSL、多注意力定位、ZSL語義分割、對偶對抗語義一致網絡。

1. Zero-shot Knowledge Transfer via Adversarial Belief Matching

作者：Paul Micaelli and Amos Storkey

摘要：在現代深度學習應用中，將知識從一個大的teacher network遷移到一個小的student network中是一個很受歡迎的任務。然而，由于數據集的規模越來越大，隱私法規也越來越嚴格，越來越多的人無法訪問用于訓練teacher network的數據。我們提出一種新方法，訓練student network在不使用任何數據或元數據的情況下，與teacher network的預測相匹配。我們通過訓練一個對抗生成器來搜索student與teacher匹配不佳的圖片，然后使用它們來訓練student，從而達到這個目的。我們得到的student在SVHN這樣的簡單數據集上與teacher非常接近，而在CIFAR10上，盡管沒有使用數據，我們在few-shot distillation (100 images per class)的技術水平上進行了改進。最后，我們還提出了一種度量標準，來量化teacher與student在決策邊界附近的信念匹配程度，并觀察到我們的zero-shot student與teacher之間的匹配程度顯著高于用真實數據提取的student與teacher之間的匹配程度。我們的代碼鏈接如下:

//github.com/polo5/ZeroShotKnowledgeTransfer。

網址：

 2. Transductive Zero-Shot Learning with Visual Structure Constraint

作者：Ziyu Wan, Dongdong Chen, Yan Li, Xingguang Yan, Junge Zhang, Yizhou Yu and Jing Liao

摘要：為了識別未知類的目標，現有的零樣本學習(Zero-Shot Learning, ZSL)方法大多是先根據源可見類的數據，在公共語義空間和視覺空間之間學習一個相容的投影函數，然后直接應用于目標未知類。然而，在實際場景中，源域和目標域之間的數據分布可能不匹配，從而導致眾所周知的domain shift問題。基于觀察到的測試實例的視覺特征可以被分割成不同的簇，我們針對轉導ZSL的類中心提出了一種新的視覺結構約束，以提高投影函數的通用性（即緩解上述域移位問題）。具體來說，采用了三種不同的策略 (symmetric Chamfer-distance, Bipartite matching distance, 和Wasserstein distance) 來對齊測試實例的投影不可見的語義中心和可視集群中心。我們還提出了一種新的訓練策略，以處理測試數據集中存在大量不相關圖像的實際情況，這在以前的方法中是沒有考慮到的。在許多廣泛使用的數據集上進行的實驗表明，我們所提出的視覺結構約束能夠持續地帶來可觀的性能增益，并取得最先進的結果。我們源代碼在：

網址：

3. Semantic-Guided Multi-Attention Localization for Zero-Shot Learning

作者：Yizhe Zhu, Jianwen Xie, Zhiqiang Tang, Xi Peng and Ahmed Elgammal

摘要：零樣本學習（Zero-shot learning）通過引入類的語義表示，將傳統的目標分類擴展到不可見的類識別。現有的方法主要側重于學習視覺語義嵌入的映射函數，而忽視了學習discriminative視覺特征的效果。本文研究了discriminative region localization的意義。提出了一種基于語義引導的多注意力定位模型，該模型能自動發現目標中最discriminative的部分，實現零樣本學習，不需要人工標注。我們的模型從整個目標和被檢測部分共同學習協作的全局和局部特征，根據語義描述對對象進行分類。此外，在嵌入softmax loss和class-center triplet loss的聯合監督下，鼓勵模型學習具有高類間離散性和類內緊湊性的特征。通過對三種廣泛使用的零樣本學習基準的綜合實驗，我們證明了multi-attention localization的有效性，我們提出的方法在很大程度上改進了最先進的結果。

網址：

4. Zero-shot Learning via Simultaneous Generating and Learning

作者：Hyeonwoo Yu and Beomhee Lee

摘要：為了克服不可見類訓練數據的不足，傳統的零樣本學習方法主要在可見數據點上訓練模型，并利用可見類和不可見類的語義描述。在探索類與類之間關系的基礎上，我們提出了一個深度生成模型，為模型提供了可見類與不可見類的經驗。該方法基于類特定多模態先驗的變分自編碼器，學習可見類和不可見類的條件分布。為了避免使用不可見類的示例，我們將不存在的數據視為缺失的示例。也就是說，我們的網絡目標是通過迭代地遵循生成和學習策略來尋找最優的不可見數據點和模型參數。由于我們得到了可見類和不可見類的條件生成模型，因此無需任何現成的分類器就可以直接進行分類和生成。在實驗結果中，我們證明了所提出的生成和學習策略使模型取得了優于僅在可見類上訓練的結果，也優于幾種最先進的方法。

網址：

5. Zero-Shot Semantic Segmentation

作者：Maxime Bucher, Tuan-Hung VU, Matthieu Cord and Patrick Pérez

摘要：語義分割模型在擴展到大量對象類別的能力上受到限制。在本文中，我們介紹了零樣本語義分割的新任務：用零訓練實例學習從未見過的對象類別的像素級分類器。為此，我們提出了一個新的架構，ZS3Net，結合了一個深度的視覺分割模型和一種從語義詞嵌入生成視覺表示的方法。通過這種方式，ZS3Net解決了在測試時可見和不可見的類別都面臨的像素分類任務(所謂的“generalized” zero-shot 分類)。通過依賴于不可見類的像素的自動偽標記的自訓練步驟，可以進一步提高性能。在兩個標準的細分數據集，Pascal-VOC和Pascal-Context，我們提出了zero-shot基準和設置競爭的baseline。對于Pascal-Context數據集中的復雜場景，我們通過使用圖形-上下文編碼來擴展我們的方法，以充分利用來自類分割圖的空間上下文先驗。

網址：

6. Dual Adversarial Semantics-Consistent Network for Generalized Zero-Shot Learning

作者：Jian Ni, Shanghang Zhang and Haiyong Xie

摘要：廣義零樣本學習(Generalized zero-shot learning，GZSL)是一類具有挑戰性的視覺和知識遷移問題，在測試過程中，既有看得見的類，也有看不見的類。現有的GZSL方法要么在嵌入階段遭遇語義丟失，拋棄有區別的信息，要么不能保證視覺語義交互。為了解決這些局限性，我們提出了一個Dual Adversarial Semantics-Consistent Network (簡稱DASCN)，它在一個統一的GZSL框架中學習原始的和對偶的生成的對抗網絡(GANs)。在DASCN中，原始的GAN學習綜合類間的區別和語義——從可見/不可見類的語義表示和對偶GAN重構的語義表示中保留視覺特征。對偶GAN通過語義一致的對抗性學習，使合成的視覺特征能夠很好地表示先驗語義知識。據我們所知，這是針對GZSL采用新穎的Dual-GAN機制的第一個工作。大量的實驗表明，我們的方法比最先進的方法取得了顯著的改進。

網址：

本課程涵蓋了機器學習和統計建模方面的廣泛主題。 雖然將涵蓋數學方法和理論方面，但主要目標是為學生提供解決實際中發現的數據科學問題所需的工具和原理。 本課程還可以作為基礎，以提供更多專業課程和進一步的獨立學習。 本課程是數據科學中心數據科學碩士學位課程核心課程的一部分。 此類旨在作為DS-GA-1001數據科學概論的延續，其中涵蓋了一些重要的基礎數據科學主題，而這些主題可能未在此DS-GA類中明確涵蓋。

課程大綱

• Week 1：統計學習理論框架
• Week 2：隨機梯度下降
• Week 3：正則化，Lasso, 和 Elastic網，次梯度方法
• Week 4：損失函數，SVM，代表定理
• Week 5：核方法
• Week 6：最大似然，條件概率
• Week 7：期中
• Week 8：貝葉斯方法
• Week 9：貝葉斯條件概率，多分類
• Week 10：分類和回歸樹
• Week 11：bagging和隨機森林，梯度提升
• Week 12：K-Means，高斯混合模型
• Week 13：EM算法
• Week 14：神經網絡，反向傳播