亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

推薦系統根據用戶商品的歷史交互記錄來為用戶找到最符合他們個性化興趣的商品。然而推薦系統這種基于用戶商品交互網絡的任務的共同問題是數據稀疏性。用戶行為和用戶商品交互記錄相對于商品的規模來說都是非常有限的。此外，對新到來的用戶很難給他們推薦商品。為了克服這些困難，現在很多研究提出將外部信息引入推薦系統，比如屬性，文本，圖像等。通過外部信息建立原始推薦系統中實體之間的聯系，衡量它們之間的潛在相似度，緩解網絡稀疏性帶來的問題。

作者提出用知識圖譜來幫助提升推薦系統的效果。知識圖譜中不僅包含節點的特征，還包含節點的連接關系。和傳統網絡不同，知識圖譜由一系列三元組組成，也就是<起始實體，關系，終止實體>。它不但可以描述節點屬性 ,也可以描述節點之間的關系。如今，有非常多的超大規模的知識圖譜被發布，比如Wordnet，Freebase，DBpedia。這些圖譜描述了事實和常識，它們通常可以和大多數網絡應用中的部分節點對齊并作為網絡應用的外部知識。它們通過引入實體之間的聯系，增強實體的信息以及產生可解釋性來幫助推薦系統。然而，由于知識圖譜的一般性和巨大的規模，大多數知識實際上對于目標用戶商品的預測是沒有幫助的。如何有效地對知識圖譜進行蒸餾以便維持目標相關的知識關系是將知識圖譜引入推薦系統的關鍵問題。

現有的知識圖譜相關的推薦算法可以分為兩類，基于表征和基于路徑的方法:

基于表征的方法首先通過知識圖譜表征學習算法得到實體和關系的表征，然后將這些隱層表征引入推薦系統。然而，知識圖譜表征學習算法更多地關注于復雜的語義關聯，它更適用于網絡內任務比如鏈接預測，而不是推薦。因此，基于表征的方法不能完全地捕捉用戶商品連接的復雜語義，也不能區分知識關系是否與目標任務相關聯。

基于路徑的算法從知識圖譜中探索很多條路徑來構建兩個實體之間的聯系。它們通常將知識圖譜看作是一個異構信息網絡，然后預先定義很多元路徑來提取目標節點對之間的相似度。不同路徑之間的不同權重反映了知識圖譜中用戶的偏好。但是由于路徑長度的限制，它們丟失了全局關系。此外，這些方法通常非常依賴于元路徑的設計，所以不能直接應用于新的數據中。 為了克服這些限制，作者認為一個好的知識依賴的網絡表征學習方法應該滿足下面的性質: (1) 全局相似度保持。知識圖譜的巨大規模使得衡量實體之間的全局相似度變得非常困難。此外，圖卷積神經網絡遞歸地聚合鄰居的特征來更新節點表征。在若干次迭代之后，模型可以將局部信息傳播到全局。作者提出引入圖卷積神經網絡到知識圖譜中。 (2)局部知識蒸餾。學習目標用戶的偏好通常都是局部而且多樣的。因此 本文利用基于目標用戶商品的子圖而不是多條獨立的路徑。子圖可以包含更豐富的拓撲結構信息以及上下文信息。它可以在一個局部子圖而不是全量龐大知識圖譜中挖掘更精確的目標偏好。此外，不同的目標用戶商品對可能對知識圖譜中的關系有不同的偏好。基于注意力的圖算法可能對圖中的邊學到不同的權重，但是邊的注意力只依賴于它連接的兩個節點而不依賴于目標節點。比如，在圖1中， 相對于 更偏好“starred”關系，但是“starred”邊在基于注意力的模型中對于這兩個節點的注意力是一樣的。

零樣本學習(Zero-shot learning, ZSL)解決了未見類別識別問題，將語義知識從顯性類別轉移到未見類別。通常，為了保證理想的知識轉移，在ZSL中使用一個公共(潛在)空間來關聯視覺域和語義域。然而，現有的空間學習方法僅僅通過一步適應來緩解分布的分歧，從而使語義和視覺領域保持一致。這種策略通常是無效的，因為這兩個領域的特征表示具有異質性的本質，本質上包含了分布和結構的變化。為了解決這一問題，我們提出了一種新的層次語義-視覺自適應(HSVA)框架。具體來說，HSVA通過兩步層次適應，即結構適應和分布適應，對語義域和視覺域進行對齊。在結構調整步驟中，我們采用兩個特定于任務的編碼器將源數據(視覺域)和目標數據(語義域)編碼到一個與結構對齊的公共空間中。為此，提出了一個監督對抗差異(supervised adversarial不符，SAD)模塊，以對抗最小化兩個任務特定分類器預測之間的差異，從而使視覺和語義特征流形更緊密地對齊。在分布自適應步驟中，我們直接最小化潛在的多元高斯分布之間的Wasserstein距離，使用公共編碼器對齊視覺分布和語義分布。最后，在一個統一的框架下推導了在兩個部分對齊的變分自編碼器下的結構和分布自適應。在四個基準數據集上的大量實驗表明，HSVA在傳統ZSL和廣義ZSL上都取得了優異的性能。代碼可在//github.com/shiming-chen/HSVA上獲得。

推薦系統(RS)采用知識蒸餾，這是一種模型壓縮技術，用從預訓練的大型教師模型遷移的知識來訓練緊湊的學生模型。最近的研究表明，從教師的中間層遷移知識顯著提高了學生的推薦質量。但是，它們是逐點遷移個體表示的知識，因此存在一個局限，即RS的主要信息在于表示空間中的關系。本文提出了一種新的拓撲蒸餾方法，通過將建立在教師空間關系上的拓撲結構傳遞給學生來指導學生進行拓撲蒸餾。我們首先觀察到，簡單地讓學生學習整個拓撲結構并不總是有效的，甚至會降低學生的表現。我們證明，因為與老師相比，學生的能力是非常有限的，學習整個拓撲結構對學生來說是令人生畏的。為了解決這一問題，我們提出了一種新的分層拓撲蒸餾(HTD)方法，該方法可以分層地對拓撲進行蒸餾，以應對較大的容量缺口。我們在真實數據集上的大量實驗表明，提出的方法明顯優于先進的競爭對手。我們還提供了深入的分析，以確定提取RS拓撲的好處。

//www.zhuanzhi.ai/paper/4eff9a6ca0a1450628e09261c3b9dd2d

零樣本學習(Zero-shot Learning, ZSL)是一種針對從未出現在訓練數據中的類別進行預測的學習方法，目前已成為研究熱點。實現ZSL的關鍵是利用類的先驗知識，構建類之間的語義關系，并使學習到的模型(例如，特性)能夠從訓練類(例如，可見類)轉移到不可見類。然而，現有方法所采用的先驗相對有限，語義不完全。本文通過基于本體的知識表示和語義嵌入，探索更豐富和更具競爭性的先驗知識，為ZSL的類間關系建模。同時，為了解決可見類和不可見類之間的數據不平衡問題，我們提出了帶有生成式對抗網絡(GANs)的生成式ZSL框架。我們的主要發現包括: (i)一個本體增強的ZSL框架，可以應用于不同的領域，如圖像分類(IMGC)和知識圖譜補全(KGC); (ii)利用來自不同領域的多個零樣本數據集進行綜合評估，我們的方法往往比最先進的模型獲得更好的性能。特別是，在IMGC的四個代表性的ZSL基線上，基于本體的類語義優于之前的預測，例如，在兩個示例數據集上，類的詞嵌入在標準ZSL中的平均精度為12.4點(見圖4)。

//www.zhuanzhi.ai/paper/455f8ab60b8550b4318debc0acebe2d3

實現對新類別進行持續增量學習的能力對于現實世界人工智能系統的發展至關重要。目前的類增量學習（CIL，class-incremental learning）研究往往提供了較為充足的帶標簽新類別樣本，而在諸如智能相冊等實際應用中，用戶可能只有興趣提供極少量有標簽的新類別樣本。因此研究小樣本深度類增量學習迫在眉睫。在本文中，我們著重研究這個面向實際應用但極具挑戰性的小樣本類增量連續學習（FSCIL，few-shot class-incremental learning）問題。FSCIL要求CNN模型從少量的帶標簽樣本中增量式地學習新的類別，而不會忘記先前學習的樣本。

傳統的深度類增量學習研究通常使用知識蒸餾（knowledge distillation）方法。它們通常存儲一部分舊類別的樣本，通過蒸餾損失函數來維持分類模型在舊類別樣本上的輸出。盡管在某種程度上有效，這種基于蒸餾損失的方法也存在一些問題。首先，其面臨嚴重的類別不平衡問題，即分類器輸出會嚴重偏置（baised）到擁有較多樣本的類別上；其次，它們往往面臨在新舊類之間進行性能折衷（trade-off）的困境。由于在極少樣本情況下，需要認為增大學習率以及增強新類損失的梯度才能使新類別的學習變得有意義，而一旦這樣做，對舊類別知識的維持就會更加困難。因此這種性能折衷困境在小樣本類增量環境下會更為嚴重。

為此，我們嘗試從一種新的認知啟發的角度來解決小樣本類增量學習問題。近期的認知學研究表明，物體的拓撲對維持已學知識的記憶非常重要。一旦記憶的拓撲特性發生改變，會導致人類對已見過物體視覺刺激的再認出現大幅退化，這直接導致了災難性遺忘（catastrophic forgetting）的產生。為此，我們認為，保持住舊知識空間的拓撲結構，是解決災難性遺忘的關鍵。因此，我們提出使用神經氣體（NG，neural gas）網絡來對已學知識進行抽取和表示。該網絡可以學習并保留由不同類別形成的特征流形的拓撲。在此基礎上，我們提出了拓撲保持知識增長器（TOPIC，TOPology-Preserving Knowledge InCrementer）框架。TOPIC框架一方面通過穩定神經氣體網絡NG的拓撲結構緩解了舊知識的遺忘，另一方面通過使NG成長并適應新的訓練樣本來改進在少量新類別樣本上的表征學習。

題目： Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation

摘要： 圖像級弱監督語義分割是近年來深入研究的一個具有挑戰性的問題。大多數高級解決方案都利用類激活映射(CAM)。然而，由于監督的充分性和弱監督的差距，CAMs很難作為目標掩模。在這篇論文中，我們提出了一個自我監督的等變注意機制(SEAM)來發現額外的監督并縮小差距。我們的方法是基于等方差是完全監督語義分割的一個隱含約束，其像素級標簽在數據擴充過程中與輸入圖像進行相同的空間變換。然而，這種約束在圖像級監控訓練的凸輪上丟失了。因此，我們提出了對不同變換圖像的預測凸輪進行一致性正則化，為網絡學習提供自監督。此外，我們提出了一個像素相關模塊(PCM)，它利用上下文外觀信息，并改進當前像素的預測由其相似的鄰居，從而進一步提高CAMs的一致性。在PASCAL VOC 2012數據集上進行的大量實驗表明，我們的方法在同等監督水平下表現優于最先進的方法。

標題

對抗特征幻覺網絡的小樣本學習，Adversarial Feature Hallucination Networks for Few-Shot Learning

關鍵字

小樣本學習，神經網絡，生成對抗網絡，機器學習，人工智能

簡介

最近在各種任務中進行的深度學習蓬勃發展，在很大程度上已經獲得了豐富且可訪問的標記數據的認可。 盡管如此，對于許多實際應用而言，大量的監督仍然是奢侈的事情，這引起了人們對標簽稀缺技術的極大興趣，例如小樣本學習（FSL），旨在通過少量標簽樣本學習新類的概念。 FSL的自然方法是數據擴充，許多最近的工作通過提出各種數據綜合模型證明了其可行性。 但是，這些模型不能很好地確保合成數據的可分辨性和多樣性，因此經常會產生不良結果。 在本文中，我們提出了基于條件Wasserstein生成對抗網絡（cWGAN）的對抗特征幻覺網絡（AFHN），并幻化了以少量標記樣本為條件的各種和判別特征。 兩種新穎的正則化器，即分類正則器和反崩潰正則器，被合并到AFHN中以分別促進合成特征的可辨別性和多樣性。 消融研究驗證了所提出的基于cWGAN的特征幻覺框架和所提出的調節器的有效性。 在三個常見基準數據集上的比較結果證實了AFHN優于現有的基于數據增強的FSL方法和其他最新方法的優越性。

作者

Kai Li, Yulun Zhang, Kunpeng Li, Yun Fu，波士頓東北大學電氣與計算機工程系

?【導讀】NeurIPS 是全球最受矚目的AI、機器學習頂級學術會議之一，每年全球的人工智能愛好者和科學家都會在這里聚集，發布最新研究。NIPS 2019大會已經在12月8日-14日在加拿大溫哥華舉行。這次專知小編發現零樣本學習(Zero-Shot Learning, ZSL)在今年的NeurIPS出現了好多篇，也突出其近期的火熱程度， 為此，專知小編整理了NIPS 2019零樣本學習(Zero-Shot Learning)相關的論文供大家學習收藏—零樣本知識遷移、Transductive ZSL、多注意力定位、ZSL語義分割、對偶對抗語義一致網絡。

1. Zero-shot Knowledge Transfer via Adversarial Belief Matching

作者：Paul Micaelli and Amos Storkey

摘要：在現代深度學習應用中，將知識從一個大的teacher network遷移到一個小的student network中是一個很受歡迎的任務。然而，由于數據集的規模越來越大，隱私法規也越來越嚴格，越來越多的人無法訪問用于訓練teacher network的數據。我們提出一種新方法，訓練student network在不使用任何數據或元數據的情況下，與teacher network的預測相匹配。我們通過訓練一個對抗生成器來搜索student與teacher匹配不佳的圖片，然后使用它們來訓練student，從而達到這個目的。我們得到的student在SVHN這樣的簡單數據集上與teacher非常接近，而在CIFAR10上，盡管沒有使用數據，我們在few-shot distillation (100 images per class)的技術水平上進行了改進。最后，我們還提出了一種度量標準，來量化teacher與student在決策邊界附近的信念匹配程度，并觀察到我們的zero-shot student與teacher之間的匹配程度顯著高于用真實數據提取的student與teacher之間的匹配程度。我們的代碼鏈接如下:

//github.com/polo5/ZeroShotKnowledgeTransfer。

網址：

 2. Transductive Zero-Shot Learning with Visual Structure Constraint

作者：Ziyu Wan, Dongdong Chen, Yan Li, Xingguang Yan, Junge Zhang, Yizhou Yu and Jing Liao

摘要：為了識別未知類的目標，現有的零樣本學習(Zero-Shot Learning, ZSL)方法大多是先根據源可見類的數據，在公共語義空間和視覺空間之間學習一個相容的投影函數，然后直接應用于目標未知類。然而，在實際場景中，源域和目標域之間的數據分布可能不匹配，從而導致眾所周知的domain shift問題。基于觀察到的測試實例的視覺特征可以被分割成不同的簇，我們針對轉導ZSL的類中心提出了一種新的視覺結構約束，以提高投影函數的通用性（即緩解上述域移位問題）。具體來說，采用了三種不同的策略 (symmetric Chamfer-distance, Bipartite matching distance, 和Wasserstein distance) 來對齊測試實例的投影不可見的語義中心和可視集群中心。我們還提出了一種新的訓練策略，以處理測試數據集中存在大量不相關圖像的實際情況，這在以前的方法中是沒有考慮到的。在許多廣泛使用的數據集上進行的實驗表明，我們所提出的視覺結構約束能夠持續地帶來可觀的性能增益，并取得最先進的結果。我們源代碼在：

網址：

3. Semantic-Guided Multi-Attention Localization for Zero-Shot Learning

作者：Yizhe Zhu, Jianwen Xie, Zhiqiang Tang, Xi Peng and Ahmed Elgammal

摘要：零樣本學習（Zero-shot learning）通過引入類的語義表示，將傳統的目標分類擴展到不可見的類識別。現有的方法主要側重于學習視覺語義嵌入的映射函數，而忽視了學習discriminative視覺特征的效果。本文研究了discriminative region localization的意義。提出了一種基于語義引導的多注意力定位模型，該模型能自動發現目標中最discriminative的部分，實現零樣本學習，不需要人工標注。我們的模型從整個目標和被檢測部分共同學習協作的全局和局部特征，根據語義描述對對象進行分類。此外，在嵌入softmax loss和class-center triplet loss的聯合監督下，鼓勵模型學習具有高類間離散性和類內緊湊性的特征。通過對三種廣泛使用的零樣本學習基準的綜合實驗，我們證明了multi-attention localization的有效性，我們提出的方法在很大程度上改進了最先進的結果。

網址：

4. Zero-shot Learning via Simultaneous Generating and Learning

作者：Hyeonwoo Yu and Beomhee Lee

摘要：為了克服不可見類訓練數據的不足，傳統的零樣本學習方法主要在可見數據點上訓練模型，并利用可見類和不可見類的語義描述。在探索類與類之間關系的基礎上，我們提出了一個深度生成模型，為模型提供了可見類與不可見類的經驗。該方法基于類特定多模態先驗的變分自編碼器，學習可見類和不可見類的條件分布。為了避免使用不可見類的示例，我們將不存在的數據視為缺失的示例。也就是說，我們的網絡目標是通過迭代地遵循生成和學習策略來尋找最優的不可見數據點和模型參數。由于我們得到了可見類和不可見類的條件生成模型，因此無需任何現成的分類器就可以直接進行分類和生成。在實驗結果中，我們證明了所提出的生成和學習策略使模型取得了優于僅在可見類上訓練的結果，也優于幾種最先進的方法。

網址：

5. Zero-Shot Semantic Segmentation

作者：Maxime Bucher, Tuan-Hung VU, Matthieu Cord and Patrick Pérez

摘要：語義分割模型在擴展到大量對象類別的能力上受到限制。在本文中，我們介紹了零樣本語義分割的新任務：用零訓練實例學習從未見過的對象類別的像素級分類器。為此，我們提出了一個新的架構，ZS3Net，結合了一個深度的視覺分割模型和一種從語義詞嵌入生成視覺表示的方法。通過這種方式，ZS3Net解決了在測試時可見和不可見的類別都面臨的像素分類任務(所謂的“generalized” zero-shot 分類)。通過依賴于不可見類的像素的自動偽標記的自訓練步驟，可以進一步提高性能。在兩個標準的細分數據集，Pascal-VOC和Pascal-Context，我們提出了zero-shot基準和設置競爭的baseline。對于Pascal-Context數據集中的復雜場景，我們通過使用圖形-上下文編碼來擴展我們的方法，以充分利用來自類分割圖的空間上下文先驗。

網址：

6. Dual Adversarial Semantics-Consistent Network for Generalized Zero-Shot Learning

作者：Jian Ni, Shanghang Zhang and Haiyong Xie

摘要：廣義零樣本學習(Generalized zero-shot learning，GZSL)是一類具有挑戰性的視覺和知識遷移問題，在測試過程中，既有看得見的類，也有看不見的類。現有的GZSL方法要么在嵌入階段遭遇語義丟失，拋棄有區別的信息，要么不能保證視覺語義交互。為了解決這些局限性，我們提出了一個Dual Adversarial Semantics-Consistent Network (簡稱DASCN)，它在一個統一的GZSL框架中學習原始的和對偶的生成的對抗網絡(GANs)。在DASCN中，原始的GAN學習綜合類間的區別和語義——從可見/不可見類的語義表示和對偶GAN重構的語義表示中保留視覺特征。對偶GAN通過語義一致的對抗性學習，使合成的視覺特征能夠很好地表示先驗語義知識。據我們所知，這是針對GZSL采用新穎的Dual-GAN機制的第一個工作。大量的實驗表明，我們的方法比最先進的方法取得了顯著的改進。

網址：