亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

//arxiv.org/abs/2008.04031

對于有足夠標記樣本的基類，小樣本分類的目標是在只有少量標記樣本的情況下識別新類的未標記樣本。現有的方法大多只關注新類的標記樣本和未標記樣本之間的關系，沒有充分利用基類內部的信息。在本文中，我們為研究小樣本分類問題做了兩個貢獻。首先，我們提出了一個簡單而有效的基線，通過傳統的監督學習的方式在基類上訓練，可以取得與目前水平相當的結果。其次，在基線的基礎上，我們提出了一個協作的雙路徑分類度量，它利用基類和新類之間的相關性來進一步提高分類的準確性。在兩個廣泛使用的基準上的實驗表明，該方法是一種簡單有效的分類方法，在小樣本分類領域開創了一種新局面。

摘要

在只有很少數據的情況下，如分類問題中的新類別或輸入中的域變換，現代視覺系統的性能會急劇下降。在這項工作中，我們說明了支撐現代視覺系統的神經網絡表征如何受到監督崩塌的影響，從而丟失了執行訓練任務所不需要的任何信息，包括遷移到新任務或領域所需要的信息。然后我們提出了兩種方法來緩解這一問題。首先，我們采用自監督學習來鼓勵能夠更好地遷移的通用特性。第二,我們提出一種新穎的基于Transformer的神經網絡結構稱為CrossTransformers,這可能需要少量的標記圖像和一個無標簽查詢,發現粗空間對應查詢和標簽之間的圖像,然后通過計算相應空間之間的距離特性推斷相似類別的樣本。結果是一個分類器在任務和領域遷移方面更加具有魯棒性，我們通過在Meta-Dataset上的最先進的性能來證明這一點，Meta-Dataset是一個最近的數據集，用于評估從ImageNet到許多其他視覺數據集的遷移。

介紹

通用視覺系統必須具有適應性。比如家庭機器人必須能夠在新的、看不見的家庭中操作；照片組織軟件必須能夠識別看不見的物體(例如，尋找我六年級兒子的抽象藝術作品的樣本)；工業質量保證體系必須發現新產品中的缺陷。深度神經網絡表示可以從像ImageNet這樣的數據集中帶來一些視覺知識，用于ImageNet之外的不同任務，但從經驗上講，這需要在新任務中使用大量的標記數據。如果標簽數據太少，或者在分布上有大的變化，這樣的系統在實際上會表現很差。元學習研究直接衡量適應性。在訓練時，算法會收到大量的數據和伴隨的監督(如標簽)。然而，在測試時，算法會接收到一系列的片段，每個片段都由一小部分數據點組成，這些數據點來自不同于訓練集的分布(例如，不同的域或不同的類別)。只有這些數據的一個子集有伴隨的監督(稱為支持集);算法必須對其余部分(查詢集)進行預測。元數據集尤其與視覺相關，因為它的挑戰是小樣本細粒度圖像分類。訓練數據是ImageNet類的子集。在測試時，每一集都包含來自其他ImageNet類的圖像，或者來自其他九個細粒度識別數據集之一的圖像。算法必須快速調整其表示以適應新的類別和域。 簡單的基于中心的算法，如Prototypical Nets在Meta-Dataset方面處于或接近最先進的水平，并且在支持集的外置ImageNet類上可以達到大約50%的精度(概率大約是1 / 20)。在同樣的挑戰下，在這些外面的類上訓練等價的分類器可以達到84%的準確率。是什么導致了性能上的巨大差異分布內樣本和分布外樣本?我們假設典型的網絡，像大多數元學習算法一樣，很少要求表示捕獲訓練集以外的任何東西。由于核心神經網絡是為分類而設計的，它們傾向于這樣做:只表示類別信息，而丟失可能在訓練類別之外有用的信息。我們稱這個問題為監督崩塌，并在圖1中說明了這個問題。

我們的第一個貢獻是探索用自我監督來克服監督崩塌。我們使用SimCLR學習嵌入，區分數據集中的每個圖像，同時保持不變的轉換(例如，裁剪和顏色轉移)，因此捕獲的不僅僅是類別的信息。然而，與其將SimCLR視為一種輔助損失，不如將SimCLR重新定制為可以以同樣的方式分類為訓練插曲的插曲。我們的第二個貢獻是提出一種被稱為CrossTransformers的新架構，它將Transformer擴展到小樣本的細粒度分類。我們的關鍵見解是，物體和場景通常由較小的部分組成，局部外觀可能與訓練時看到的相似。這方面的經典例子是出現在早期幾篇關于視覺的論文中的半人馬，其中人和馬的部分組成了半人馬。

CrossTransformers的操作持有這一觀點(i)基于部分的局部比較,和(2)考慮空間對齊,讓程序去比較與底層類無關的圖像。更詳細地說，首先使用Transformer中的注意力來構建查詢集和支持集圖像中的幾何或功能部分之間的粗對齊。然后，給定這種對齊方式，計算相應局部特征之間的距離來指導分類。我們將演示這將改進未見類和域的泛化。

綜上所述，我們在本文中的貢獻是:(i)我們通過自監督技術提高了局部特征的魯棒性，修改了最先進的SimCLR算法。(ii)我們提出了CrossTransformers，這是一種空間感知的網絡架構，使用更多的局部特征進行小樣本分類，從而改進了遷移。最后，(iii)我們評估和分析了這些算法的選擇如何影響Meta-Dataset集的性能，并在其中幾乎每一個數據集上展示最先進的結果。

圖神經網絡(GNN)已經在許多具有挑戰性的應用中展示了優越的性能，包括小樣本學習任務。盡管GNN具有強大的從少量樣本中學習和歸納的能力，但隨著模型的深入，GNN通常會出現嚴重的過擬合和過平滑問題，這限制了模型的可擴展性。在這項工作中，我們提出了一個新的注意力GNN來解決這些挑戰，通過合并三重注意機制，即節點自我注意，鄰居注意和層記憶注意力。我們通過理論分析和實例說明了所提出的注意模塊可以改善小樣本學習的GNN的原因。廣泛的實驗表明，在mini-ImageNet 和Tiered-ImageNet數據集上，通過誘導和直推設置，提出的注意力GNN在小樣本學習方面優于基于最先進的GNN方法。

題目： Online Deep Clustering for Unsupervised Representation Learning

摘要：

聯合聚類和特征學習方法在無監督表示學習中表現出了顯著的效果。但是，特征聚類和網絡參數更新訓練計劃的交替導致視覺表征學習的不穩定。為了克服這個挑戰，我們提出在線深度集群(ODC)，它可以同時執行集群和網絡更新，而不是交替進行。關鍵見解是，聚類中心應該穩步發展，以保持分類器的穩定更新。具體來說，設計和維護了兩個動態內存模塊，即樣本記憶用于存儲樣本標簽和特征，中心記憶用于中心進化。我們將全局聚類分解為穩定的內存更新和成批的標簽重新分配。該過程被集成到網絡更新迭代中。通過這種方式，標簽和網絡齊頭并進，而不是交替發展。大量的實驗表明，ODC能夠穩定訓練過程，有效地提高訓練性能。

近年來元學習研究的重點是開發能夠在有限的數據和較低的計算成本下快速適應測試時間任務的學習算法。小樣本學習是元學習的標準基準之一。在這項工作中，我們證明了一個簡單的基線:學習元訓練集上的監督或自我監督表示，然后在這個表示上訓練一個線性分類器，比目前最先進的小樣本學習方法要好。通過使用自蒸餾可以獲得額外的提升。這表明使用一個好的學習嵌入模型比復雜的元學習算法更有效。我們相信，我們的發現促使我們重新思考小樣本圖像分類基準和元學習算法的相關作用。

摘要 近年來，使用結構化數據建模的圖神經網絡(GNNs)取得了巨大的成功。然而，大多數的GNN都是針對同構圖設計的，在同構圖中，所有的節點和邊都屬于同一種類型，使得它們無法表示異構結構。在這篇論文中，我們提出了一種異構圖 Transformer(HGT)結構來對web級的異構圖進行建模。為了對異構性進行建模，我們設計了節點類型和邊類型的相關參數來描述每個邊上的異構注意力程度，從而使HGT能夠維護不同類型節點和邊的特定表示。為了處理動態異構圖，我們在HGT中引入了相對時間編碼技術，該技術能夠捕獲具有任意持續時間的動態結構依賴關系。針對網絡規模圖數據的處理問題，設計了高效、可擴展的小批量圖數據采樣算法HGSampling。在擁有1.79億個節點和20億個邊的開放學術圖上進行的大量實驗表明，所提出的HGT模型在各種下游任務上的性能始終比所有最先進的GNN基線高9-21%。

關鍵詞：圖神經網絡；異構信息網絡；表示學習；圖嵌入；圖注意力

介紹

異構圖通常對復雜的系統進行抽象和建模，其中不同類型的對象以各種方式相互交互。此類系統的一些常見實例包括學術圖、Facebook實體圖、LinkedIn經濟圖，以及廣泛的物聯網網絡。例如，圖1中的開放學術圖(OAG)[28]包含五種類型的節點:論文、作者、機構、場所(期刊、會議或預印本)和字段，以及它們之間不同類型的關系。

在過去的十年中，人們對異構圖[17]的挖掘進行了大量的研究。其中一個經典的范例就是定義和使用元路徑來對異類結構進行建模，例如PathSim[18]和變元ath2vec[3]。最近，鑒于圖神經網絡(GNNs)的成功[7,9,22]，[14,23,26,27]嘗試采用GNNs來學習異構網絡。然而，這些工作面臨著幾個問題:首先，它們大多涉及到為每種類型的異構圖設計元路徑，這需要特定的領域知識;其次，它們要么簡單地假設不同類型的節點/邊共享相同的特征和表示空間，要么為節點類型或單獨的邊類型保留不同的非共享權值，使它們不足以捕獲異類圖的屬性;三是大多忽略了每一個(異構)圖的動態性;最后，它們固有的設計和實現使得它們無法對web規模的異構圖進行建模。

以OAG為例:首先，OAG中的節點和邊可能具有不同的特征分布，如論文具有文本特征，而機構可能具有來自附屬學者的特征，共同作者明顯不同于引文鏈接;OAG一直在不斷發展，例如:1)出版物的數量每12年翻一倍[4];2)KDD會議在1990年代更多地與數據庫相關，而近年來更多地與機器學習相關;最后，OAG包含數億個節點和數十億個關系，使得現有的異構GNN無法擴展來處理它。

針對這些限制和挑戰，我們建議研究異構圖神經網絡，其目標是維護節點和邊類型依賴表示、捕獲網絡動態、避免自定義元路徑和可擴展到web級圖。在這項工作中，我們提出了異構圖 Transformer(HGT)架構來處理所有這些問題。

為了處理圖的異構性，我們引入了節點類型和邊類型依賴注意力機制。HGT中的相互注意不是對每一個類型邊參數化，而是根據其元關系三元組e=(s，t)，即 s為節點類型，s與t之間的e的邊類型，t的節點類型。圖1展示了異構學術圖的元關系。具體來說，我們使用這些元關系來對權重矩陣參數化，以計算每條邊上的注意力。因此，允許不同類型的節點和邊維護其特定的表示空間。同時，不同類型的連接節點仍然可以交互、傳遞和聚合消息，而不受其分布差異的限制。由于其架構的性質，HGT可以通過跨層傳遞消息來整合來自不同類型的高階鄰居的信息，這可以看作是軟元路徑。也就是說，即使HGT只將其單跳邊作為輸入，而不需要手動設計元路徑，所提出的注意力機制也可以自動、隱式地學習和提取對不同下游任務重要的元路徑。

為了處理圖數據的動態特性，我們提出了相對時間編碼(RTE)策略來增強HGT。我們不打算將輸入圖分割成不同的時間戳，而是建議將發生在不同時間的所有邊作為一個整體進行維護，并設計RTE策略來對任何持續時間長度的結構性時間依賴關系進行建模，甚至包括不可見的和未來的時間戳。通過端到端訓練，RTE使HGT能夠自動學習異構圖的時間依賴性和演化。

為了處理網絡規模的圖形數據，我們設計了第一個用于小批量GNN訓練的異構子圖采樣算法HGSampling。它的主要思想是樣本異構子圖中不同類型的節點與類似的比例,由于直接使用現有的(均勻)GNN抽樣方法,如GraphSage [7], FastGCN[1],和LADIES[29],結果在高度不平衡的關于節點和邊緣的類型。此外，它還被設計成保持采樣子圖的密度以最小化信息的丟失。通過HGSampling，所有的GNN模型，包括我們提出的HGT，都可以在任意大小的異構圖上進行訓練和推斷。

我們證明了所提出的異構圖Transformer在網絡規模開放學術圖上的有效性和效率，該開放學術圖由1.79億個節點和20億個邊組成，時間跨度從1900年到2019年，這是迄今為止在異構圖上進行的規模最大、跨度最長的表示學習。此外，我們還檢查領域特定的圖表:計算機科學和醫學學術圖表。實驗結果表明，與最先進的GNNs和專用的異構模型相比，在下游任務中HGT可以顯著提高9-21%。我們進一步進行了案例研究，表明了所提出的方法確實能夠自動捕獲不同任務的隱式元路徑的重要性。

【導讀】小樣本學習是學術界和工業界近年來關注的焦點。2020年以來，AAAI、WSDM、ICLR、CVPR會議論文公布，專知小編整理了最新8篇關于知識圖譜的論文，來自Google、PSU、人大、微軟、騰訊、阿里巴巴等，包含元遷移學習、圖神經網絡、小樣本文本分類等，請大家查看！

1、Graph Few-shot Learning via Knowledge Transfer（通過知識遷移的圖小樣本學習），AAAI2020

摘要：對于具有挑戰性的半監督節點分類問題，已有廣泛的研究。圖神經網絡(GNNs)作為一個前沿領域，近年來引起了人們極大的興趣。然而，大多數gnn具有較淺的層，接收域有限，并且可能無法獲得令人滿意的性能，特別是在標記節點數量很少的情況下。為了解決這一問題，我們創新性地提出了一種基于輔助圖的先驗知識的圖小樣本學習(GFL)算法，以提高目標圖的分類精度。具體來說，輔助圖與目標之間共享一個可轉移的度量空間，該空間以節點嵌入和特定于圖的原型嵌入函數為特征，便于結構知識的傳遞。對四個真實世界圖形數據集的大量實驗和消融研究證明了我們提出的模型的有效性

論文地址：

//arxiv.org/abs/1910.03053

2、AdarGCN: Adaptive Aggregation GCN for Few-Shot Learning（自適應聚合GCN的小樣本學習）

摘要：現有的小樣本學習(FSL)方法假設源類中存在足夠的訓練樣本，可以將知識轉移到訓練樣本較少的目標類中。然而，這種假設通常是無效的，特別是在細粒度識別方面。在這項工作中，我們定義了一個新的FSL設置，稱為few-shot fewshot learning (FSFSL)，在這種情況下，源類和目標類都只有有限的訓練樣本。為了克服源類數據稀缺的問題，一個自然的選擇是從web中抓取具有類名作為搜索關鍵字的圖像。然而，爬行圖像不可避免地會受到大量噪聲(不相關的圖像)的破壞，從而影響性能。針對這一問題，我們提出了一種基于GCN的圖形卷積網絡標簽去噪(LDN)方法來去除不相關的圖像。在此基礎上，我們提出了一種基于gcn的清潔web圖像和原始訓練圖像的FSL方法。針對LDN和FSL任務，提出了一種新的自適應聚合GCN (AdarGCN)模型。利用AdarGCN，可以自動確定每個圖節點所攜帶的信息在圖結構中傳播了多少以及傳播了多遠，從而減輕了噪聲和邊緣訓練樣本的影響。大量的實驗表明，我們的AdarGCN在新的FSFSL和傳統的FSL設置下的優越性能。

論文地址：

3、Few-shot Natural Language Generation for Task-Oriented Dialog（面向任務對話的小樣本自然語言生成）

摘要：自然語言生成(NLG)模塊是面向任務的對話系統的重要組成部分，它將語義形式的對話行為轉化為自然語言的響應。傳統的基于模板或統計模型的成功通常依賴于大量注釋的數據，這對于新領域來說是不可行的。因此，在實際應用中，如何利用有限的標記數據很好地推廣NLG系統至關重要。為此，我們提出了第一個NLG基準測試FewShotWoz來模擬面向任務的對話系統中的小樣本學習設置。進一步，我們提出了SC-GPT模型。通過對大量的NLG標注語料庫進行預訓練，獲得可控的生成能力，并通過少量的領域特定標簽進行微調，以適應新的領域。在FewShotWoz和大型的多領域woz數據集上進行的實驗表明，所提出的SC-GPT顯著優于現有的方法(通過各種自動指標和人工評估進行測量)。

論文地址：

4、Meta-Transfer Learning for Zero-Shot Super-Resolution（元遷移學習的零樣本超分）CVPR2020

摘要：卷積神經網絡(CNNs)通過使用大規模的外部樣本，在單幅圖像的超分辨率(SISR)方面有了顯著的改善。盡管它們基于外部數據集的性能非常出色，但它們無法利用特定圖像中的內部信息。另一個問題是，它們只適用于它們所監督的數據的特定條件。例如，低分辨率(LR)圖像應該是從高分辨率(HR)圖像向下采樣的“雙三次”無噪聲圖像。為了解決這兩個問題，零樣本超分辨率(ZSSR)被提出用于靈活的內部學習。然而，他們需要成千上萬的梯度更新，即推理時間長。在這篇論文中，我們提出了一種利用零樣本超分辨的元轉移學習方法。準確地說，它是基于找到一個適合內部學習的通用初始參數。因此，我們可以利用外部和內部信息，其中一個梯度更新可以產生相當可觀的結果。(見圖1)。通過我們的方法，網絡可以快速適應給定的圖像條件。在這方面，我們的方法可以應用于一個快速適應過程中的一個大光譜的圖像條件。

論文地址：

5、Few-shot Text Classification with Distributional Signatures（小樣本文本分類）ICLR2020

摘要：在本文中，我們探討了元學習在小樣本文本分類中的應用。元學習在計算機視覺方面表現出了很強的性能，在計算機視覺中，低級模式可以在學習任務之間轉移。然而，直接將這種方法應用于文本是具有挑戰性的——對于一個任務來說信息豐富的詞匯特性對于另一個任務來說可能是無關緊要的。因此，我們的模型不僅從單詞中學習，還利用它們的分布特征，這些分布特征編碼相關的單詞出現模式。我們的模型在元學習框架內進行訓練，將這些特征映射到注意力分數，然后用注意力分數來衡量單詞的詞匯表示。我們證明，我們的模型在6個基準數據集(1-shot分類平均20.0%)上，在詞匯知識學習的原型網絡(Snell et al.， 2017)上，在小樣本文本分類和關系分類上都顯著優于原型網絡。

論文地址：

6. Evolving Losses for Unsupervised Video Representation Learning（無監督視頻表示學習的損失演化）CVPR2020

摘要：我們提出了一種從大規模無標記視頻數據中學習視頻表示的新方法。理想情況下，這種表現形式應該是通用的、可轉移的，可以直接用于新的任務，比如動作識別和零或少樣本學習。我們將無監督表示法學習描述為一個多模態、多任務學習問題，其中表示法通過精餾在不同的模式之間共享。在此基礎上，我們引入了損失函數演化的概念，利用進化搜索算法自動尋找包含多個(自監督)任務和模式的損失函數的最優組合。在此基礎上，我們提出了一種基于Zipf法則的無監督表示法評價指標，該指標使用對一個大的未標記數據集的分布匹配作為先驗約束。這種不受監督的約束，不受任何標記的引導，與受弱監督的、特定于任務的約束產生類似的結果。提出的無監督表示學習方法在單RGB網絡中取得了良好的學習效果，并優于已有的學習方法。值得注意的是，它也比幾種基于標簽的方法(如ImageNet)更有效，除了大型的、完全標記的視頻數據集。

論文地址：

7. Few-shot acoustic event detection via meta-learning（元學習的小概率語音事件檢測）ICASSP 2020

摘要：本文研究了小樣本語音事件檢測技術。少樣本學習能夠用非常有限的標記數據檢測新事件。與計算機視覺等其他研究領域相比，語音識別的樣本學習研究較少。我們提出了小樣本AED問題，并探索了不同的方法來利用傳統的監督方法，以及各種元學習方法，這些方法通常用于解決小樣本分類問題。與有監督的基線相比，元學習模型具有更好的性能，從而顯示了它對新音頻事件的泛化效果。我們的分析包括初始化和領域差異的影響，進一步驗證了元學習方法在小樣本AED中的優勢。

論文地址：

8. Cross-Domain Few-Shot Classification via Learned Feature-Wise Transformation（跨域小樣本分類）ICLR2020

摘要：小樣本分類旨在識別每個類別中只有少數標記圖像的新類別。現有的基于度量的小樣本分類算法通過使用學習度量函數將查詢圖像的特征嵌入與少數標記圖像(支持示例)的特征嵌入進行比較來預測類別。雖然已經證明了這些方法有很好的性能，但是由于域之間的特征分布存在很大的差異，這些方法往往不能推廣到不可見的域。在這項工作中，我們解決了基于度量的方法在領域轉移下的少樣本分類問題。我們的核心思想是在訓練階段利用仿射變換增強圖像的特征，模擬不同領域下的各種特征分布。為了捕獲不同領域中特性分布的變化，我們進一步應用了一種學習-學習方法來搜索Feature-Wise轉換層的超參數。我們使用5個小樣本分類數據集:mini-ImageNet、CUB、Cars、Places和Plantae，在域概化設置下進行了大量的實驗和消融研究。實驗結果表明，所提出的特征變換層適用于各種基于度量的模型，并對域轉移下的小樣本分類性能提供了一致的改進。。

論文地址：