亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

我們常常希望將表征性知識從一個神經網絡轉移到另一個神經網絡。例如，將一個大的網絡提煉成一個較小的網絡，將知識從一種感覺模態傳遞到另一種感覺模態，或者將一組模型集成到一個單獨的估計器中。知識蒸餾是解決這些問題的標準方法，它最小化了教師和學生網絡的概率輸出之間的KL分歧。我們證明這一目標忽視了教師網絡的重要結構知識。這激發了另一個目標，通過這個目標，我們訓練學生從老師對數據的描述中獲取更多的信息。我們把這個目標稱為對比學習。實驗表明，我們得到的新目標在各種知識轉移任務(包括單模型壓縮、集成蒸餾和跨模態轉移)上的性能優于知識蒸餾和其他前沿蒸餾器。我們的方法在許多轉移任務中設置了一個新的水平，有時甚至超過教師網絡與知識蒸餾相結合。

題目： NETWORK DECONVOLUTION

摘 要:

卷積是卷積神經網絡(CNNs)的核心操作，它將一個核函數應用于圖像上移位的重疊區域。然而，由于實際圖像數據具有很強的相關性，卷積核實際上是對冗余數據的再學習。在這項工作中，我們證明了這種冗余使神經網絡訓練具有挑戰性，并提出了網絡反褶積，這是一種在數據被輸入到每一層之前最優地去除像素和信道相關的方法。網絡反褶積可以有效地計算在一個卷積層的計算成本的一小部分。我們還發現，網絡第一層的反褶積濾波器與大腦視覺區域的生物神經元中發現的中央環繞結構相似。使用這種內核進行過濾會得到一個稀疏表示，這是神經網絡訓練中所缺少的一個理想特性。在不使用批處理標準化的情況下，從稀疏表示中學習可以促進更快的收斂和更好的結果。我們將我們的網絡反褶積操作應用到10個現代神經網絡模型中，在每個模型中替換批量歸一化。大量的實驗表明，在CIFAR-10、CIFAR-100、MNIST、Fashion-MNIST、Cityscapes和ImageNet數據集的所有情況下，網絡反卷積操作都能夠提供性能改進。

題目： Adversarial Cross-Domain Action Recognition with Co-Attention

摘要： 動作識別是一個被廣泛研究的課題，其研究重點是有監督的學習，包括足夠多的視頻。然而，跨域動作識別的問題，即訓練和測試視頻是從不同的底層分布中提取出來的，在很大程度上仍然沒有得到充分的研究。以往的方法直接采用跨域圖像識別技術，容易出現嚴重的時間錯位問題。提出了一種時間協同注意網絡（TCoN），該網絡利用一種新的跨域協同注意機制，對源域和目標域之間的時間對準動作特征分布進行了匹配。在三個跨域動作識別數據集上的實驗結果表明，在跨域設置下，TCoN顯著地改進了以往的單域和跨域方法。

作者簡介： Boxiao Pan，斯坦福大學視覺與學習實驗室的碩士。他對構建能夠解釋和理解以人為中心的行為、場景和事件的智能系統非常著迷，尤其是通過視頻輸入。//cs.stanford.edu/~bxpan/

Zhangjie Cao，斯坦福大學計算機科學系的博士。

論文題目

FEW SHOT LINK PREDICTION VIA META LEARNING

論文摘要

我們考慮了樣本鏈接預測的任務，其目標是僅使用一個小樣本的已知邊來預測多個圖中的未命中邊。但是，目前的鏈路預測方法通常不適合處理這項任務，因為它們無法在多圖環境中有效地在圖之間傳遞知識，也無法有效地從非常稀疏的數據中學習。為了應對這一挑戰，我們引入了一個新的基于梯度的元學習框架meta Graph，它利用高階梯度和一個學習的Graph sig nature函數來有條件地生成一個Graph神經網絡初始化，我們證明，元圖形不僅可以快速適應，而且可以更好地最終收斂，并且僅使用一小部分真實邊緣樣本就可以有效地學習。

論文作者

Avishek Joey Bose*來自麥吉爾大學。

論文題目

Model Cards for Model Reporting

論文摘要

在給定一些具有足夠訓練樣本的基本類別上，少鏡頭學習的目的是從很少的樣本中學習新的類別。這項任務的主要挑戰是新的類別容易受到顏色、紋理、物體形狀或背景背景（即特異性）的支配，這對于給定的少數訓練樣本是不同的，但對于相應的類別則不常見。幸運的是，我們發現基于范疇可以幫助學習新概念，從而避免新概念被特定性所支配。此外，結合不同類別之間的語義關聯，可以有效地規范這種信息傳遞。在這項工作中，我們以結構化知識圖的形式來表示語義關聯，并將此圖集成到深度神經網絡中，利用一種新的知識圖轉移網絡（KGTN）來促進少量鏡頭的學習。具體地說，通過使用對應類別的分類器權重初始化每個節點，學習傳播機制以自適應地通過圖來探索節點間的相互作用，并將基本類別的分類器信息傳遞給新類別的分類器信息。在ImageNet數據集上進行的大量實驗表明，與當前領先的競爭對手相比，性能有了顯著提高。此外，我們還構建了一個涵蓋更大尺度類別（即6000個類別）的ImageNet-6K數據集，在該數據集上的實驗進一步證明了我們提出的模型的有效性。

論文作者 陳日泉，陳天水，許曉璐，吳鶴峰，李冠斌，梁林，中山大學達克馬特人工智能研究所。

論文摘要

多路網絡中的節點通過多種類型的關系進行連接。然而，大多數現有的網絡嵌入方法假定只有節點之間存在單一類型的關系。即使對于考慮網絡復用性的人，他們忽略節點屬性，求助于節點標簽進行訓練，并且無法對圖的全局屬性建模。我們提出了一種簡單而有效的無監督網絡嵌入方法，該方法是基于深部圖的自組織網絡，該方法最大限度地利用圖的局部斑塊之間的互信息，以及整個圖的全局表示。我們設計了一個系統的方法來聯合集成來自多個圖的節點嵌入，方法是：1）使用一致正則化框架來最小化關系類型特定的節點嵌入之間的分歧；2）使用通用鑒別器來區分真正的樣本，而不考慮關系類型。我們還表明，注意機制可以推斷每種關系類型的重要性，因此可以作為預處理步驟用于過濾不必要的關系類型。在各種下游任務上的大量實驗表明，盡管DMGI是完全無監督的，但DMGI仍然優于現有的方法。

論文作者

Chanyoung Park1, Donghyun Kim, Jiawei Han1, Hwanjo Yu，伊利諾伊大學香檳分校計算機科學系，韓國浦項科技大學計算機科學與工程系