亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目：

Con?dence-Aware Learning for Deep Neural Networks

簡介：

盡管深度神經網絡可以執行多種任務，但過分一致的預測問題限制了它們在許多安全關鍵型應用中的實際應用。已經提出了許多新的工作來減輕這個問題，但是大多數工作需要在訓練和/或推理階段增加計算成本，或者需要定制的體系結構來分別輸出置信估計。在本文中，我們提出了一種使用新的損失函數訓練深度神經網絡的方法，稱為正確排名損失，該方法將類別概率顯式規范化，以便根據依據的有序等級更好地進行置信估計。所提出的方法易于實現，并且無需進行任何修改即可應用于現有體系結構。而且，它的訓練計算成本幾乎與傳統的深度分類器相同，并且通過一次推斷就可以輸出可靠的預測。在分類基準數據集上的大量實驗結果表明，所提出的方法有助于網絡產生排列良好的置信度估計。我們還證明，它對于與置信估計，分布外檢測和主動學習密切相關的任務十分有效。

實現對新類別進行持續增量學習的能力對于現實世界人工智能系統的發展至關重要。目前的類增量學習（CIL，class-incremental learning）研究往往提供了較為充足的帶標簽新類別樣本，而在諸如智能相冊等實際應用中，用戶可能只有興趣提供極少量有標簽的新類別樣本。因此研究小樣本深度類增量學習迫在眉睫。在本文中，我們著重研究這個面向實際應用但極具挑戰性的小樣本類增量連續學習（FSCIL，few-shot class-incremental learning）問題。FSCIL要求CNN模型從少量的帶標簽樣本中增量式地學習新的類別，而不會忘記先前學習的樣本。

傳統的深度類增量學習研究通常使用知識蒸餾（knowledge distillation）方法。它們通常存儲一部分舊類別的樣本，通過蒸餾損失函數來維持分類模型在舊類別樣本上的輸出。盡管在某種程度上有效，這種基于蒸餾損失的方法也存在一些問題。首先，其面臨嚴重的類別不平衡問題，即分類器輸出會嚴重偏置（baised）到擁有較多樣本的類別上；其次，它們往往面臨在新舊類之間進行性能折衷（trade-off）的困境。由于在極少樣本情況下，需要認為增大學習率以及增強新類損失的梯度才能使新類別的學習變得有意義，而一旦這樣做，對舊類別知識的維持就會更加困難。因此這種性能折衷困境在小樣本類增量環境下會更為嚴重。

為此，我們嘗試從一種新的認知啟發的角度來解決小樣本類增量學習問題。近期的認知學研究表明，物體的拓撲對維持已學知識的記憶非常重要。一旦記憶的拓撲特性發生改變，會導致人類對已見過物體視覺刺激的再認出現大幅退化，這直接導致了災難性遺忘（catastrophic forgetting）的產生。為此，我們認為，保持住舊知識空間的拓撲結構，是解決災難性遺忘的關鍵。因此，我們提出使用神經氣體（NG，neural gas）網絡來對已學知識進行抽取和表示。該網絡可以學習并保留由不同類別形成的特征流形的拓撲。在此基礎上，我們提出了拓撲保持知識增長器（TOPIC，TOPology-Preserving Knowledge InCrementer）框架。TOPIC框架一方面通過穩定神經氣體網絡NG的拓撲結構緩解了舊知識的遺忘，另一方面通過使NG成長并適應新的訓練樣本來改進在少量新類別樣本上的表征學習。

主題： DEPARA: Deep Attribution Graph for Deep Knowledge Transferability

摘要： 探索經過PRe訓練的深度神經網絡（PR-DNN）編碼的異構任務之間的知識之間的內在聯系，揭示了它們的相互可移植性，從而使知識能夠從一項任務轉移到另一項任務，從而減少了后者的培訓工作量。在本文中，我們提出了DEeP屬性圖（DEPARA），以研究從PR-DNN中獲得的知識的可傳遞性。在DEPARA中，節點對應于輸入，并由其相對于PR-DNN輸出的矢量歸因圖表示。邊緣表示輸入之間的相關性，并通過從PR-DNN中提取的特征相似性來衡量。兩個PR-DNN的知識可傳遞性是通過它們對應的DEPARA的相似性來衡量的。我們將DEPARA應用于轉移學習中的兩個重要但尚未充分研究的問題：預先訓練的模型選擇和層選擇。進行了廣泛的實驗以證明所提出的方法在解決這兩個問題上的有效性和優越性。

當對一系列學習問題進行優化時，卷積神經網絡會經歷災難性的遺忘:當滿足當前訓練示例的目標時，它們在以前任務中的性能會急劇下降。在這項工作中，我們介紹了一個基于條件計算的新的框架來解決這個問題。

視頻描述是一項具有挑戰性的任務，需要對視覺場景有深刻的理解。最先進的方法使用場景級或對象級信息生成標題，但不顯式地建模對象交互。因此，他們往往無法做出有視覺根據的預測，而且對虛假的相關性很敏感。本文提出了一種新的視頻描述時空圖模型，該模型利用了時空中物體間的相互作用。我們的模型建立了可解釋的鏈接，并能夠提供明確的視覺基礎。為了避免由于對象數量的變化而導致系統性能的不穩定，提出了一種基于局部對象信息的全局場景特征正則化的對象感知知識提取機制。我們通過在兩個基準上的大量實驗來證明我們的方法的有效性，表明我們的方法具有可解釋預測的競爭性能。

現有的知識蒸餾方法主要集中在卷積神經網絡(convolutional neural networks~， CNNs)上，其中圖像等輸入樣本位于一個網格域內，而處理非網格數據的graph convolutional networks~(GCN)則在很大程度上被忽略。在這篇論文中，我們提出從一個預先訓練好的GCN模型中蒸餾知識的第一個專門方法。為了實現知識從教師到學生的遷移，我們提出了一個局部結構保留模塊，該模塊明確地考慮了教師的拓撲語義。在這個模塊中，來自教師和學生的局部結構信息被提取為分布，因此最小化這些分布之間的距離，使得來自教師的拓撲感知的知識轉移成為可能，從而產生一個緊湊但高性能的學生模型。此外，所提出的方法很容易擴展到動態圖模型，其中教師和學生的輸入圖可能不同。我們使用不同架構的GCN模型，在兩個不同的數據集上對所提出的方法進行了評估，并證明我們的方法達到了GCN模型最先進的知識蒸餾性能。

簡介： 許多人工智能任務需要跨域決策。例如，許多NLP任務涉及跨多種語言的預測，其中不同語言可以被視為不同的領域；在人工智能輔助的生物醫學研究中，藥物副作用的預測通常與蛋白質和生物體相互作用的建模并行。為了支持機器學習模型來解決這類跨域任務，需要提取不同域中數據組件的特征和關系，并在統一的表示方案中捕獲它們之間的關聯。針對這一需求，表示學習的最新進展往往涉及到將不同域的未標記數據映射到共享嵌入空間。這樣，就可以通過向量配置或變換來實現跨領域的知識轉移。這種可轉移的表示在涉及跨域決策的一系列人工智能應用中取得了成功。然而，這一領域的前沿研究面臨著兩大挑戰。一是在學習資源很少的情況下，有效地從特定領域提取特征。另一種方法是在最少的監督下精確地對齊和傳輸知識，因為連接在不同域之間的對齊信息常常是不足的和有噪聲的。在本教程中，我們將全面回顧可轉移表示學習方法的最新發展，重點是針對文本、多關系和多媒體數據的方法。除了介紹域內嵌入學習方法外，我們還將討論各種半監督、弱監督、多視圖和自監督學習技術，以連接多個特定域的嵌入表示。我們還將比較域內嵌入學習和跨域對齊學習的改進和聯合學習過程。此外，我們將討論如何利用獲得的可轉移表示來解決低資源和無標簽的學習任務。參與者將了解本主題的最新趨勢和新挑戰，獲得現成模型的代表性工具和學習資源，以及相關模型和技術如何有利于現實世界的人工智能應用。

主講人簡介： Muhao Chen，博士后。他于2019年獲得加州大學洛杉磯分校計算機科學博士學位。他的研究重點是結構化和非結構化數據的數據驅動機器學習方法，并將其應用擴展到自然語言理解、知識庫構建、計算生物學和醫學信息學。特別是，他感興趣的是開發具有概括性且需要最少監督的知識感知學習系統。他的工作在主要會議和期刊上發表了30多篇文章。他的論文研究獲得了加州大學洛杉磯分校的論文獎學金。個人主頁：//muhaochen.github.io/等

題目： Adversarial-Learned Loss for Domain Adaptation

摘要： 近年來，在跨領域學習可轉移表征方面取得了顯著的進展。以往的領域適應研究主要基于兩種技術：領域對抗學習和自我訓練。然而，領域對抗性學習只會調整領域之間的特征分布，而不考慮目標特征是否具有區分性。另一方面，自訓練利用模型預測來增強目標特征的識別，但無法明確地指定領域分布。為了將這兩種方法的優點結合起來，我們提出了一種新的領域自適應的通用學習損失（ALDA）方法，首先分析了一種典型的自訓練方法偽標簽方法。然而，偽標簽和地面真實性之間存在差距，這可能導致錯誤的訓練。因此，我們引入了混淆矩陣，通過對抗性的方式在ALDA中學習，以減少gap并對齊特征分布。最后，從學習的混淆矩陣中自動構造一個新的損失函數，作為未標記目標樣本的損失。在四標準域自適應數據集中，OurALDA優于最新方法。

作者簡介： Haifeng Liu，博士，浙江大學計算機學院副教授。個人主頁：//person.zju.edu.cn/en/hfliu

論文題目

Model Cards for Model Reporting

論文摘要

在給定一些具有足夠訓練樣本的基本類別上，少鏡頭學習的目的是從很少的樣本中學習新的類別。這項任務的主要挑戰是新的類別容易受到顏色、紋理、物體形狀或背景背景（即特異性）的支配，這對于給定的少數訓練樣本是不同的，但對于相應的類別則不常見。幸運的是，我們發現基于范疇可以幫助學習新概念，從而避免新概念被特定性所支配。此外，結合不同類別之間的語義關聯，可以有效地規范這種信息傳遞。在這項工作中，我們以結構化知識圖的形式來表示語義關聯，并將此圖集成到深度神經網絡中，利用一種新的知識圖轉移網絡（KGTN）來促進少量鏡頭的學習。具體地說，通過使用對應類別的分類器權重初始化每個節點，學習傳播機制以自適應地通過圖來探索節點間的相互作用，并將基本類別的分類器信息傳遞給新類別的分類器信息。在ImageNet數據集上進行的大量實驗表明，與當前領先的競爭對手相比，性能有了顯著提高。此外，我們還構建了一個涵蓋更大尺度類別（即6000個類別）的ImageNet-6K數據集，在該數據集上的實驗進一步證明了我們提出的模型的有效性。

論文作者 陳日泉，陳天水，許曉璐，吳鶴峰，李冠斌，梁林，中山大學達克馬特人工智能研究所。