論文題目
它是這樣的:用于可解釋圖像識別的深度學習,This Looks Like That: Deep Learning for Interpretable Image Recognition
論文摘要
當我們面對具有挑戰性的圖像分類任務時,我們常常通過剖析圖像并指出一個或另一個類的典型方面來解釋我們的推理。越來越多的證據可以幫助我們做出最后的決定。在這項工作中,我們介紹了一種深度網絡體系結構——原型零件網絡(ProtoPNet),其原因與此類似:網絡通過尋找原型零件來解剖圖像,并結合原型中的證據進行最終分類。因此,該模型的推理方式與鳥類學家、醫生和其他人向人們解釋如何解決具有挑戰性的圖像分類任務的方式在質量上相似。該網絡僅使用圖像級標簽進行訓練,而不對圖像的部分進行任何注釋。我們在CUB-200-2011數據集和Stanford Cars數據集上演示了我們的方法。我們的實驗表明,ProtoPNet可以達到與其類似的不可解釋模型相當的精度,并且當幾個ProtoPNet組合成一個更大的網絡時,它可以達到與一些性能最好的深層模型相當的精度。此外,ProtoPNet提供了其他可解釋的深層模型所不具備的可解釋性。
論文模型
論文亮點
本文提出了一種新的可解釋性深度學習的思想,它基本上是由圖像本身的一些原型部分,然后利用這些原型進行分類,從而使分類過程具有可解釋性。在NIPS 2019的前3%接受論文中。 論文作者
Chaofan Chen, Oscar Li, Chaofan Tao, Alina Jade Barnett, Jonathan Su, Cynthia Rudin,作者們來自于杜克大學
題目:
Con?dence-Aware Learning for Deep Neural Networks
簡介:
盡管深度神經網絡可以執行多種任務,但過分一致的預測問題限制了它們在許多安全關鍵型應用中的實際應用。已經提出了許多新的工作來減輕這個問題,但是大多數工作需要在訓練和/或推理階段增加計算成本,或者需要定制的體系結構來分別輸出置信估計。在本文中,我們提出了一種使用新的損失函數訓練深度神經網絡的方法,稱為正確排名損失,該方法將類別概率顯式規范化,以便根據依據的有序等級更好地進行置信估計。所提出的方法易于實現,并且無需進行任何修改即可應用于現有體系結構。而且,它的訓練計算成本幾乎與傳統的深度分類器相同,并且通過一次推斷就可以輸出可靠的預測。在分類基準數據集上的大量實驗結果表明,所提出的方法有助于網絡產生排列良好的置信度估計。我們還證明,它對于與置信估計,分布外檢測和主動學習密切相關的任務十分有效。
題目: Deep Unfolding Network for Image Super-Resolution
摘要:
基于學習的單圖像超分辨率(SISR)方法不斷顯示出優于傳統的基于模型的方法的有效性和效率,這主要是由于端到端的訓練。但是,與基于模型的方法不同,基于模型的方法可以在統一的MAP(maximum a posteriori)框架下處理具有不同比例因子、模糊內核和噪聲級別的SISR問題,基于學習的方法通常缺乏這種靈活性。為了解決這一問題,本文提出了一種基于學習方法和基于模型方法的端到端可訓練展開網絡。具體來說,通過半二次分裂算法展開映射推理,可以得到由交替求解一個數據子問題和一個先驗子問題組成的固定次數的迭代。這兩個子問題可以用神經模塊來解決,從而得到一個端到端可訓練的迭代網絡。因此,所提出的網絡繼承了基于模型的方法的靈活性,在保持基于學習的方法的優點的同時,通過單一模型對不同尺度因子的模糊、有噪聲的圖像進行超分辨。大量的實驗證明了所提出的深度展開網絡在靈活性、有效性和可推廣性方面的優越性。
主題: Interpretable CNNs for Object Classification
摘要: 本文提出了一種在用于對象分類的深卷積神經網絡(CNN)中學習可解釋卷積濾波器的通用方法,其中每個可解釋濾波器對特定對象部分的特征進行編碼。我們的方法不需要對對象部件或紋理進行額外的注釋來進行監視。相反,我們在傳統CNN中使用相同的訓練數據。在學習過程中,我們的方法會自動為高轉換層中的每個可解釋過濾器分配一個特定類別的對象部分。CNN的conv層中的這種明確的知識表示有助于人們澄清CNN中編碼的邏輯,即回答CNN從輸入圖像中提取哪些模式并用于預測。我們使用不同結構的基準cnn對我們的方法進行了測試,證明了我們的方法的廣泛適用性,實驗表明我們的可解釋過濾器比傳統的過濾器在語義上更有意義。
題目: Deep Learning for Biomedical Image Reconstruction: A Survey
摘要:
醫學影像是一種寶貴的醫學資源,因為它可以窺探人體內部,為科學家和醫生提供豐富的信息,這些信息對于理解、建模、診斷和治療疾病是必不可少的。重建算法需要將采集硬件收集的信號轉換成可解釋的圖像。考慮到問題的病態性和實際應用中缺乏精確的解析反變換,重構是一項具有挑戰性的任務。而最后幾十年目睹了令人印象深刻的進步的新形式,提高時間和空間分辨率,降低成本和更廣泛的適用性,幾個改進仍然可以設想,如減少采集和重建時間以減少病人的輻射和不適,同時增加診所吞吐量和重建精度。此外,在小功率手持設備中部署生物醫學成像需要在準確性和延遲之間取得良好的平衡。
簡介:
深度學習被認為是一種無模型,端到端和黑盒子的方法。它需要大量數據樣本,而不是目標領域的專家知識。因此,它沒有指定決策的機制和原因。這方面被認為是深度學習的關鍵限制。本文介紹了另一種觀點,即貝葉斯深度學習。深度學習可以應用在任何框架中,例如貝葉斯網絡和強化學習。隨后,專家可以將知識實現為圖結構,加快學習速度,并獲得目標域上的新知識。該框架被稱為深度生成模型。相反,我們可以將貝葉斯建模方法直接引入深度學習。隨后,有可能通過不確定性量化輸出來探究關于其決策確定性的深度學習,并檢測錯誤的決策或異常輸入。使用上述方法,可以調整深度學習的“brightness”。
論文題目
一致收斂可能無法解釋深度學習中的泛化現象,Uniform convergence may be unable to explain generalization in deep learning
論文摘要
我們對基于一致收斂的泛化界的能力表示懷疑,以提供一個完整的圖像,說明為什么過度參數化的深網絡泛化良好。雖然眾所周知,許多現有的邊界是數值大的,通過各種實驗,我們首先揭示了這些界限的另一個關鍵和更關注的方面:在實踐中,這些界限可以{EM增加與數據集的大小。在我們的觀察結果的指導下,我們給出了隨機梯度下降(SGD)訓練的超參數線性分類器和神經網絡的例子,在這些例子中,即使我們盡可能充分地考慮隱式正則化{\em},一致收斂也無法“解釋泛化”。更準確地說,即使我們只考慮SGD輸出的一組測試誤差小于某個小?的分類器,對這組分類器應用(雙邊)一致收斂也會得到一個大于1?的泛化保證,因此幾乎是空的
論文亮點
本文提出了一個反對使用基于一致收斂的泛化界來解釋超參數深網絡泛化良好的理由。它們是通過破壞最緊的(算法,分布相關的)一致收斂界來實現的。
論文結構
論文作者
Vaishnavh Nagarajan, J. Zico Kolte。
論文主題: Deep Learning for Image Super-resolution: A Survey
論文摘要: 圖像超分辨率(SR)是提高圖像分辨率的一類重要的圖像處理技術以及計算機視覺中的視頻。近年來,基于深度學習的圖像超分辨率研究取得了顯著進展技術。在這項調查中,我們旨在介紹利用深度學習的圖像超分辨率技術的最新進展系統的方法。一般來說,我們可以粗略地將現有的SR技術研究分為三大類:監督SR、非監督SR和領域特定SR。此外,我們還討論了一些其他重要問題,如公開可用的基準數據集和性能評估指標。最后,我們通過強調幾個未來來結束這項調查未來社區應進一步解決的方向和公開問題.