本文提出了一種學習深度卷積神經網絡(CNN)中可解釋卷積濾波器的通用方法,用于對象分類,每個可解釋濾波器都對一個特定對象部分的特征進行編碼。我們的方法不需要額外的注釋對象部分或紋理的監督。相反,我們使用與傳統CNNs相同的訓練數據。在學習過程中,我們的方法在一個高卷積層中自動分配每個可解釋的過濾器,每個過濾器的對象都是某個類別的一部分。在CNN的卷積層中,這種顯式的知識表示有助于人們理清CNN中所編碼的邏輯,即,回答CNN從輸入圖像中提取什么模式并用于預測。我們使用不同結構的基準CNNs測試了我們的方法,以證明我們的方法具有廣泛的適用性。實驗表明,我們的可解釋過濾器比傳統過濾器在語義上更有意義。
題目: Interpretable Deep Graph Generation with Node-edge Co-disentanglement
摘要:
解糾纏表示學習近年來受到了廣泛的關注,特別是在圖像表示學習領域。然而,學習圖背后的解糾纏表示在很大程度上仍未探索,特別是對于同時具有節點和邊緣特征的屬性圖。圖生成的解糾纏學習具有實質性的新挑戰,包括
為了解決這些問題,提出了一個新的屬性圖深層生成模型的解糾纏增強框架。特別地,提出了一種新的變分目標來解開上述三種潛在因素,并具有新的節點和邊緣反褶積結構。此外,在每種類型中,個體因素的分離進一步增強,這被證明是對現有圖像框架的一般化。在綜合數據集和真實數據集上的定性和定量實驗證明了該模型及其擴展的有效性。
主題: Interpretable CNNs for Object Classification
摘要: 本文提出了一種在用于對象分類的深卷積神經網絡(CNN)中學習可解釋卷積濾波器的通用方法,其中每個可解釋濾波器對特定對象部分的特征進行編碼。我們的方法不需要對對象部件或紋理進行額外的注釋來進行監視。相反,我們在傳統CNN中使用相同的訓練數據。在學習過程中,我們的方法會自動為高轉換層中的每個可解釋過濾器分配一個特定類別的對象部分。CNN的conv層中的這種明確的知識表示有助于人們澄清CNN中編碼的邏輯,即回答CNN從輸入圖像中提取哪些模式并用于預測。我們使用不同結構的基準cnn對我們的方法進行了測試,證明了我們的方法的廣泛適用性,實驗表明我們的可解釋過濾器比傳統的過濾器在語義上更有意義。
This paper proposes a generic method to learn interpretable convolutional filters in a deep convolutional neural network (CNN) for object classification, where each interpretable filter encodes features of a specific object part. Our method does not require additional annotations of object parts or textures for supervision. Instead, we use the same training data as traditional CNNs. Our method automatically assigns each interpretable filter in a high conv-layer with an object part of a certain category during the learning process. Such explicit knowledge representations in conv-layers of CNN help people clarify the logic encoded in the CNN, i.e., answering what patterns the CNN extracts from an input image and uses for prediction. We have tested our method using different benchmark CNNs with various structures to demonstrate the broad applicability of our method. Experiments have shown that our interpretable filters are much more semantically meaningful than traditional filters.
This paper proposes a method to modify traditional convolutional neural networks (CNNs) into interpretable CNNs, in order to clarify knowledge representations in high conv-layers of CNNs. In an interpretable CNN, each filter in a high conv-layer represents a certain object part. We do not need any annotations of object parts or textures to supervise the learning process. Instead, the interpretable CNN automatically assigns each filter in a high conv-layer with an object part during the learning process. Our method can be applied to different types of CNNs with different structures. The clear knowledge representation in an interpretable CNN can help people understand the logics inside a CNN, i.e., based on which patterns the CNN makes the decision. Experiments showed that filters in an interpretable CNN were more semantically meaningful than those in traditional CNNs.