亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

零樣本學習依賴語義類表示,如屬性或預訓練的嵌入來預測類,而不需要任何標記示例。我們提出從常識知識圖譜學習類表示。常識知識圖譜是顯性高級知識,它只需要很少的人力投入就可以應用到一系列任務中。為了捕獲圖中的知識,我們引入了ZSL-KG,這是一個基于圖神經網絡的框架,帶有非線性聚合器來生成類表示。盡管之前大多數關于圖神經網絡的工作都是使用線性函數來聚合鄰近節點的信息,但我們發現,非線性聚合器(如LSTMs或transformer)可以顯著改善零目標任務。在跨三個數據集的兩個自然語言任務中,ZSL-KG顯示出與最先進的方法相比平均提高9.2點的準確性。此外,在對象分類任務上,ZSL-KG與不需要手工設計類表示的最佳方法相比,精度點提高了2.2。最后,我們發現ZSL-KG在這四個數據集上的平均準確率比使用線性聚合器的最佳圖神經網絡高出3.8點。

付費5元查看完整內容

相關內容

知識圖譜補全是一類重要的問題。近年來基于圖神經網絡的知識圖譜表示得到了很多關注。這邊綜述論文總結了圖神經網絡知識圖譜補全的工作,值得查看!

摘要:知識圖譜在諸如回答問題和信息檢索等各種下游任務中越來越流行。然而,知識圖譜往往不完備,從而導致性能不佳。因此,人們對知識庫補全的任務很感興趣。最近,圖神經網絡被用來捕獲固有地存儲在這些知識圖譜中的結構信息,并被證明可以跨各種數據集實現SOTA性能。在這次綜述中,我們了解所提出的方法的各種優勢和弱點,并試圖在這一領域發現新的令人興奮的研究問題,需要進一步的調研。

知識庫是以關系三元組形式的事實信息的集合。每個關系三元組可以表示為(e1,r,e2),其中e1和e2是知識庫中的實體,r是e1和e2之間的關系。最受歡迎的知識庫表示方式是多關系圖,每個三元組(r e1, e2)是表示為有向邊從e1, e2與標簽r。知識圖譜被用于各種下游任務。

然而,由于知識庫是從文本中自動挖掘來填充的,它們通常是不完整的,因為不可能手動編寫所有事實,而且在提取過程中經常會出現不準確的情況。這種不準確性會導致各種下游任務的性能下降。因此,大量工作開發一種有效的工具來完成知識庫(KBs)方面,它可以在不需要額外知識的情況下自動添加新的事實。這個任務被稱為知識庫補全(或鏈接預測),其目標是解決諸如(e1,r,?)這樣的查詢。

第一種實現高效知識庫補全的方法是像TransE (Bordes et al.(2013))和TransH (Wang et al.(2014))這樣的加法模型,其中關系被解釋為隱藏實體表示的簡單翻譯。然后觀察到,諸如Distmult (Yang et al.(2015))和Complex (Trouillon et al.(2016))等乘法模型優于這些簡單的相加模型。與平移不同,旋轉(Sun等人(2019a))將關系定義為簡單的旋轉,這樣頭部實體就可以在復雜的嵌入空間中旋轉來匹配尾部實體,這已經被證明滿足了很多有用的語義屬性,比如關系的組合性。最近,引入了表達性更強的基于神經網絡的方法(如ConvE (Dettmers等人(2018))和ConvKB(Nguyen等人(2018)),其中評分函數與模型一起學習。然而,所有這些模型都獨立地處理每個三元組。因此,這些方法不能捕獲語義豐富的鄰域,從而產生低質量的嵌入。

圖已被廣泛用于可視化真實世界的數據。在將ML技術應用于圖像和文本方面已經取得了巨大進展,其中一些已成功應用于圖形(如Kipf和Welling(2017)、Hamilton等人(2017)、Velickovic等人(2018)。基于該方法的啟發,許多基于圖神經網絡的方法被提出用于KBC任務中獲取知識圖的鄰域。在這次調查中,我們的目的是研究這些工作。

付費5元查看完整內容

圖神經網絡(GNN)已經在許多具有挑戰性的應用中展示了優越的性能,包括小樣本學習任務。盡管GNN具有強大的從少量樣本中學習和歸納的能力,但隨著模型的深入,GNN通常會出現嚴重的過擬合和過平滑問題,這限制了模型的可擴展性。在這項工作中,我們提出了一個新的注意力GNN來解決這些挑戰,通過合并三重注意機制,即節點自我注意,鄰居注意和層記憶注意力。我們通過理論分析和實例說明了所提出的注意模塊可以改善小樣本學習的GNN的原因。廣泛的實驗表明,在mini-ImageNet 和Tiered-ImageNet數據集上,通過誘導和直推設置,提出的注意力GNN在小樣本學習方面優于基于最先進的GNN方法。

付費5元查看完整內容

本文研究的是物體檢測的域自適應(Domain Adaptive)問題,其主要挑戰來自源域和目標域之間的巨大差異。先前工作主要是明確對齊了圖像層面和實例層面的遷移,以最終最小化域差異,但是依然忽略了跨域匹配關鍵的圖像區域和重要的實例,以至于嚴重影響了域遷移的緩解。本文提出一個簡單且有效的類正則化框架以緩解這一問題,它可以作為一個即插即用的組件應用于一系列域自適應Faster R-CNN方法上,這些方法對處理域自適應檢測非常重要。

具體而言,通過整合檢測backbone上的一個圖像層面的多標簽分類器,本文可以通過分類方式的弱定位能力,獲得對應于類信息的稀疏且關鍵的圖像區域。同時,在實例層面,本文把圖像預測和實例預測之間的類一致性作為一個正則化因子,以自動搜索目標域的硬對齊實例。大量不同域遷移方案的實驗表明,相較原始的域自適應Faster R-CNN檢測器,本文方法取得顯著的性能提升。此外,定性的可視化和分析表明,本文方法可應用于針對域適應的關鍵區域/實例。

付費5元查看完整內容

論文題目

Model Cards for Model Reporting

論文摘要

在給定一些具有足夠訓練樣本的基本類別上,少鏡頭學習的目的是從很少的樣本中學習新的類別。這項任務的主要挑戰是新的類別容易受到顏色、紋理、物體形狀或背景背景(即特異性)的支配,這對于給定的少數訓練樣本是不同的,但對于相應的類別則不常見。幸運的是,我們發現基于范疇可以幫助學習新概念,從而避免新概念被特定性所支配。此外,結合不同類別之間的語義關聯,可以有效地規范這種信息傳遞。在這項工作中,我們以結構化知識圖的形式來表示語義關聯,并將此圖集成到深度神經網絡中,利用一種新的知識圖轉移網絡(KGTN)來促進少量鏡頭的學習。具體地說,通過使用對應類別的分類器權重初始化每個節點,學習傳播機制以自適應地通過圖來探索節點間的相互作用,并將基本類別的分類器信息傳遞給新類別的分類器信息。在ImageNet數據集上進行的大量實驗表明,與當前領先的競爭對手相比,性能有了顯著提高。此外,我們還構建了一個涵蓋更大尺度類別(即6000個類別)的ImageNet-6K數據集,在該數據集上的實驗進一步證明了我們提出的模型的有效性。

論文作者 陳日泉,陳天水,許曉璐,吳鶴峰,李冠斌,梁林,中山大學達克馬特人工智能研究所。

付費5元查看完整內容

論文題目: Meta-GNN: On Few-shot Node Classification in Graph Meta-learning

摘要: 元學習作為一種模仿人類智能的可能方法,近來受到了極大的關注,即,學習新的知識和技能。現有的元學習方法多用于解決圖像、文本等少數樣本的學習問題,在歐幾里得域比較常見。然而,將元學習應用于非歐幾里得域的研究工作非常少,最近提出的圖神經網絡(GNNs)模型在處理圖少樣本學習問題時表現不佳。為此,我們提出了一種新的圖元學習框架——元GNN,以解決圖元學習環境中節點分類問題。該算法通過對多個相似的少樣本學習任務進行訓練,獲得分類器的先驗知識,然后利用標記樣本數量較少的新類對節點進行分類。此外,Meta-GNN是一個通用模型,可以直接納入任何現有的最先進的GNN。我們在三個基準數據集上的實驗表明,我們的方法不僅在元學習范式中大大提高了節點分類性能,而且為任務適應提供了一個更通用、更靈活的模型。

論文作者: Fan Zhou, Chengtai Cao, Kunpeng Zhang, Goce Trajcevski, Ting Zhong, Ji Geng

付費5元查看完整內容
北京阿比特科技有限公司