亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

對比視覺-語言預訓練，即CLIP，展現了在感知開放世界視覺概念方面的顯著潛力，實現了有效的零樣本圖像識別。然而，基于CLIP的小樣本學習方法通常需要在少量樣本上進行離線微調參數，這導致了更長的推理時間和在某些領域過擬合的風險。為了應對這些挑戰，我們提出了Meta-Adapter，一種輕量級的殘差風格適配器，用以指導少樣本在線細化CLIP特征。通過少量的訓練樣本，我們的方法可以實現有效的小樣本學習能力，并且在沒有額外微調的情況下泛化到未見過的數據或任務，達到了具有競爭力的性能和高效率。我們的方法不需要復雜的附加功能，就在八個圖像分類數據集上平均超過了最新的在線小樣本學習方法3.6%的性能，并且具有更高的推理速度。此外，我們的模型簡單靈活，可作為直接適用于下游任務的即插即用模塊。在無需進一步微調的情況下，Meta-Adapter在開放詞匯的對象檢測和分割任務中取得了顯著的性能提升。

//www.zhuanzhi.ai/paper/988c88672e1bfafaceee944b23e8228e

視覺推理需要多模態感知和對世界的常識認知。近期，有多個視覺-語言模型（VLMs）提出，它們在各個領域都表現出出色的常識推理能力。但如何利用這些互補的VLMs的集體能力卻鮮有探討。現有的方法，如集成，仍難以以期望的高階通信來聚合這些模型。在這項工作中，我們提出了一種新的范例Cola，用于協調多個VLMs進行視覺推理。我們的關鍵見解是，大型語言模型（LLM）可以通過促進自然語言通信來有效地協調多個VLMs，利用它們的獨特和互補能力。大量實驗表明，我們的指令調整變體，Cola-FT，在視覺問題回答（VQA），外部知識VQA，視覺蘊涵和視覺空間推理任務上都達到了業界領先的性能。此外，我們證明，我們的上下文學習變種，Cola-Zero，在零和少樣本設置中表現出競爭性的性能，無需微調。通過系統的消融研究和可視化，我們驗證了協調器LLM確實理解了指令提示以及VLMs的單獨功能；然后協調它們，實現了令人印象深刻的視覺推理能力。

人們普遍認為，一個詞的標題的不確定性越高，就需要更多相互關聯的上下文信息來確定它。然而，目前的圖像描述生成方法通常考慮順序、平等地生成句子中的所有單詞。在本文中，我們提出了一個不確定性感知的圖像描述成框架，該框架并行迭代地在已有詞之間從易到難插入不連續候選詞，直到收斂。我們假設句子中的高不確定性詞需要更多的先驗信息才能做出正確的決定，應該在后面的階段產生。由此產生的非自回歸層次結構使得標題生成可解釋且直觀。具體來說，我們利用圖像條件下的單詞袋模型來測量單詞的不確定度，并應用動態規劃算法來構造訓練對。在推理過程中，我們設計了一種不確定性自適應并行波束搜索技術，它產生了一個經驗對數時間復雜度。在MS COCO基準上的大量實驗表明，我們的方法在描述質量和解碼速度上都優于強基準和相關方法。

//www.zhuanzhi.ai/paper/51c79cb91932a14e0000e8d71d3f8399

在知識圖譜上回答復雜一階邏輯(FOL)查詢是多跳推理的基礎任務。傳統的符號方法遍歷完整的知識圖譜來提取答案，為每一步提供了良好的解釋。最近的神經方法學習復雜查詢的幾何嵌入。這些方法可以推廣到不完整的知識圖譜，但其推理過程難以解釋。在本文中，我們提出了圖神經網絡查詢執行器(GNNQE)，這是一種神經符號模型，它兼有這兩種方法的優點。GNN-QE將一個復雜的FOL查詢分解為模糊集上的關系投影和邏輯運算，為中間變量提供了可解釋性。為了對缺失環節進行推理，GNN-QE采用知識圖譜補全的圖神經網絡來執行關系投影，并用產品模糊邏輯對邏輯操作進行建模。在3個數據集上的廣泛實驗表明，GNN-QE在回答FOL查詢方面比以前的最先進的模型有顯著的改進。同時，GNN-QE可以在沒有明確監督的情況下預測答案的數量，并對中間變量提供可視化。

為了從最能區分類的高維數據中學習內在的低維結構，我們提出了最大編碼率降低原理(MCR2)，這是一種信息理論度量，可以最大限度地提高整個數據集和每個類的編碼率差。明確了它與交叉熵、信息瓶頸、信息增益、壓縮學習和對比學習等現有框架的關系，為學習多樣性和有判別性表示提供了理論保障。該編碼率可以從簡并類子空間分布的有限樣本中精確地計算出來，并且可以統一地學習有監督、自監督和無監督三種情況下的本征表示。特別地，單獨使用該原理學習的表示比使用交叉熵學習的表示在分類中標記錯誤時具有更強的魯棒性，并且可以在自學習不變特征聚類混合數據方面產生最先進的結果。

//www.zhuanzhi.ai/paper/fb91343d453aad8707064021f94bb9de

最近，終身學習在構建不斷積累和轉移知識以幫助未來學習的機器學習系統方面引起了關注。無監督主題建模廣泛用于從文檔集合中發現主題。然而，由于數據稀疏性，例如，在一個小的(短)文檔集合中，會產生不連貫的主題和次優的文檔表示，主題建模的應用具有挑戰性。為了解決這個問題，我們提出了一個神經主題建模的終身學習框架，它可以連續處理文檔集流，積累主題，并通過從多個來源的知識轉移來指導未來的主題建模任務，以更好地處理稀疏的數據。在終身學習過程中，我們特別共同研究:(1)終生共享生成同源性(潛在話題)以轉移先驗知識，(2)通過新穎的選擇性數據增強、聯合訓練和話題正則化方法最小化保留過去學習的災難性遺忘。在給定一個文檔集合流的情況下，我們應用所提出的終身神經主題建模(LNTM)框架，將三個稀疏文檔集合建模為未來任務，并通過perplexity、Topic coherence和information retrieval task量化，證明了性能的提高。

本文探討了大型人工神經網絡學習的語言結構知識，通過自監督訓練，該模型簡單地嘗試預測給定上下文中的一個掩蔽詞。人類的語言交流是通過詞語序列進行的，但是語言理解需要構建豐富的從未被明確觀察到的層次結構。這一機制一直是人類語言習得的一個主要奧秘，而工程工作主要是通過在樹堆上有監督的句子學習來完成的，這些句子是手寫標記的這種潛在結構。然而，我們證明，現代的深度語境化語言模型在沒有任何明確監督的情況下學習這種語言結構。我們開發了識別人工神經網絡中涌現的語言層次結構的方法，并證明了這些模型中的組件關注于語法關系和回指共指。事實上，我們表明，在這些模型中學習的嵌入的線性轉換捕獲了解析樹的距離，達到了令人驚訝的程度，允許大致重建通常由語言學家假定的句子樹結構。這些結果有助于解釋為什么這些模型在許多語言理解任務中帶來了如此大的改進。

本文處理學習和推理語言和視覺數據的相關下游任務的挑戰，如視覺問題回答(VQA)和自然語言的視覺推理(NLVR)。我們設計了一個新穎的跨模態關聯模塊，用端到端框架在目標任務的監督下學習各種輸入模態組件之間的關聯表示，這比僅僅重塑原始表示空間更易于推廣到未觀測的數據。除了對文本實體和視覺實體之間的相關性進行建模外，我們還對文本中的實體關系和圖像中的對象關系之間的高階相關性進行建模。我們提出的方法使用公共基準，在兩個不同的語言和視覺任務上顯示出具有競爭力的性能，并改進了最新發布的結果。NLVR任務學習的輸入空間對齊及其相關表示提高了VQA任務的訓練效率。

本文試圖對神經文本生成模型的基本性質有更深入的理解。對機器生成文本中由于建模選擇而出現的構件的研究是一個新興的研究領域。在此之前，這些人工制品在生成文本中出現的范圍和程度還沒有得到很好的研究。為了更好地理解生成文本模型及其構件，我們提出了一項新的任務，即區分給定模型的幾個變體中哪個生成了一段文本，我們進行了一系列診斷測試，以觀察建模選擇(例如，抽樣方法、top-k概率、模型架構等)是否在它們生成的文本中留下可檢測的構件。我們的關鍵發現得到了一組嚴格實驗的支持，即存在這樣的構件，并且可以通過單獨觀察生成的文本推斷出不同的建模選擇。這表明，神經文本生成器對各種建模選擇的敏感度可能比之前認為的要高。

簡介：

回答需要針對文本進行推理的多個步驟的構想問題具有挑戰性，尤其是當它們涉及離散的象征性操作時。神經模塊網絡（NMN）學習解析諸如由可學習模塊組成的可執行程序之類的問題，它們在合成視覺質量檢查域中表現良好。但是，我們發現在開放域文本中針對非合成問題學習這些模型具有挑戰性，在這種模型中，模型需要處理自然語言的多樣性并進行更廣泛的推理。我們通過以下方式擴展NMN：（a）引入對一段文本進行推理的模塊，以概率和可微分的方式對數字和日期執行符號推理（例如算術，排序，計數）； （b）提出無監督的損失，以幫助提取與文本中的事件相關的參數。此外，我們顯示出有限的啟發式獲得的問題程序和中間模塊輸出監督為準確學習提供了足夠的歸納偏差。我們提出的模型大大優于DROP數據集的子集上的最新模型，后者構成了我們模塊所涵蓋的各種推理挑戰。