亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

最近的努力已經將大型語言模型（LLMs）與外部資源（例如，互聯網）或內部控制流（例如，提示鏈接）結合起來，用于需要定位或推理的任務。然而，這些努力大都是零散的，缺乏構建一個完整的語言智能體的系統框架。為了應對這一挑戰，我們借鑒了符號人工智能中智能體設計的豐富歷史，為新一波的認知語言智能體開發了一個藍圖。我們首先展示LLMs具有與生產系統相同的許多屬性，而最近為改進其定位或推理所做的努力反映了圍繞生產系統構建的認知架構的發展。接著，我們提出了“語言智能體的認知架構”(CoALA) ，這是一個概念框架，用于系統化地將基于LLM的推理、定位、學習和決策作為框架中語言智能體的實例化方法。最后，我們使用CoALA框架來突出顯示缺口，并提出實際的方向，以便在未來培養更有能力的語言智能體。

基礎模型在多任務學習方面取得了很大的進展，實現了統一的單模態和多模態任務接口。然而，在遷移學習過程中，這類多任務學習器的潛力尚未得到充分利用。在這項工作中，我們提出了一種通用的參數高效遷移學習方法，稱為預測-插值調優（π-調優），適用于視覺、語言和視覺-語言任務。它匯集了從類似任務中學到的輕量級任務特定專家的參數，以幫助目標下游任務。任務相似性在統一的模態無關空間中進行預測，形成一個可擴展的圖表來展示任務之間的關系。π-調優具有幾個吸引人的優點。首先，它靈活地探索了相似任務之間的內部和跨模態可轉移性，以提高遷移學習的準確性和魯棒性，特別是在數據稀缺的情況下。其次，它為遷移學習提供了一種系統性解決方案，通過多任務預測-然后插值，兼容各種類型的參數高效專家，如提示和適配器。第三，對14個單模態和6個多模態數據集的任務級別相互利益的廣泛研究表明，π-調優在全射擊和低射擊條件下均優于微調和其他參數高效遷移學習方法。任務圖還使得跨模態任務可轉移性的深入可解釋分析成為可能。相關代碼將在//github.com/TencentARC/pi-Tuning 上提供。

低數據環境下的視覺識別需要深度神經網絡從有限的訓練樣本中學習廣義表示。最近，基于CLIP的方法顯示出有希望的少樣本性能，得益于對比性語言-圖像預訓練。提出問題，是否可以通過級聯更多樣化的預訓練知識來進一步輔助少樣本表示學習。本文提出CaFo，一種級聯的基礎模型，融合了各種預訓練范式的各種先驗知識，以實現更好的少樣本學習。CaFo融合了CLIP的語言對比知識、DINO的視覺對比知識、DALL-E的視覺生成知識和GPT-3的語言生成知識。具體來說，CaFo的工作原理是“提示，生成，然后緩存”。首先，利用GPT-3為具有豐富下游語言語義的提示片段產生文本輸入。然后，通過DALL-E生成合成圖像，以在不需要任何人工的情況下擴展少樣本訓練數據。最后，提出一種可學習的緩存模型來自適應地融合CLIP和DINO的預測結果。通過這種合作，CaFo可以充分釋放不同預訓練方法的潛力，并將它們統一起來，以執行最先進的少樣本分類。代碼可以在//github.com/ZrrSkywalker/CaFo上找到。

近年來，基于異構信息網絡(HINs)的自監督預訓練方法與傳統的半監督異構圖神經網絡(HGNNs)相比顯示出了良好的競爭力。不幸的是，它們的性能嚴重依賴于精心定制各種策略，以生成高質量的正例和反例，這明顯限制了它們的靈活性和泛化能力。在這項工作中，我們提出了一種新的自監督異構圖預訓練方法SHGP，它不需要生成任何正例或負例。它由兩個共享相同注意力聚合方案的模塊組成。在每次迭代中，Att-LPA模塊通過結構聚類產生偽標簽，這些偽標簽作為自我監督信號，指導Att-HGNN模塊學習對象嵌入和注意系數。這兩個模塊可以有效地相互利用和增強，促進模型學習判別嵌入。在四個真實數據集上的大量實驗證明了SHGP對最先進的無監督基線甚至半監督基線的優越有效性。我們在//github.com/kepsail/SHGP發布源代碼。

知識圖譜嵌入是監督學習模型，學習帶標簽、有向多圖的節點和邊的向量表示。我們描述了它們的設計原理，并解釋了為什么它們在圖表示學習和更廣泛的NLP社區中受到越來越多的關注。我們強調了它們的局限性、開放的研究方向和真實世界的用例。除了理論概述之外，我們還提供了一個handson會議，在那里我們展示了如何在實踐中使用這些模型。

判別學習、恢復學習和對抗性學習已被證明對計算機視覺和醫學成像中的自監督學習方案有益。然而，現有的努力，忽略了它們在三元設置中相互之間的協同作用，我們認為，這可以顯著地有利于深度語義表示學習。為了實現這一愿景，我們開發了DiRA，這是第一個將判別學習、恢復學習和對抗學習統一起來的框架，以協作的方式從未標記的醫學圖像中收集互補的視覺信息，用于細粒度語義表示學習。我們的廣泛實驗表明，DiRA (1) 鼓勵三種學習成分之間的協作學習，從而在器官、疾病和模態中產生更一般化的表征; (2) 優于完全監督的ImageNet模型，并在小數據領域增強魯棒性，減少多個醫學成像應用程序的注釋成本; (3) 學習細粒度語義表示，僅通過圖像級標注即可實現病灶的準確定位 ;(4) 增強了最先進的修復方法，揭示了DiRA是統一表征學習的一般機制。所有代碼和預訓練的模型都可以

在//github.com/JLiangLab/DiRA上找到

對于一張包含了許多文字信息的圖片，不同的人感興趣的文字信息可能是不同的。然而目前對于圖片文字敏感的圖像描述模型并不能根據不同的信息需求生成個性化的描述。為了研究如何生成個性化的關于圖片文字的描述，我們定義了一個新的具有挑戰的任務，名為“問題控制的圖片文字敏感的圖像描述”（Qc-TextCap）。這個任務采用問題作為控制信號，要求模型首先理解問題，然后找到對應的圖片文字，最后結合圖像中的對象用流利的人類語言描述出來。我們基于已有的兩個“圖片文字敏感的圖像描述”數據集自動構建了兩個適合Qc-TextCap的數據集：ControlTextCaps和ControlVizWiz。我們進一步提出了一個新穎的對空間位置和問題敏感的模型（GQAM），可以逐步地編碼相關的視覺特征和文本特征以支持最后的描述生成。考慮到圖像中對象區域和文字區域的空間關系，GQAM首先應用一個空間視覺編碼器去融合相關的視覺特征。然后我們使用一個問題導向的編碼器去為每個問題挑選最相關的視覺特征。最后，GQAM使用一個多模態解碼器生成圖像描述。我們的模型在兩個數據集上的效果都超過了基準模型。通過問題作為控制信號，我們的模型可以得到更加多樣，更有信息量的圖像描述。

//www.zhuanzhi.ai/paper/8d2e55a9222e9441dfb651d02d3bdb1c

現有的視覺和語言學習方法通常需要為每個任務設計特定于任務的架構和目標。例如，用于視覺問答的多標簽答案分類器、用于參考表達式理解的區域評分器和用于圖像字幕的語言解碼器等。為了減輕這些麻煩，在這項工作中，我們提出了一個統一的框架，在同一個語言建模目標的單一體系結構中學習不同的任務，即多模態條件文本生成，我們的模型學習在基于視覺和文本輸入的文本中生成標簽。在7個流行的視覺和語言基準測試中，包括視覺問答，參考表達理解，視覺常識推理，其中大多數之前被建模為判別性任務，我們的生成方法(具有單一統一的體系結構)達到了與最近特定任務的最先進的視覺和語言模型相當的性能。此外，我們的生成方法顯示出更好的泛化能力的問題，有稀有的答案。此外，我們還表明，我們的框架允許在單一體系結構中使用單一參數集進行多任務學習，實現了與單獨優化的單任務模型相似的性能。我們的代碼在//github.com/j-min/VL-T5上公開。

由不同的隨機初始化訓練的神經網絡權重集合，被稱為深度集合，實現了最先進的精度和校準。最近引入的批量集成提供了一個更有效的參數替換。在本文中，我們不僅設計了權值，而且設計了超參數，以改善這兩種情況下的技術狀況。為了獲得不依賴預算的最佳性能，我們提出了超深集合，這是一個簡單的過程，涉及對不同超參數的隨機搜索，它們本身在多個隨機初始化中分層。其強大的性能突出的好處，結合模型的重量和超參數多樣性。在批量集成和自調優網絡的基礎上，進一步提出了參數高效的超批量集成。該方法的計算和內存成本明顯低于典型的集成。在圖像分類任務上，通過MLP、LeNet和Wide ResNet 28-10架構，我們的方法在深度和批處理集成上都有所改進。

//www.zhuanzhi.ai/paper/e7ca9fa3f26bba7844c576a522f29c63

機器學習模型在自然語言處理中的應用最近的進展是由評估各種任務模型的基準驅動的。然而，這些覆蓋范圍廣泛的基準測試主要局限于英語，盡管人們對多語言模型的興趣越來越大，但是仍然缺少一個基準測試來全面評估這些方法對各種語言和任務的影響。為此，我們引入了多語言編碼器XTREME基準的跨語言轉換評估，這是一個多任務基準，用于評估40種語言和9個任務的多語言表示的跨語言泛化能力。我們證明，雖然英語測試的模型在許多任務上達到了人類的表現，但在跨語言遷移模型的表現上仍然有相當大的差距，特別是在句法和句子檢索任務上。在不同的語言之間也有廣泛的結果。我們發布基準測試是為了鼓勵對跨語言學習方法的研究，這種方法可以將語言知識傳遞到不同的、有代表性的語言和任務中。