亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

視覺語言模型（VLMs）最近已經展示出了強大的效能，作為可以解析關于視覺內容的自然查詢并生成類似人類輸出的視覺助手。在這項工作中，我們探討了這些模型基于感知信息展示人類式推理的能力。為了解決一個關鍵問題，即這些推理能力在多大程度上是完全一致和基于實際的，我們還測量了這些模型的推理一致性。我們通過提出基于思維鏈（CoT）的一致性度量來實現這一點。然而，這樣的評估需要一個包括高級推理和詳細推理鏈的基準，這是昂貴的。我們通過提出一個LLM-人在回路中的管道來解決這一挑戰，這顯著降低了成本，同時確保了高質量數據集的生成。基于這個管道和現有的粗粒度注釋數據集，我們構建了CURE基準，以測量VLMs的零樣本推理性能和一致性。我們評估了現有的最先進的VLMs，并發現即使在表現最佳的模型（BLIP-2）的情況下，也無法展示出強大的視覺推理能力和一致性，這表明需要大力努力，使VLMs能夠像人類一樣系統地和一致地進行視覺推理。作為早期步驟，我們提出了一個旨在提高VLMs的推理性能和一致性的兩階段培訓框架。第一階段涉及使用由LLMs自動生成的逐步推理樣本對VLMs進行監督微調。在第二階段中，我們進一步通過LLMs提供的反饋來增強訓練過程，以生成高度一致和基于實際的推理鏈。我們經驗性地突出了我們框架的有效性，并顯示了在推理性能和一致性方面的相對改進為4%。

//www.zhuanzhi.ai/paper/7973da2bc3cb888154e7d2c0ed548c64

大型語言模型（LLMs）在自然語言處理方面展示了令人印象深刻的能力。然而，它們的內部機制仍然不清楚，這種不透明性對下游應用帶來了不希望的風險。因此，理解和解釋這些模型對于闡明它們的行為、局限性和社會影響至關重要。在本文中，我們引入了可解釋性技術的分類體系，并提供了關于解釋基于Transformer的語言模型方法的結構化概述。我們根據LLMs的訓練范式對技術進行分類：傳統的微調范式和基于提示的范式。對于每個范式，我們總結了生成個體預測的局部解釋和總體模型知識的全局解釋的目標和主要方法。我們還討論了用于評估生成解釋的度量標準，并討論了如何利用解釋來調試模型和提高性能。最后，我們比較了LLMs時代解釋技術面臨的關鍵挑戰和新興機會與傳統機器學習模型。

大型語言模型（LLMs），如BERT（Devlin等，2019a）、GPT-3（Brown等，2020）、GPT-4（Bubeck等，2023）、LLaMA-2（Touvron等，2023b）和Claude（AnthropicAI，2023），在各種自然語言處理（NLP）任務中展示出了令人印象深刻的性能。主要科技公司，如微軟、谷歌和百度，已在其商業產品和服務中部署了LLMs以增強功能。例如，微軟利用GPT-3.5來改善新Bing的搜索相關性排名（Mehdi，2023）。由于LLMs通常是復雜的“黑盒子”系統，其內部工作機制是不透明的，高復雜性使模型解釋變得更加具有挑戰性。這種模型不透明性的缺乏有時會導致生成有害內容或幻覺的產生（Weidinger等，2021）。因此，開發解釋能力以揭示這些強大模型的工作方式至關重要。

可解釋性指的是以人類可理解的方式解釋或呈現模型行為的能力（Doshi-Velez和Kim，2017；Du等，2019a）。提高LLMs的可解釋性至關重要，有兩個關鍵原因。首先，對于一般終端用戶，可解釋性通過以可理解的方式闡明模型預測背后的推理機制來建立適當的信任，無需技術專業知識。通過這種方式，終端用戶能夠理解LLMs的能力、局限性和潛在缺陷。其次，對于研究人員和開發人員，解釋模型行為提供了洞察力，以識別意外偏見、風險和性能改進的領域。換句話說，可解釋性充當了一個調試輔助工具，可以快速提高下游任務上的模型性能（Strobelt等，2018；Bastings等，2022；Yuksekgonul等，2023）。它有助于追蹤模型能力隨時間的變化，進行不同模型之間的比較，并開發可靠、道德和安全的模型，以供實際部署使用。 由于LLMs的獨特屬性，其可解釋性技術與傳統機器學習（ML）模型的技術有所不同。LLMs和傳統ML模型之間的差異可以歸因于多個方面。從數據的角度來看，ML模型以監督方式依賴人工構建的特征，而LLMs旨在自動從原始輸入數據中學習特征（Chai和Li，2019）。解釋LLMs捕捉了哪些特征以及這些特征中包含了什么知識是重要的。從模型的角度來看，傳統ML模型通常是針對具體任務設計的，具有不同的模型架構（Liu和Sun，2023）。相比之下，經過廣泛數據集的預訓練的LLMs可以通過微調泛化到各種下游任務（Yang等，2023）。此外，LLMs的注意力機制已被廣泛用于通過為輸入的相關部分分配更高的值來確定輸入的重要性（Hu，2020）。由于注意力權重中編碼的知識和模式可能提示了模型的理解，注意力權重可以被認為是精細調校模型的另一個重要解釋標準。此外，由于LLMs的性能更好，還應進一步研究transformer的組件，包括神經元、層和模塊，學到了什么以及它們是否有不同的功能。從應用的角度來看，傳統ML模型專注于低級模式識別任務，如解析和形態分析，而LLMs可以處理高級推理任務，如回答問題和常識推理（Lauriola等，2022）。特別是，理解LLMs在上下文學習和思維鏈提示以及幻覺現象方面的獨特能力對于解釋和改進模型至關重要。為了更好地理解和改進LLMs，有必要回顧和總結專為LLMs定制的解釋技術。 在本文中，我們提供了一種解釋基于Transformer的語言模型的方法的全面概述。在第2節中，我們介紹了應用LLMs的兩個主要范式：1）傳統的下游微調范式和2）提示范式。基于這一分類，我們在第3節中回顧了適用于微調LLMs的解釋方法，并在第4節中回顧了適用于提示LLMs的解釋方法。在第5節中，我們討論了解釋方法的評估。最后，在第6節中，我們進一步討論了與傳統機器學習模型相比解釋LLMs所面臨的研究挑戰，并提供了有關潛在未來研究方向的見解。本文旨在全面整理關于解釋復雜語言模型的最新研究進展。 LLMs的訓練范式

LLMs的訓練可以基本分為兩個范式，傳統微調和提示，根據它們如何用于適應下游任務。由于這兩個范式之間存在重大區別，因此分別提出了各種類型的解釋（如圖1所示）。 傳統微調范式

在這個范式中，首先對語言模型進行了大規模無標簽文本數據的預訓練，然后在特定下游領域的一組標記數據上進行微調，例如GLUE基準測試中的SST-2、MNLI和QQP（Wang等人，2019）。在微調過程中，很容易在語言模型的最終編碼器層上方添加完全連接的層，使其適應各種下游任務（Rogers等人，2021）。這個范式已經在包含多達十億參數的中型語言模型上取得了成功。例如，包括BERT（Devlin等人，2019a）、RoBERTa（Liu等人，2019）、ELECTRA（Clark等人，2020）、DeBERTa（He等人，2021）等。對于這個范式的解釋重點在于兩個關鍵領域：1）理解自監督預訓練如何使模型獲得語言的基礎理解（例如句法、語義和上下文關系）；以及2）分析微調過程如何賦予這些預訓練模型有效解決下游任務的能力。

**提示范式 **

提示范式涉及使用提示，例如自然語言句子中的空白，以便模型填充，實現零樣本學習或少樣本學習，而無需額外的訓練數據。根據其開發階段，這個范式下的模型可以分為兩種類型： 基礎模型：隨著LLMs的規模和訓練數據的增加，它們展示了令人印象深刻的新能力，無需額外的訓練數據。其中一種能力是通過提示實現少樣本學習。這種類型的范式通常適用于大規模語言模型（擁有數十億參數）（例如GPT-3（Brown等人，2020）、OPT（Zhang等人，2022b）、LLaMA-1（Touvron等人，2023a）、LLaMA-2（Touvron等人，2023b）、Falcon（Almazrouei等人，2023））。這些模型被稱為基礎模型或基礎模型，它們可以與用戶進行對話，無需進一步與人類喜好對齊。大規模模型通常適用于這種范式，規模超過10億。例如，LLaMA-2（Touvron等人，2023b）擁有高達700億個參數。基礎模型的解釋旨在理解模型如何學習在回應提示時利用其預訓練知識。 助手模型：基礎模型存在兩個主要限制：1）它們不能按照用戶的指令進行操作，因為預訓練數據包含少量指令-響應示例，2）它們傾向于生成有偏見和有毒的內容（Carlini等人，2023）。為了解決這些限制，基礎模型通過監督微調進一步進行微調（見圖2），以實現人類級別的能力，例如開放域對話。關鍵思想是通過將模型的響應與人類反饋和喜好對齊來實現。這個過程最典型的方式是通過（提示，響應）演示對和來自人類反饋的強化學習（RLHF）進行指導調整。模型通過自然語言反饋進行訓練，以進行復雜的多輪對話。屬于這一類別的模型包括OpenAI的GPT-3.5和GPT4（Bubeck等人，2023）、Anthropic的Claude（AnthropicAI，2023）以及一些開源模型，如Meta的LLaMA-2-Chat（Touvron等人，2023b）、Alpaca（Taori等人，2023）和Vicuna（Chiang等人，2023）。這些模型也可以稱為助手模型、聊天助手或對話模型。助手模型的解釋重點在于理解模型如何從對話中學習開放式互動行為。

**傳統微調范式的解釋 **

在本節中，我們回顧了針對采用預訓練和下游微調范式訓練的LLMs的解釋技術。首先，我們介紹了提供局部解釋（第3.1節）和全局解釋（第3.2節）的方法。在這里，局部解釋旨在提供對語言模型如何對特定輸入實例進行預測的理解，而全局解釋旨在提供對LLM整體工作方式的廣泛理解。接下來，我們討論了如何利用解釋來調試和改進模型（第3.3節）。

局部解釋

解釋的第一類別涉及解釋LLMs生成的預測。讓我們考慮這樣一種情景，我們有一個語言模型，并將特定文本輸入模型。模型隨后產生分類輸出，例如情感分類或下一個標記的預測。在這種情景下，解釋的作用是闡明模型生成特定分類或標記預測的過程。由于目標是解釋LLM如何為特定輸入做出預測，我們將其稱為局部解釋。這個類別包括四個主要方法流，包括基于特征歸因的解釋、基于注意力的解釋、基于示例的解釋和自然語言解釋。

**全局解釋 **

不同于旨在解釋模型的個體預測的局部解釋，全局解釋有助于從模型的角度理解LLMs的工作方式。全局解釋旨在理解個體組件（神經元、隱藏層和較大模塊）編碼了什么，以及解釋了個體組件所學習的知識/語言屬性。我們考察了三種主要的全局解釋方法：探測方法，用于分析模型表示和參數；神經元激活分析，用于確定模型對輸入的響應性；以及基于概念的方法。

**提示范式的解釋 **

在本節中，我們介紹了解釋屬于提示范式的模型的技術，包括1）解釋基礎模型，如LLaMA-2（第4.1節），2）解釋助手模型，如LLaMA-2-Chat（第4.2節），以及3）如何利用LLMs的推理和解釋能力生成用戶友好的解釋（第4.3節）。

基礎模型解釋

隨著語言模型的規模增大，它們展示出了新的能力，如少樣本學習，即僅從少量示例中學習概念的能力。它們還展示了一種思維鏈（CoT）提示能力。鑒于這些新興屬性，解釋性研究有三個主要目標：1）研究提供解釋是否實際有助于模型自身更快地從僅有少量示例中“理解”新任務，2）理解這些大型語言模型如何能夠迅速從有限示例中掌握新任務，從而幫助終端用戶解釋模型的推理，以及3）解釋思維鏈提示。

**助手模型解釋 **

由于大規模無監督預訓練和有監督對齊微調，屬于這一范式的LLMs具有強大的推理能力。然而，它們的巨大規模也使它們容易生成問題輸出，如幻覺。解釋性研究旨在：1）闡明對齊微調的作用，2）分析幻覺產生的原因。

結論

在本文中，我們提供了對LLMs的可解釋性技術的全面概述。我們總結了基于模型訓練范式的局部和全局解釋方法。我們還討論了如何利用解釋來改進模型、評估以及主要挑戰。未來的重要發展選項包括開發針對不同LLMs的解釋方法、評估解釋的忠實性，以及提高人類可解釋性。隨著LLMs的不斷進步，可解釋性將變得極其重要，以確保這些模型具有透明性、公平性和益處。我們希望這份調查為這一新興研究領域提供了有用的組織，同時突顯了未來工作的開放性問題。

改善通用機器人代理的泛化能力長期以來一直是研究社區積極追求的重要挑戰。現有的方法通常依賴于收集大規模的現實世界機器人數據，如 RT-1 數據集。然而，這些方法通常效率較低，限制了它們在開放領域的新對象和多樣化背景下的能力。在這篇論文中，我們提出了一種新的范式，有效地利用最先進的基礎模型生成的語言定位分割掩模，來解決日常場景中各種拾放機器人操作任務。通過將掩模傳遞的精確語義和幾何形狀整合到我們的多視角策略模型中，我們的方法可以感知到準確的物體姿態，并實現高效的學習樣本。此外，這種設計有助于有效地泛化抓取訓練過程中觀察到的具有類似形狀的新對象。我們的方法包括兩個獨特的步驟。首先，我們引入一系列基礎模型，以準確地把自然語言需求對應到多個任務上。其次，我們開發了一個多模態多視角策略模型，該模型結合了RGB圖像、語義掩模和機器人本體感知狀態等輸入，共同預測出準確且可執行的機器人動作。在Franka Emika 機器人手臂上進行的大量現實世界實驗驗證了我們提出的范例的有效性。在YouTube和嗶哩嗶哩上展示了現實世界的演示。

創建一個能在真實世界環境中對各種物體執行多種動作的通用機器人代理仍然是一個長期存在且具有挑戰性的任務。雖然在工業場景中單一任務的機器人可能就足夠了，但設計用來在日常生活中協助和與人互動的機器人需要具有高度的泛化能力。在這篇論文中，我們努力開發一個多功能的機器人模型，賦予機器人代理這種泛化能力。具體來說，我們專注于拾放任務，這在機器人操控中起著基礎和關鍵的作用。例如，在涵蓋了全面和大規模多任務廚房操控數據集的RT-1[1]中，有近85%的任務涉及到與拾放相關的動作。這個數字強調了拾放任務在實際真實世界應用中的重要性。創建多功能代理的第一個挑戰是如何有效地將抽象的抓握指令轉化為具體的機器人輸入。目前的方法利用了各種形式，包括任務標識符[2]、目標圖像[3]、展示人類示范的視頻[4]，以及越來越受歡迎的自然語言指令[1,4,5,6,7]。特別是語言，為人機交互提供了最自然和可擴展的方式，從而便于更容易地與機器人進行交流。第二個挑戰涉及提高單一機器人模型處理多個拾放任務的泛化能力，包括視覺感知和動作執行。這就需要開發一個能夠有效學習和適應廣泛任務范圍，同時保持效率和可擴展性的模型。 為了應對上述挑戰，最近的進步[1,6,8]主要采用了基于學習的模型。值得注意的是，其中一項開創性的工作是RT-1[1]，該工作引入了一個全面的模型，能夠使用涵蓋了17個月、涉及13個機器人的大約130,000次示范的大規模數據集來執行各種指令。然而，收集真實世界的數據需要大量的資源，而且這種方法在組合泛化方面存在限制，難以處理未見過的物體、背景或環境[1,9]。此外，一項開創性的工作MOO[9]提出了利用從開放詞匯對象檢測模型中獲取的對象位置先驗來提高效率。然而，依賴于檢測只能提高視覺泛化能力。它仍然需要像RT-1[1]一樣的大規模訓練數據，來進行動作執行的學習。

我們提出了一種新的模式，有效地將2D分割基礎模型與控制模型結合起來，以解決上述限制。具體來說，我們將分割掩模引入為控制模型的一種新的輸入模式，因為分割已被證明在動作策略學習中具有重要的優先權[10,11,12]。將掩模作為一種新的模式加入，可以提供一種有效的方式，將大型基礎模型的能力轉移到策略模型中，從而有助于智能地抓取具有類似幾何形狀的各種物體。因此，我們的模型展示了泛化到未見過的物體類別和任務的能力，即使在復雜的環境中，也表現出數據效率和穩健性。這一進步為真實世界應用中的多功能機器人系統鋪平了道路，減少了對大規模數據收集的依賴。

為了進一步構建一個具有自然人機交互的整體機器人系統，我們提出進一步利用大型語言模型GPT-4[13]，并將兩步流程設計到我們的系統中。 (1) 身體化掩模生成：我們使用GPT-4解釋人類的指令，通過檢測和追蹤模型識別和定位物體。然后，我們采用視覺基礎模型SAM[14]生成目標物體的分割掩模，作為下一步的輸入。 (2) 動作預測：我們引入了一種多模態多視圖策略模型(MMPM)，用于聯合訓練RGB圖像、語義掩模和機器人運動，從而實現更好的3D感知，從而導致精確的動作預測。我們精心收集了一個包含各種物體（500次示范，26個物體，5種形狀類型）的機器人數據集，用于高效的拾放任務訓練。我們的實驗顯示了我們提出的模型的有效性，特別是在泛化到未見過的物體、復雜背景和多個干擾物方面。我們的任務的簡單演示如圖1所示。 本文的貢獻可以總結如下：(1) 我們是首批使用分割掩模將基礎模型應用于通用拾放代理的研究者之一，旨在以樣本效率高的方式增強其泛化能力。 (2) 我們使用Franka Emika Research 3機器人臂收集了一個精選的真實世界機器人數據集，并開發了一種多模態多視圖策略模型，以進行準確的動作預測。 (3) 我們的真實世界實驗結果表明，我們的控制模型可以有效地提高性能，并泛化以處理未見過的物體、新的背景和更多的干擾物。

2. 方法

在本節中，我們首先在第3.1節中介紹問題的形式化。接下來，在第3.2節中，我們詳細介紹了使用基礎模型進行身體化掩模生成的流程。最后，我們在第3.3節中詳細闡述了多模態多視圖策略模型及其訓練方法。

3. 實驗結果

在本節中，我們首先介紹我們的數據集。然后我們在接下來的部分中詳細闡述訓練細節、實驗設置和結果。我們首先對我們的方法的有效性以及其泛化到未見過的物體、新的背景和更多干擾物的能力進行了全面評估。為了確保更強大的評估，我們在每個設置下隨機測試了大量的任務，括號中的數字表示實驗任務的數量。標準環境是指與訓練數據一致的，有0-2個干擾物的桌面背景。實驗結果如表1所示。這些結果表明，在引入新背景時，無論是在已見或未見設置下，性能都會略有下降。然而，我們的模型對更多的干擾物表現出魯棒性，這可以歸因于在動作學習中引入了分割掩模的模式。

為了進一步驗證我們提出的方法及其各個組件的有效性，我們將我們的方法與幾種變體進行了比較。我們在四種設置中評估每種方法：1）標準環境中的已見物體；2）標準環境中的未見物體；3）新背景中的已見物體；以及 4）帶有更多干擾物（隨機3-6個）的已見物體。每個設置包括10個任務，因此每種方法總共有40個任務。詳細的任務列表可以在附錄B中找到。

比較實驗的結果如表2所示。我們分析結果以解答以下問題：? 對于動作預測，分割掩模是否優于邊界框？ ? 用于提示生成的跟蹤是否比逐幀檢測更穩健？ ? 多視圖融合是否比單視圖更有優勢？ ? 單獨包含RGB分支是否有益？

分割掩模對于動作預測比邊界框更有效。我們首先將物體掩模替換為其邊界框，這類似于MOO [9]。關鍵的區別在于，MOO需要模型由于在第一幀之后固定邊界框而隱式地執行時間相關性，而我們明確地合并了一個跟蹤器。結果顯示，分割掩模明顯優于邊界框。除了提供更多的幾何和形狀先驗，分割掩模對復雜紋理和干擾物也顯示出更大的魯棒性。相反，邊界框難以實現這種精度。

用于提示生成的跟蹤比逐幀檢測更穩健。然后，我們將首幀檢測和后續幀跟蹤的范式替換為逐幀檢測用于提示生成。成功率顯著降低，特別是當機器人手臂在抓取過程中嚴重阻擋物體時，這說明了檢測-跟蹤范式的魯棒性。此外，檢測-跟蹤范式顯著提高了推理速度。

與單視圖相比，多視圖融合更有益。我們進一步調查將多視圖模型轉換為單視圖模型，僅保留前視圖。實驗結果顯示，在所有設置中性能都有顯著下降。特別地，在新背景環境中出現了顯著下降。我們認為這是因為多視圖視覺可以通過視差估計深度，使其比單視圖視覺更魯棒。

單獨有一個RGB分支是有益的。最后，我們基于ResNet-50實現了一個單分支RGB-M策略模型進行公平的比較。實驗結果顯示其性能明顯下降，證明了我們的雙流架構的有效性。這種雙流方法允許模型有效地處理和解釋局部和全局特征，從而更準確地理解環境及其內部的物體。

我們提出了VERIX，這是在安全關鍵應用中向驗證機器學習模型的可解釋性邁出的第一步。具體地說，我們的合理和最優解釋可以保證對有界擾動的預測不變性。我們利用約束求解技術和特征靈敏度排序來有效地計算這些解釋。我們評估了我們的方法在圖像識別基準和一個真實場景的自動駕駛飛機滑行。

//www.zhuanzhi.ai/paper/34b21de1b36a14c054ad6aca3e70eb87

近年來，基于異構信息網絡(HINs)的自監督預訓練方法與傳統的半監督異構圖神經網絡(HGNNs)相比顯示出了良好的競爭力。不幸的是，它們的性能嚴重依賴于精心定制各種策略，以生成高質量的正例和反例，這明顯限制了它們的靈活性和泛化能力。在這項工作中，我們提出了一種新的自監督異構圖預訓練方法SHGP，它不需要生成任何正例或負例。它由兩個共享相同注意力聚合方案的模塊組成。在每次迭代中，Att-LPA模塊通過結構聚類產生偽標簽，這些偽標簽作為自我監督信號，指導Att-HGNN模塊學習對象嵌入和注意系數。這兩個模塊可以有效地相互利用和增強，促進模型學習判別嵌入。在四個真實數據集上的大量實驗證明了SHGP對最先進的無監督基線甚至半監督基線的優越有效性。我們在//github.com/kepsail/SHGP發布源代碼。

知識圖譜嵌入是監督學習模型，學習帶標簽、有向多圖的節點和邊的向量表示。我們描述了它們的設計原理，并解釋了為什么它們在圖表示學習和更廣泛的NLP社區中受到越來越多的關注。我們強調了它們的局限性、開放的研究方向和真實世界的用例。除了理論概述之外，我們還提供了一個handson會議，在那里我們展示了如何在實踐中使用這些模型。

強化學習(RL)為數據驅動決策提供了一個通用框架。然而，正是這種通用性使得這種方法適用于廣泛的問題，也導致了眾所周知的效率低下。在這篇論文中，我們考慮了有趣的決策類所共有的不同屬性，這些屬性可以用來設計計算效率和數據效率都很高的學習算法。具體來說，這項工作研究了決策問題的各個方面的低秩結構和經典確定性規劃的效果稀疏性，以及基于端到端模型的方法所依賴的性能。我們首先展示了后繼表示中的低秩結構如何使高效在線學習算法的設計成為可能。類似地，我們展示了如何在Bellman算子中找到相同的結構，我們使用Bellman算子來制定最小二乘時間差分學習算法的有效變體。我們進一步探索狀態特征中的低秩結構，以學習完全允許在低維空間中進行高效規劃的有效轉換模型。然后，我們進一步了解基于模型的端到端方法，以便更好地理解它們的屬性。我們通過約束優化和隱式微分的視角來研究這類方法。通過隱式視角，我們得到了這些方法的屬性，這些屬性使我們能夠確定它們執行良好的條件。在本文的最后，探索了如何利用經典規劃問題的效果的稀疏性來定義一般的領域無關啟發式方法，通過使用基于潛在的獎勵塑造和提升函數近似，可以用來大大加快領域相關啟發式方法的學習。

//dspace.mit.edu/handle/1721.1/144562

由于語料庫的缺乏，在自然語言處理(NLP)的神經注意機制中整合人類凝視數據作為監督信號方面的進展有限。我們提出了一種新的混合文本顯著性模型(TSM)，這是第一次將閱讀的認知模型與明確的人類注視監督結合在一個單一的機器學習框架中。在四個不同的語料庫上，我們證明了我們的混合TSM持續時間預測與人類凝視地面真相高度相關。我們進一步提出了一種新的聯合建模方法，將TSM預測集成到為特定上游NLP任務而設計的網絡的注意層中，而不需要任何特定任務的人類凝視數據。我們證明，在BLEU-4中，我們的聯合模型在Quora問題對語料庫上的釋義生成比目前的水平高出10%以上，并且在具有挑戰性的谷歌句子壓縮語料庫上實現了最先進的句子壓縮性能。因此，我們的工作引入了一種連接數據驅動和認知模型的實用方法，并展示了一種將人類注視引導的神經注意整合到NLP任務中的新方法。

//arxiv.org/abs/2010.07891

可解釋人工智能(xAI)是近年來出現的一個有趣的問題。許多研究人員正試圖從不同的角度和有趣的結果來處理這個問題。然而，我們在理解這些類型的模型方面仍處于起步階段。在未來的幾年里，深度學習模型的開放性將被討論。在經典的人工智能方法中，我們經常遇到深度學習方法。這些深度學習方法可以根據數據集大小、數據集質量、用于特征提取的方法、用于深度學習模型的超參數集、激活函數和優化算法得出高效的結果。然而，目前的深度學習模型還存在一些重要的不足。這些基于人工神經網絡的模型是黑盒模型，它概括傳輸給它的數據并從數據中學習。因此，輸入和輸出之間的關系是不可觀察的。這是人工神經網絡和深度學習模型的一個重要開放點。由于這些原因，有必要認真研究黑盒模型的可解釋性和可解釋性。

消息傳遞被證明是一種設計圖神經網絡的有效方法，因為它能夠利用排列等方差和對學習局部結構的歸納偏差來實現良好的泛化。然而，當前的消息傳遞體系結構的表達能力有限，無法學習圖的基本拓撲性質。我們解決了這個問題，并提出了一個新的消息傳遞框架，它是強大的同時保持置換等方差。具體來說，我們以單熱點編碼的形式傳播惟一的節點標識符，以便了解每個節點的本地上下文。我們證明了我們的模型在極限情況下是通用的，同時也是等變的。通過實驗，我們發現我們的模型在預測各種圖的拓撲性質方面具有優勢，為新型的、功能強大的等變和計算效率的結構開辟了道路。