深度神經網絡一直在推動自然語言處理領域的發展，被認為是解決機器翻譯、摘要和問答等復雜自然語言處理任務的事實建模方法。盡管深度神經網絡的有效性得到了證實，但它們的不透明性是引起關注的主要原因。
在本教程中，我們將從兩個角度介紹解釋神經網絡模型的細粒度組件的研究工作，一是內在分析，二是因果性分析。前者是一種方法來分析神經元關于一個理想的語言概念或任務。后者研究神經元和輸入特征在解釋模型決策中的作用。我們還將討論解釋方法和因果分析如何能夠更好地解釋模型預測。最后，我們將帶您瀏覽各種工具包，這些工具包有助于細粒度解釋和神經模型的原因分析。
付費5元查看完整內容
相關內容
自然語言數據的一個重要子集包括跨越數千個token的文檔。處理這樣長的序列的能力對于許多NLP任務是至關重要的，包括文檔分類、摘要、多跳和開放域問答，以及文檔級或多文檔關系提取和引用解析。然而，將最先進的模型擴展到較長的序列是一個挑戰，因為許多模型都是為較短的序列設計的。一個值得注意的例子是Transformer模型，它在序列長度上有二次計算代價，這使得它們對于長序列任務的代價非常昂貴。這反映在許多廣泛使用的模型中，如RoBERTa和BERT，其中序列長度被限制為只有512個tokens。在本教程中，我們將向感興趣的NLP研究人員介紹最新和正在進行的文檔級表示學習技術。此外，我們將討論新的研究機會，以解決該領域現有的挑戰。我們將首先概述已建立的長序列自然語言處理技術，包括層次、基于圖和基于檢索的方法。然后，我們將重點介紹最近的長序列轉換器方法，它們如何相互比較，以及它們如何應用于NLP任務(參見Tay等人(2020)最近的綜述)。我們還將討論處理長序列的關鍵的各種存儲器節省方法。在本教程中，我們將使用分類、問答和信息提取作為激勵任務。我們還將有一個專注于總結的實際編碼練習。
付費5元查看完整內容
本教程的目標讀者是對幫助機器理解自然語言文本(特別是文本中描述的真實事件)的人工智能技術感興趣的研究人員和實踐者。這些方法包括提取一個事件關于其主角、參與者和屬性的內部結構，以及關于多個事件的成員關系、時間和因果關系的外部結構。本教程將向讀者系統地介紹(i)事件的知識表示，(ii)自動提取、概念化和預測事件及其關系的各種方法，(iii)事件過程和屬性的歸納，以及(iv)大量受益于上述技術的NLU和常識理解任務。我們將概述這一領域中出現的研究問題，以此結束本教程。
//cogcomp.seas.upenn.edu/page/tutorial.202102/
人類語言總是涉及對現實世界事件的描述。因此，對事件的理解在自然語言理解中起著至關重要的作用。例如，敘事預測可以通過學習事件的因果關系來預測故事接下來會發生什么;機器理解文件可能包括理解影響股票市場的事件，描述自然現象或識別疾病表型。事實上，事件理解在諸如開放域問題回答、意圖預測、時間軸構建和文本摘要等任務中也廣泛地發現了它的重要用例。由于事件不只是簡單的、獨立的謂詞，對事件理解的前沿研究通常面臨兩個關鍵挑戰。一個挑戰是精確地歸納事件之間的關系，這些關系描述了事件的成員關系、共同參照、時間順序和因果關系。另一種是理解事件的內在結構和屬性，涉及其參與者、粒度、位置和時間。
在本教程中，我們將全面回顧文獻中以事件為中心的知識表示的現有范式，并關注它們對NLU任務的貢獻。除了介紹事件提取的部分標簽和無監督學習方法外，我們還將討論最近的約束學習和結構化推理方法，用于從文本中提取多方面的事件-事件關系。我們還將回顧最近用于事件預測任務的數據驅動方法，包括事件過程歸納和概念化，以及以事件為中心的語言模型如何有利于敘事預測。此外，我們將說明遠程監督的方法如何幫助解決對事件的時間和因果常識的理解，以及如何應用它們來構建大規模的可能性知識庫。與會者將了解該主題的最新趨勢和新出現的挑戰，獲得現成模型的代表性工具和學習資源，以及相關模型和技術如何有利于最終使用的NLU應用。
付費5元查看完整內容
我們給出了一個關于調查透明度和可解釋性的前沿教程，因為它們與NLP有關。研究團體和業界都在開發新的技術，以使黑箱型NLP模型更加透明和可解釋。來自社會科學、人機交互(HCI)和NLP研究人員的跨學科團隊的報告，我們的教程有兩個組成部分:對可解釋的人工智能(XAI)的介紹和對NLP中可解釋性研究的最新回顧; 研究結果來自一個大型跨國技術和咨詢公司在現實世界中從事NLP項目的個人的定性訪談研究。第一部分將介紹NLP中與可解釋性相關的核心概念。然后，我們將討論NLP任務的可解釋性，并對AI、NLP和HCI會議上的最新文獻進行系統的文獻綜述。第二部分報告了我們的定性訪談研究，該研究確定了包括NLP在內的現實世界開發項目中出現的實際挑戰和擔憂。
自然語言處理中可解釋AI的現狀調研
近年來，最領先的模型在性能上取得了重要的進步，但這是以模型變得越來越難以解釋為代價的。本調研提出了可解釋AI (XAI)的當前狀態的概述，在自然語言處理(NLP)領域內考慮。我們討論解釋的主要分類，以及解釋可以達到和可視化的各種方式。我們詳細介紹了目前可用來為NLP模型預測生成解釋的操作和可解釋性技術，以作為社區中模型開發人員的資源。最后，我們指出了在這個重要的研究領域目前的挑戰和未來可能工作方向。
付費5元查看完整內容
模型可解釋性
·
隨著機器學習模型越來越多地用于在醫療保健和刑事司法等高風險環境中幫助決策者，確保決策者(最終用戶)正確理解并因此信任這些模型的功能是很重要的。本報告旨在讓學生熟悉可解釋和可解釋ML這一新興領域的最新進展。在本報告中，我們將回顧該領域的重要論文，理解模型可解釋和可解釋的概念，詳細討論不同類別的可解釋模型(如基于原型的方法、稀疏線性模型、基于規則的技術、廣義可加性模型)，事后解釋(黑箱解釋包括反事實解釋和顯著性圖)，并探索可解釋性與因果關系、調試和公平性之間的聯系。該課程還將強調各種應用，可以極大地受益于模型的可解釋性，包括刑事司法和醫療保健。
付費5元查看完整內容
EMNLP（Conference on Empirical Methods in Natural Language Processing）是計算語言學和自然語言處理領域的頂級國際會議，由ACL旗下SIGDAT組織，每年舉辦一次，Google Scholar計算語言學刊物指標中排名第二，是CCF-B類推薦會議。今年EMNLP 2020將于2020年11月16日至20日以在線會議的形式舉辦。本篇為大家帶來EMNLP2020在線Tutorial《Interpreting Predictions of NLP Models》教程，系統性講解了自然語言處理模型可解釋性預測，不可錯過！
雖然神經NLP模型具有高度的表示學習能力和良好性能，但它們也會以違反直覺的方式系統性失敗，并且在決策過程中不透明。本教程將提供可解釋技術的背景知識，即可解釋NLP模型預測的方法。我們將首先將具體實例的解釋置于理解模型的其他方法的上下文中(例如，探測，數據集分析)。接下來，我們將全面研究具體例子的解釋，包括顯著性映射、輸入擾動(例如LIME、輸入減少)、對抗性攻擊和影響函數。除了這些描述之外，我們還將介紹為各種NLP任務創建和可視化解釋的源代碼。最后，我們將討論該領域的開放問題，如評價、擴展和改進解釋方法。
//github.com/Eric-Wallace/interpretability-tutorial-emnlp2020/
付費5元查看完整內容
深度生成模型
·
生成式模型是以圖模型和概率編程語言中的概率推理的重要范式。神經網絡對這些模型的參數化和基于梯度的隨機優化技術的進步使得高維數據的可擴展建模成為可能。
本教程的前半部分將全面回顧深度生成模型的主要家族，包括生成對抗網絡、變分自編碼器、標準化流和自回歸模型。對于每一個模型，我們將討論概率公式，學習算法，以及與其他模型的關系。本教程的后半部分將演示在科學發現中使用深度生成模型的方法，例如材料和藥物發現、壓縮感知等等。最后，我們將討論該領域目前的挑戰和未來研究的前景。
//dl4sci-school.lbl.gov/agenda
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191