亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本教程針對的是對幫助機器理解自然語言文本的人工智能技術感興趣的研究人員和從業者，特別是文本中描述的真實世界事件。這些方法包括提取關于一個事件的主角、參與者和屬性的內部結構，以及關于多個事件的成員關系、時間和因果關系的外部結構。本教程將為讀者提供一個系統的介紹 (i) 事件的知識表示，(ii) 自動提取、概念化和預測事件及其關系的各種方法，(iii) 事件過程和屬性的歸納，和(iv) 廣泛的NLU和常識性理解任務。我們將通過概述這一領域中出現的研究問題來結束本教程。

//cogcomp.seas.upenn.edu/page/tutorial.202108/

人類語言總是涉及對現實世界事件的描述。因此，對事件的理解在自然語言理解中起著至關重要的作用。例如，敘述預測得益于學習事件的因果關系，從而預測故事接下來會發生什么;機器理解文檔可能包括理解影響股市的事件、描述自然現象或識別疾病表型。事實上，事件理解在諸如開放領域問答、意圖預測、時間軸構建和文本摘要等任務中也有廣泛的重要應用。由于事件不只是簡單的、獨立的謂詞，對事件理解的前沿研究通常面臨兩個關鍵挑戰。一個挑戰是精確地歸納事件的關系，它描述了事件的隸屬關系、共參照、時間順序和因果關系。另一種是理解事件的內在結構和屬性，涉及到它的參與者、粒度、位置和時間。

在本教程中，我們將全面回顧文獻中關于以事件為中心的知識表示的現有范式，并關注它們對NLU任務的貢獻。除了引入用于事件抽取的部分標簽和無監督學習方法外，我們還將討論最近用于從文本中抽取多面事件-事件關系的約束學習和結構化推理方法。我們還將回顧最近用于事件預測任務的數據驅動方法，包括事件過程歸納和概念化，以及以事件為中心的語言模型如何有利于敘事預測。此外，我們將說明遠距離監督方法如何幫助解決時間和因果常識對事件的理解，以及如何運用它們來構建大規模的事件知識庫。參與者將了解這個主題的最新趨勢和新出現的挑戰，代表性工具和學習資源，以獲得即用模型，以及相關模型和技術如何使最終使用NLU應用程序受益。

目錄內容：

• 引言
• 事件信息提取
• 事件過程預測
• 事件知識獲取
• 事件摘要
• 事件研究問題

自然語言數據的一個重要子集包括跨越數千個token的文檔。處理這樣長的序列的能力對于許多NLP任務是至關重要的，包括文檔分類、摘要、多跳和開放域問答，以及文檔級或多文檔關系提取和引用解析。然而，將最先進的模型擴展到較長的序列是一個挑戰，因為許多模型都是為較短的序列設計的。一個值得注意的例子是Transformer模型，它在序列長度上有二次計算代價，這使得它們對于長序列任務的代價非常昂貴。這反映在許多廣泛使用的模型中，如RoBERTa和BERT，其中序列長度被限制為只有512個tokens。在本教程中，我們將向感興趣的NLP研究人員介紹最新和正在進行的文檔級表示學習技術。此外，我們將討論新的研究機會，以解決該領域現有的挑戰。我們將首先概述已建立的長序列自然語言處理技術，包括層次、基于圖和基于檢索的方法。然后，我們將重點介紹最近的長序列轉換器方法，它們如何相互比較，以及它們如何應用于NLP任務(參見Tay等人(2020)最近的綜述)。我們還將討論處理長序列的關鍵的各種存儲器節省方法。在本教程中，我們將使用分類、問答和信息提取作為激勵任務。我們還將有一個專注于總結的實際編碼練習。

本教程的目標讀者是對幫助機器理解自然語言文本(特別是文本中描述的真實事件)的人工智能技術感興趣的研究人員和實踐者。這些方法包括提取一個事件關于其主角、參與者和屬性的內部結構，以及關于多個事件的成員關系、時間和因果關系的外部結構。本教程將向讀者系統地介紹(i)事件的知識表示，(ii)自動提取、概念化和預測事件及其關系的各種方法，(iii)事件過程和屬性的歸納，以及(iv)大量受益于上述技術的NLU和常識理解任務。我們將概述這一領域中出現的研究問題，以此結束本教程。

//cogcomp.seas.upenn.edu/page/tutorial.202102/

人類語言總是涉及對現實世界事件的描述。因此，對事件的理解在自然語言理解中起著至關重要的作用。例如，敘事預測可以通過學習事件的因果關系來預測故事接下來會發生什么;機器理解文件可能包括理解影響股票市場的事件，描述自然現象或識別疾病表型。事實上，事件理解在諸如開放域問題回答、意圖預測、時間軸構建和文本摘要等任務中也廣泛地發現了它的重要用例。由于事件不只是簡單的、獨立的謂詞，對事件理解的前沿研究通常面臨兩個關鍵挑戰。一個挑戰是精確地歸納事件之間的關系，這些關系描述了事件的成員關系、共同參照、時間順序和因果關系。另一種是理解事件的內在結構和屬性，涉及其參與者、粒度、位置和時間。

在本教程中，我們將全面回顧文獻中以事件為中心的知識表示的現有范式，并關注它們對NLU任務的貢獻。除了介紹事件提取的部分標簽和無監督學習方法外，我們還將討論最近的約束學習和結構化推理方法，用于從文本中提取多方面的事件-事件關系。我們還將回顧最近用于事件預測任務的數據驅動方法，包括事件過程歸納和概念化，以及以事件為中心的語言模型如何有利于敘事預測。此外，我們將說明遠程監督的方法如何幫助解決對事件的時間和因果常識的理解，以及如何應用它們來構建大規模的可能性知識庫。與會者將了解該主題的最新趨勢和新出現的挑戰，獲得現成模型的代表性工具和學習資源，以及相關模型和技術如何有利于最終使用的NLU應用。

本教程將由四個主要部分組成，每個部分由一名講者負責，然后是一個討論環節。我們將從介紹常識的公理化理論開始。接下來，我們將討論跨異構常識源協調節點和關系的工作，以及這種整合對下游推理任務的影響。第三，我們將討論如何從文本中自動提取常識知識，以及定量和定性語境化。然后，我們將討論大型模型(如BERT、GPT-2和T5)如何學習隱式地表示通過閱讀web獲得的大量常識知識。另外，如何通過精心設計的語言提示或對知識圖譜元組進行微調來提取這些知識。我們將以對未來方法的討論來結束本教程，并提出在下一代常識推理技術中結合語言模型、知識圖譜和公理化。參與者的先驗知識將是最少的。一些機器學習和語言建模的知識會有幫助，但不是強制性的: 我們將介紹相關的機器學習概念，以便每個人都有機會跟隨。

目錄：

• Introduction to commonsense knowledge
• Axiomatization of commonsense knowledge
• Consolidating Commonsense Knowledge
• Extracting and contextualizing commonsense knowledge
• Language models, QA, and evaluation challenges
• Way forward: KGs+LMs+axioms?

常識推理被認為是構建更先進的“通用”人工智能系統的關鍵，這些系統具有類似人類的能力和推理能力，即使在面對不確定、隱含(或潛在矛盾)信息時也是如此。認識到它的重要性，幾個社區的研究人員越來越多地從事研究和評估常識推理任務有關的問題回答和溯因推理。與其他“純”或邏輯推理任務不同，知識庫和推理公理可以分離(至少在原則上)，知識是常識推理的一個重要方面。例如BERT (Devlin et al.， 2018)和GPT (Radford et al.， 2019)等基于轉換的模型，或者通過使用自然語言處理和眾包技術構建的概念、關系和事件的“知識圖譜”來獲取知識。一旦獲得，知識也必須被恰當地表示，以支持類似人類的推理和問題回答。語言模型傾向于連續的類向量表示，而知識圖譜則更加離散。在本教程中，我們將基于經典研究以及自然語言處理和語義Web社區的現代進展，全面概述常識知識獲取和表示技術。

參與者的先驗知識將是最少的。一些機器學習的知識，包括基本的概念，如訓練，測試和驗證，特征工程等將是有幫助的，但不是絕對的先決條件，因為我們不會進入高級機器學習數學或優化。此外，在可能的情況下，我們將介紹基本的機器學習概念，以便每個人都有機會跟隨。參加者不需要有任何回答自然語言常識問題的知識，也不需要有最先進的知識來源或公理化理論。

參考文獻：

• Bosselut, A.; Rashkin, H.; Sap, M.; Malaviya, C.; Celikyilmaz, A.; and Choi, Y. 2019. COMET: Commonsense transformers for automatic knowledge graph construction. arXiv preprint arXiv:1906.05317.

• Chalier, Y.; Razniewski, S.; and Weikum, G. 2020. Joint Reasoning for Multi-Faceted Commonsense Knowledge. AKBC.

• Devlin, J.; Chang, M. W.; Lee, K.; and Toutanova, K. 2018. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.

• Ilievski, F.; Szekely, P.; Zhang, B. 2020. CSKG: The CommonSense Knowledge Graph. arXiv preprint arXiv:2012.11490.

• Radford, A.; Wu, J.; Child, R.; Luan, D.; Amodei, D.; and Sutskever, I. 2019. Language models are unsupervised multitask learners. OpenAI Blog1(8): 9.

• Romero, J.; Razniewski, S.; Pal, K.; Z. Pan, J.; Sakhadeo, A.; and Weikum, G. 2019. Commonsense properties from query logs and question answering forums. In Proceedingsof the 28th ACM International Conference on Information and Knowledge Management, 1411–1420.

• Tandon, N.; De Melo, G.; and Weikum, G. 2017. Webchild2.0: Fine-grained commonsense knowledge distillation. In Proceedings of ACL 2017, System Demonstrations, 115–120.

人類的視覺系統證明，用極少的樣本就可以學習新的類別;人類不需要一百萬個樣本就能學會區分野外的有毒蘑菇和可食用蘑菇。可以說，這種能力來自于看到了數百萬個其他類別，并將學習到的表現形式轉化為新的類別。本報告將正式介紹機器學習與熱力學之間的聯系，以描述遷移學習中學習表征的質量。我們將討論諸如速率、畸變和分類損失等信息理論泛函如何位于一個凸的，所謂的平衡曲面上。我們規定了在約束條件下穿越該表面的動態過程，例如，一個調制速率和失真以保持分類損失不變的等分類過程。我們將演示這些過程如何完全控制從源數據集到目標數據集的傳輸，并保證最終模型的性能。

摘要

基于神經網絡的生成式模型的最新進展重新燃起了計算機系統能夠與人類無縫對話并能夠理解自然語言的希望。神經結構被用于生成文本摘錄，在滿足不同用戶需求的多種上下文和任務中取得了不同程度的成功。值得注意的是，在大規模數據集上訓練的高容量深度學習模型顯示出無與倫比的能力，即使在缺乏明確的監督信號的情況下，也能在數據中學習模式，這為生成現實和連貫的文本提供了大量新的可能性。雖然自然語言生成領域正在迅速發展，但仍有許多開放的挑戰需要解決。在這篇綜述中，我們正式地定義和分類自然語言生成的問題。我們回顧了這些通用公式的實例化的特定應用程序任務，在這些任務中生成自然語言是非常重要的。接下來，我們涵蓋了用于生成不同文本的方法和神經存檔的全面的總結。然而，這些生成式模型產生的文本質量并沒有一個標準的評價方法，這是該領域發展的一個嚴重瓶頸。為此，我們還回顧了當前評估自然語言生成系統的方法。我們希望這篇綜述將提供一個公式，方法，和神經自然語言生成的評估信息概述。

介紹

最近在深層生成式模型和表征學習方面的成功導致了自然語言生成(NLG)方面的重大進展，其動機是越來越需要理解和派生語言的意義。文本生成的研究領域是自然語言處理的基礎，其目標是生成真實可信的文本內容，與人類書寫的文本沒有區別 (Turing, 1950)。從廣義上講，在給定語境下，預測連續詞在句法和語義上的正確順序需要兩個步驟:首先從給定語料庫中估計句子的分布情況，然后從已學習得到的語料中抽取新穎和真實的句子。理想情況下，生成的句子保留了真實世界句子的語義和句法屬性，并且不同于用于估計模型的訓練示例(Zhang et al.， 2017b)。語言生成是一項內在復雜的任務，需要大量的語法、語義、形態、音韻、語用等多層次的語言學和領域知識。此外，文本生成是為了實現一個交流目標(Reiter, 2019)，例如在決策過程中提供支持、總結內容、在語言之間進行翻譯、與人交談、使特定文本更容易理解，以及娛樂用戶或鼓勵他們改變行為。因此，生成的文本應該根據內容和使用的術語的適當性，以及出于公平和透明度的原因(Mayfield et al.， 2019)，針對特定受眾量身定制(Paris, 2015)。長期以來，自然語言生成模型都是基于規則的，或者依賴于在稀疏的高維特征上訓練淺層模型。隨著最近神經網絡的復蘇，基于密集向量表示訓練的文本生成神經網絡模型已經建立了無與倫比的先前表現，重新點燃了機器能夠理解語言并與人類無縫對話的希望。事實上，生成有意義和連貫的文本是許多自然語言處理任務的關鍵。然而，由于文本數據的離散性，設計能夠生成連貫文本并建立長期依賴關系模型的神經網絡一直是自然語言生成的挑戰。除此之外，神經網絡模型理解語言和基礎文本概念的能力，除了從數據中提取淺層的模式，仍然是有限的。最后，自然語言生成模型的評價是一個同樣活躍和具有挑戰性的研究領域，對推動該領域的發展具有重要意義。

人類的視覺系統證明，用極少的樣本就可以學習新的類別;人類不需要一百萬個樣本就能學會區分野外的有毒蘑菇和可食用蘑菇。可以說，這種能力來自于看到了數百萬個其他類別，并將學習到的表現形式轉化為新的類別。本報告將正式介紹機器學習與熱力學之間的聯系，以描述遷移學習中學習表征的質量。我們將討論諸如速率、畸變和分類損失等信息理論泛函如何位于一個凸的，所謂的平衡曲面上。我們規定了在約束條件下穿越該表面的動態過程，例如，一個調制速率和失真以保持分類損失不變的等分類過程。我們將演示這些過程如何完全控制從源數據集到目標數據集的傳輸，并保證最終模型的性能。