本教程將由四個主要部分組成，每個部分由一名講者負責，然后是一個討論環節。我們將從介紹常識的公理化理論開始。接下來，我們將討論跨異構常識源協調節點和關系的工作，以及這種整合對下游推理任務的影響。第三，我們將討論如何從文本中自動提取常識知識，以及定量和定性語境化。然后，我們將討論大型模型(如BERT、GPT-2和T5)如何學習隱式地表示通過閱讀web獲得的大量常識知識。另外，如何通過精心設計的語言提示或對知識圖譜元組進行微調來提取這些知識。我們將以對未來方法的討論來結束本教程，并提出在下一代常識推理技術中結合語言模型、知識圖譜和公理化。參與者的先驗知識將是最少的。一些機器學習和語言建模的知識會有幫助，但不是強制性的: 我們將介紹相關的機器學習概念，以便每個人都有機會跟隨。
目錄：
- Introduction to commonsense knowledge
- Axiomatization of commonsense knowledge
- Consolidating Commonsense Knowledge
- Extracting and contextualizing commonsense knowledge
- Language models, QA, and evaluation challenges
- Way forward: KGs+LMs+axioms?
常識推理被認為是構建更先進的“通用”人工智能系統的關鍵，這些系統具有類似人類的能力和推理能力，即使在面對不確定、隱含(或潛在矛盾)信息時也是如此。認識到它的重要性，幾個社區的研究人員越來越多地從事研究和評估常識推理任務有關的問題回答和溯因推理。與其他“純”或邏輯推理任務不同，知識庫和推理公理可以分離(至少在原則上)，知識是常識推理的一個重要方面。例如BERT (Devlin et al.， 2018)和GPT (Radford et al.， 2019)等基于轉換的模型，或者通過使用自然語言處理和眾包技術構建的概念、關系和事件的“知識圖譜”來獲取知識。一旦獲得，知識也必須被恰當地表示，以支持類似人類的推理和問題回答。語言模型傾向于連續的類向量表示，而知識圖譜則更加離散。在本教程中，我們將基于經典研究以及自然語言處理和語義Web社區的現代進展，全面概述常識知識獲取和表示技術。
參與者的先驗知識將是最少的。一些機器學習的知識，包括基本的概念，如訓練，測試和驗證，特征工程等將是有幫助的，但不是絕對的先決條件，因為我們不會進入高級機器學習數學或優化。此外，在可能的情況下，我們將介紹基本的機器學習概念，以便每個人都有機會跟隨。參加者不需要有任何回答自然語言常識問題的知識，也不需要有最先進的知識來源或公理化理論。
參考文獻：
-
Bosselut, A.; Rashkin, H.; Sap, M.; Malaviya, C.; Celikyilmaz, A.; and Choi, Y. 2019. COMET: Commonsense transformers for automatic knowledge graph construction. arXiv preprint arXiv:1906.05317.
-
Chalier, Y.; Razniewski, S.; and Weikum, G. 2020. Joint Reasoning for Multi-Faceted Commonsense Knowledge. AKBC.
-
Devlin, J.; Chang, M. W.; Lee, K.; and Toutanova, K. 2018. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.
-
Ilievski, F.; Szekely, P.; Zhang, B. 2020. CSKG: The CommonSense Knowledge Graph. arXiv preprint arXiv:2012.11490.
-
Radford, A.; Wu, J.; Child, R.; Luan, D.; Amodei, D.; and Sutskever, I. 2019. Language models are unsupervised multitask learners. OpenAI Blog1(8): 9.
-
Romero, J.; Razniewski, S.; Pal, K.; Z. Pan, J.; Sakhadeo, A.; and Weikum, G. 2019. Commonsense properties from query logs and question answering forums. In Proceedingsof the 28th ACM International Conference on Information and Knowledge Management, 1411–1420.
-
Tandon, N.; De Melo, G.; and Weikum, G. 2017. Webchild2.0: Fine-grained commonsense knowledge distillation. In Proceedings of ACL 2017, System Demonstrations, 115–120.
付費5元查看完整內容
相關內容
近年來，在大量原始文本上預先訓練的大型語言模型徹底改變了自然語言處理。現有的方法，基于因果或隱藏的語言模型的變化，現在為每一個NLP任務提供了事實上的方法。在這個演講中，我將討論最近在語言模型預訓練方面的工作，從ELMo、GPT和BERT到更近期的模型。我的目標是對總體趨勢進行廣泛的報道，但提供更多關于我們最近在Facebook AI和華盛頓大學開發的模型的細節。其中特別包括序列到序列模型的預訓練方法，如BART、mBART和MARGE，它們提供了一些迄今為止最普遍適用的方法。
付費5元查看完整內容
本教程的目標讀者是對幫助機器理解自然語言文本(特別是文本中描述的真實事件)的人工智能技術感興趣的研究人員和實踐者。這些方法包括提取一個事件關于其主角、參與者和屬性的內部結構，以及關于多個事件的成員關系、時間和因果關系的外部結構。本教程將向讀者系統地介紹(i)事件的知識表示，(ii)自動提取、概念化和預測事件及其關系的各種方法，(iii)事件過程和屬性的歸納，以及(iv)大量受益于上述技術的NLU和常識理解任務。我們將概述這一領域中出現的研究問題，以此結束本教程。
//cogcomp.seas.upenn.edu/page/tutorial.202102/
人類語言總是涉及對現實世界事件的描述。因此，對事件的理解在自然語言理解中起著至關重要的作用。例如，敘事預測可以通過學習事件的因果關系來預測故事接下來會發生什么;機器理解文件可能包括理解影響股票市場的事件，描述自然現象或識別疾病表型。事實上，事件理解在諸如開放域問題回答、意圖預測、時間軸構建和文本摘要等任務中也廣泛地發現了它的重要用例。由于事件不只是簡單的、獨立的謂詞，對事件理解的前沿研究通常面臨兩個關鍵挑戰。一個挑戰是精確地歸納事件之間的關系，這些關系描述了事件的成員關系、共同參照、時間順序和因果關系。另一種是理解事件的內在結構和屬性，涉及其參與者、粒度、位置和時間。
在本教程中，我們將全面回顧文獻中以事件為中心的知識表示的現有范式，并關注它們對NLU任務的貢獻。除了介紹事件提取的部分標簽和無監督學習方法外，我們還將討論最近的約束學習和結構化推理方法，用于從文本中提取多方面的事件-事件關系。我們還將回顧最近用于事件預測任務的數據驅動方法，包括事件過程歸納和概念化，以及以事件為中心的語言模型如何有利于敘事預測。此外，我們將說明遠程監督的方法如何幫助解決對事件的時間和因果常識的理解，以及如何應用它們來構建大規模的可能性知識庫。與會者將了解該主題的最新趨勢和新出現的挑戰，獲得現成模型的代表性工具和學習資源，以及相關模型和技術如何有利于最終使用的NLU應用。
付費5元查看完整內容
貝葉斯概率模型為不確定性下的相干推理和預測提供了一個原則框架。近似推理解決了貝葉斯計算的關鍵挑戰，即計算棘手的后驗分布和相關數量，如貝葉斯預測分布。近十年來，貝葉斯建模技術在計算機視覺、自然語言處理、強化學習等領域的機器學習任務中得到了廣泛應用。
本教程對近似推理的最新進展進行了一個連貫的總結。我們將以介紹近似推理的概念和變分推理的基礎知識開始本教程。然后我們將描述現代近似推理的基本方面，包括可擴展推理、蒙特卡洛技術、平攤推理、近似后驗設計和優化目標。這些最新進展之間的聯系也將被討論。最后，我們將在下游不確定性估計和決策任務中的應用實例提供先進的近似推理技術，并對未來的研究方向進行討論。
付費5元查看完整內容
注意力機制
·
注意力是一種在廣泛的神經結構中使用的越來越流行的機制。由于這一領域的快速發展，仍然缺乏對注意力的系統概述。在本文中，我們定義了用于自然語言處理的注意力體系結構的統一模型，重點介紹了用于文本數據的向量表示的體系結構。我們討論了以往工作的不同方面，注意力機制的可能用途，并描述了該領域的主要研究工作和公開挑戰。
//web.eecs.umich.edu/~justincj/slides/eecs498/FA2020/598_FA2020_lecture13.pdf
付費5元查看完整內容
自然語言處理中的預訓練模型
論文：【復旦大學】最新《預訓練語言模型》2020綜述論文大全，50+PTMs分類體系，25頁pdf205篇參考文獻
目前預訓練模型在自然語言處理領域取得了廣泛的成功。本報告的內容主要涵蓋以下4部分內容：1）預訓練模型的原理介紹，包括模型結構、學習準則、發展歷程等；2）預訓練模型的遷移方法：包括如何通過任務轉換、多步遷移、改進精調等方法來進一步提高預訓練模型在下游任務上的性能；3）預訓練模型的改進模型：包括知識嵌入模型、多模態模型、多語言模型、語言特定模型、領域特定模型和模型壓縮等；4）對預訓練模型及其未來發展趨勢進行展望。
付費5元查看完整內容
自然語言處理中的預訓練模型
論文：【復旦大學】最新《預訓練語言模型》2020綜述論文大全，50+PTMs分類體系，25頁pdf205篇參考文獻
目前預訓練模型在自然語言處理領域取得了廣泛的成功。本報告的內容主要涵蓋以下4部分內容：1）預訓練模型的原理介紹，包括模型結構、學習準則、發展歷程等；2）預訓練模型的遷移方法：包括如何通過任務轉換、多步遷移、改進精調等方法來進一步提高預訓練模型在下游任務上的性能；3）預訓練模型的改進模型：包括知識嵌入模型、多模態模型、多語言模型、語言特定模型、領域特定模型和模型壓縮等；4）對預訓練模型及其未來發展趨勢進行展望。
付費5元查看完整內容
本文推薦來自Krikamol Muandet博士講述《概率分布的希爾伯特空間表示》，136頁ppt系統性講述了希爾伯特空間表示基礎知識和最新進展，非常干貨。
概率分布的希爾伯特空間表示的最新進展
概率分布的希爾伯特空間嵌入最近出現了作為一個強大的機器學習和統計推斷工具。在本教程中，我將介紹分布的希爾伯特空間嵌入的概念，以及它在機器學習、統計推理、因果推理和計量經濟學中的最新應用。本教程的第一部分將重點了解可以概括特征圖的數據點分布的概率分布和這個新的表示允許我們建立強大的算法,如最大平均差異(MMD), Hilbert-Schmidt獨立標準(仿人智能控制),和支持測量機(多發性骨髓瘤)。在第二部分，我將解釋如何推廣這個概念來表示條件分布。條件分布的嵌入擴展了希爾伯特空間嵌入建模更復雜的依賴的能力，在各種應用，如動力系統，馬爾可夫決策過程，強化學習，潛在變量模型，核貝葉斯規則，因果推理。在本教程的最后，我將討論這一研究領域的最新進展，并強調未來可能的研究方向。
付費5元查看完整內容
機器學習暑期學校(MLSS)系列開始于2002年，致力于傳播統計機器學習和推理的現代方法。今年因新冠疫情在線舉行，從6月28號到7月10號講述了眾多機器學習主題。本文推薦來自DeepMind Shakir Mohamed博士講述《貝葉斯推斷》，125頁ppt系統性講述了貝葉斯推斷基礎知識和最新進展，非常干貨。
地址： //mlss.tuebingen.mpg.de/2020/schedule.html
作者介紹：
Shakir Mohamed，統計機器學習和人工智能的研究科學家。
貝葉斯推斷
付費5元查看完整內容
自監督學習
·
借助現代的高容量模型，大數據已經推動了機器學習的許多領域的革命，但標準方法——從標簽中進行監督學習，或從獎勵功能中進行強化學習——已經成為瓶頸。即使數據非常豐富，獲得明確指定模型必須做什么的標簽或獎勵也常常是棘手的。收集簡單的類別標簽進行分類對于數百萬計的示例來說是不可能的，結構化輸出(場景解釋、交互、演示)要糟糕得多，尤其是當數據分布是非平穩的時候。
自監督學習是一個很有前途的替代方法，其中開發的代理任務允許模型和代理在沒有明確監督的情況下學習，這有助于對感興趣的任務的下游性能。自監督學習的主要好處之一是提高數據效率:用較少的標記數據或較少的環境步驟(在強化學習/機器人技術中)實現可比較或更好的性能。
自監督學習(self-supervised learning, SSL)領域正在迅速發展，這些方法的性能逐漸接近完全監督方法。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191