亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在現實世界中，越來越多的客戶在使用人工智能服務時將隱私視為一個問題，尤其是當客戶內容包含敏感數據時。最近的研究表明，像GPT-2這樣的大型語言模型可以記憶內容，這些內容可以被對手提取出來。當模型在客戶數據上接受訓練時，這在部署場景中帶來了很高的隱私風險。由于其數學上的嚴密性，差分隱私被廣泛認為是隱私保護的黃金標準。為了緩解機器學習中對隱私的擔憂，許多研究工作都在研究具有不同隱私保障的機器學習。現在是時候澄清不同隱私下學習的挑戰和機會了。在本教程中，我們首先描述了機器學習模型中潛在的隱私風險，并介紹了差分隱私的背景，然后介紹了在機器學習中保障差分隱私的流行方法。在接下來的教程中，我們強調學習和隱私之間的相互作用。在第二部分中，我們展示了如何利用學習屬性來提高隱私學習的效用，特別是利用數據點之間的相關性和深度學習模型的低秩屬性來解決這些挑戰的最新進展。在第三部分，我們提出了研究的另一個方向，即利用差分隱私的工具來解決經典的泛化問題，并給出了利用差分隱私的思想來抵抗機器學習攻擊的具體場景。

人類語言的進化是為了溝通現實世界中發生的事件。因此，對事件的理解在自然語言理解中起著至關重要的作用。這一使命面臨的一個關鍵挑戰在于，事件并不僅僅是簡單的、獨立的謂詞。相反，它們通常被描述為不同的粒度，時間上形成的事件過程，并被特定的中心目標所引導。本講座涵蓋了自然語言中事件過程理解的最新進展。在此背景下，我將首先介紹如何從自然語言中識別事件的演化，然后介紹如何解決事件過程完成、意圖預測和隸屬關系預測的基本問題，以及關于事件過程的知識如何有利于下游的各種NLU和機器感知任務。我還將簡要地介紹這個領域中的一些未決問題，以及一個系統演示。

//speakerdeck.com/wingnus/understanding-event-processes-in-natural-language

本教程的目標讀者是對幫助機器理解自然語言文本(特別是文本中描述的真實事件)的人工智能技術感興趣的研究人員和實踐者。這些方法包括提取一個事件關于其主角、參與者和屬性的內部結構，以及關于多個事件的成員關系、時間和因果關系的外部結構。本教程將向讀者系統地介紹(i)事件的知識表示，(ii)自動提取、概念化和預測事件及其關系的各種方法，(iii)事件過程和屬性的歸納，以及(iv)大量受益于上述技術的NLU和常識理解任務。我們將概述這一領域中出現的研究問題，以此結束本教程。

//cogcomp.seas.upenn.edu/page/tutorial.202102/

人類語言總是涉及對現實世界事件的描述。因此，對事件的理解在自然語言理解中起著至關重要的作用。例如，敘事預測可以通過學習事件的因果關系來預測故事接下來會發生什么;機器理解文件可能包括理解影響股票市場的事件，描述自然現象或識別疾病表型。事實上，事件理解在諸如開放域問題回答、意圖預測、時間軸構建和文本摘要等任務中也廣泛地發現了它的重要用例。由于事件不只是簡單的、獨立的謂詞，對事件理解的前沿研究通常面臨兩個關鍵挑戰。一個挑戰是精確地歸納事件之間的關系，這些關系描述了事件的成員關系、共同參照、時間順序和因果關系。另一種是理解事件的內在結構和屬性，涉及其參與者、粒度、位置和時間。

在本教程中，我們將全面回顧文獻中以事件為中心的知識表示的現有范式，并關注它們對NLU任務的貢獻。除了介紹事件提取的部分標簽和無監督學習方法外，我們還將討論最近的約束學習和結構化推理方法，用于從文本中提取多方面的事件-事件關系。我們還將回顧最近用于事件預測任務的數據驅動方法，包括事件過程歸納和概念化，以及以事件為中心的語言模型如何有利于敘事預測。此外，我們將說明遠程監督的方法如何幫助解決對事件的時間和因果常識的理解，以及如何應用它們來構建大規模的可能性知識庫。與會者將了解該主題的最新趨勢和新出現的挑戰，獲得現成模型的代表性工具和學習資源，以及相關模型和技術如何有利于最終使用的NLU應用。

本教程將由四個主要部分組成，每個部分由一名講者負責，然后是一個討論環節。我們將從介紹常識的公理化理論開始。接下來，我們將討論跨異構常識源協調節點和關系的工作，以及這種整合對下游推理任務的影響。第三，我們將討論如何從文本中自動提取常識知識，以及定量和定性語境化。然后，我們將討論大型模型(如BERT、GPT-2和T5)如何學習隱式地表示通過閱讀web獲得的大量常識知識。另外，如何通過精心設計的語言提示或對知識圖譜元組進行微調來提取這些知識。我們將以對未來方法的討論來結束本教程，并提出在下一代常識推理技術中結合語言模型、知識圖譜和公理化。參與者的先驗知識將是最少的。一些機器學習和語言建模的知識會有幫助，但不是強制性的: 我們將介紹相關的機器學習概念，以便每個人都有機會跟隨。

目錄：

• Introduction to commonsense knowledge
• Axiomatization of commonsense knowledge
• Consolidating Commonsense Knowledge
• Extracting and contextualizing commonsense knowledge
• Language models, QA, and evaluation challenges
• Way forward: KGs+LMs+axioms?

常識推理被認為是構建更先進的“通用”人工智能系統的關鍵，這些系統具有類似人類的能力和推理能力，即使在面對不確定、隱含(或潛在矛盾)信息時也是如此。認識到它的重要性，幾個社區的研究人員越來越多地從事研究和評估常識推理任務有關的問題回答和溯因推理。與其他“純”或邏輯推理任務不同，知識庫和推理公理可以分離(至少在原則上)，知識是常識推理的一個重要方面。例如BERT (Devlin et al.， 2018)和GPT (Radford et al.， 2019)等基于轉換的模型，或者通過使用自然語言處理和眾包技術構建的概念、關系和事件的“知識圖譜”來獲取知識。一旦獲得，知識也必須被恰當地表示，以支持類似人類的推理和問題回答。語言模型傾向于連續的類向量表示，而知識圖譜則更加離散。在本教程中，我們將基于經典研究以及自然語言處理和語義Web社區的現代進展，全面概述常識知識獲取和表示技術。

參與者的先驗知識將是最少的。一些機器學習的知識，包括基本的概念，如訓練，測試和驗證，特征工程等將是有幫助的，但不是絕對的先決條件，因為我們不會進入高級機器學習數學或優化。此外，在可能的情況下，我們將介紹基本的機器學習概念，以便每個人都有機會跟隨。參加者不需要有任何回答自然語言常識問題的知識，也不需要有最先進的知識來源或公理化理論。

參考文獻：

• Bosselut, A.; Rashkin, H.; Sap, M.; Malaviya, C.; Celikyilmaz, A.; and Choi, Y. 2019. COMET: Commonsense transformers for automatic knowledge graph construction. arXiv preprint arXiv:1906.05317.

• Chalier, Y.; Razniewski, S.; and Weikum, G. 2020. Joint Reasoning for Multi-Faceted Commonsense Knowledge. AKBC.

• Devlin, J.; Chang, M. W.; Lee, K.; and Toutanova, K. 2018. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.

• Ilievski, F.; Szekely, P.; Zhang, B. 2020. CSKG: The CommonSense Knowledge Graph. arXiv preprint arXiv:2012.11490.

• Radford, A.; Wu, J.; Child, R.; Luan, D.; Amodei, D.; and Sutskever, I. 2019. Language models are unsupervised multitask learners. OpenAI Blog1(8): 9.

• Romero, J.; Razniewski, S.; Pal, K.; Z. Pan, J.; Sakhadeo, A.; and Weikum, G. 2019. Commonsense properties from query logs and question answering forums. In Proceedingsof the 28th ACM International Conference on Information and Knowledge Management, 1411–1420.

• Tandon, N.; De Melo, G.; and Weikum, G. 2017. Webchild2.0: Fine-grained commonsense knowledge distillation. In Proceedings of ACL 2017, System Demonstrations, 115–120.

不確定性的概念在機器學習中是非常重要的，并且構成了現代機器學習方法論的一個關鍵元素。近年來，由于機器學習與實際應用的相關性越來越大，它的重要性也越來越大，其中許多應用都伴隨著安全要求。在這方面，機器學習學者們發現了新的問題和挑戰，需要新的方法發展。事實上，長期以來，不確定性幾乎被視為標準概率和概率預測的同義詞，而最近的研究已經超越了傳統的方法，也利用了更一般的形式主義和不確定性計算。例如，不確定性的不同來源和類型之間的區別，例如任意不確定性和認知不確定性，在許多機器學習應用中被證明是有用的。講習班將特別注意這方面的最新發展。

綜述論文：

不確定性的概念在機器學習中是非常重要的，并且構成了機器學習方法的一個關鍵元素。按照統計傳統，不確定性長期以來幾乎被視為標準概率和概率預測的同義詞。然而，由于機器學習與實際應用和安全要求等相關問題的相關性穩步上升，機器學習學者最近發現了新的問題和挑戰，而這些問題可能需要新的方法發展。特別地，這包括區分(至少)兩種不同類型的不確定性的重要性，通常被稱為任意的和認知的。在這篇論文中，我們提供了機器學習中的不確定性主題的介紹，以及到目前為止在處理一般不確定性方面的嘗試的概述，并特別將這種區別形式化。

//www.zhuanzhi.ai/paper/8329095368761f81a7849fe5457949ed

對于來自開源社會傳感器的多種類型并發事件及其相關參與者進行建模是許多領域(如醫療保健、救災和金融分析)的一項重要任務。預測未來的事件可以幫助人類分析師更好地理解全球社會動態，并做出快速而準確的決策。預期參與這些活動的參與者或參與者還可以幫助涉眾更好地響應意外事件。然而，由于以下幾個因素，實現這些目標是具有挑戰性的:(i)難以從大規模輸入中過濾出相關信息，(ii)輸入數據通常為高維非結構化和Non-IID(非獨立同分布)，(iii)相關的文本特征是動態的，隨時間而變化。最近，圖神經網絡在學習復雜和關系數據方面表現出了優勢。本文研究了一種基于異構數據融合的時間圖學習方法，用于預測多類型并發事件并同時推斷多個候選參與者。為了從歷史數據中獲取時間信息，我們提出了一種基于事件知識圖的圖學習框架Glean，它結合了關系和單詞上下文。我們提出了一個上下文感知的嵌入融合模塊來豐富事件參與者的隱藏特性。我們在多個真實數據集上進行了廣泛的實驗，結果表明，所提出的方法在社會事件預測方面與各種先進的方法相比具有競爭力，而且還提供了急需的解釋能力。

異常檢測已經得到了廣泛的研究和應用。建立一個有效的異常檢測系統需要研究者和開發者從嘈雜的數據中學習復雜的結構，識別動態異常模式，用有限的標簽檢測異常。與經典方法相比，近年來深度學習技術的進步極大地提高了異常檢測的性能，并將異常檢測擴展到廣泛的應用領域。本教程將幫助讀者全面理解各種應用領域中基于深度學習的異常檢測技術。首先，我們概述了異常檢測問題，介紹了在深度模型時代之前采用的方法，并列出了它們所面臨的挑戰。然后我們調查了最先進的深度學習模型，范圍從構建塊神經網絡結構，如MLP, CNN，和LSTM，到更復雜的結構，如自動編碼器，生成模型(VAE, GAN，基于流的模型)，到深度單類檢測模型，等等。此外，我們舉例說明了遷移學習和強化學習等技術如何在異常檢測問題中改善標簽稀疏性問題，以及在實際中如何收集和充分利用用戶標簽。其次，我們討論來自LinkedIn內外的真實世界用例。本教程最后討論了未來的趨勢。

//sites.google.com/view/kdd2020deepeye/home

臺灣交通大學的Jen-Tzung Chien教授在WSDN 2020會議上通過教程《Deep Bayesian Data Mining》介紹了深度貝葉斯數據挖掘的相關知識，涵蓋了貝葉斯學習、深度序列學習、深度貝葉斯挖掘和學習等內容。

Jen-Tzung Chien教授在WSDM 2020的教程《Deep Bayesian Data Mining》（《深度貝葉斯數據挖掘》）介紹了面向自然語言的深度貝葉斯挖掘和學習，包括了它的基礎知識和進展，以及它無處不在的應用，這些應用包括語音識別、文檔摘要、文本分類、文本分割、信息抽取、圖像描述生成、句子生成、對話控制、情感分類、推薦系統、自動問答和機器翻譯等。

從傳統上，“深度學習”被認為是一個學習過程，過程中的推斷和優化都使用基于實數的判別模型。然而，從大量語料中提取出的詞匯、句子、實體、行為和文檔的“語義結構”在數學邏輯或計算機程序中可能不能很好地被這種方式表達或正確地優化。自然語言的離散或連續潛在變量模型中的“分布函數”可能不能被正確分解或估計。

該教程介紹了統計模型和神經網絡的基礎，并聚焦于一系列先進的貝葉斯模型和深度模型，包括層次狄利克雷過程、中國餐館過程、遞歸神經網絡、長短期記憶網絡、序列到序列模型、變分自編碼器、生成式對抗網絡、策略神經網絡等。教程還介紹了增強的先驗/后驗表示。教程展示了這些模型是如何連接的，以及它們為什么適用于自然語言中面向符號和復雜模式的各種應用程序。

變分推斷和采樣被提出解決解決復雜模型的優化問題。詞和句子的嵌入、聚類和聯合聚類被語言和語義約束合并。針對深度貝葉斯挖掘、搜索、學習和理解中的不同問題，一系列的案例研究、任務和應用被提出。最后，教程指出一些未來研究的方向和展望。教程旨在向初學者介紹深度貝葉斯學習中的主要主題，激發和解釋它對數據挖掘和自然語言理解正在浮現的重要性，并提出一種結合不同的機器學習工作的新的綜合方法。

教程的內容大致如下：

• 簡介
  • 動機和背景
  • 概率模型
  • 神經網絡
• 貝葉斯學習
  • 推斷和優化
  • 變分貝葉斯推斷
  • 蒙特卡羅馬爾科夫鏈推斷
• 深度序列學習
  • 深度非展開主題模型
  • 門遞歸神經網絡
  • 貝葉斯遞歸神經網絡
  • 記憶增強神經網絡
  • 序列到序列學習
  • 卷積神經網絡
  • 擴增神經網絡
  • 基于Transformer的注意力網絡
• 深度貝葉斯挖掘和學習
  • 變分自編碼器
  • 變分遞歸自編碼器
  • 層次變分自編碼器
  • 隨機遞歸神經網絡
  • 正則遞歸神經網絡
  • 跳躍遞歸神經網絡
  • 馬爾科夫遞歸神經網絡
  • 時間差分變分自編碼器
  • 未來挑戰和發展
• 總結和未來趨勢

完整教程下載

請關注專知公眾號（點擊上方藍色專知關注） 后臺回復“DBDM20” 就可以獲取完整教程PDF的下載鏈接~

教程部分內容如下所示：

參考鏈接：

//chien.cm.nctu.edu.tw/home/wsdm-tutorial/

-END- 專 · 知

專知，專業可信的人工智能知識分發，讓認知協作更快更好！歡迎注冊登錄專知www.zhuanzhi.ai，獲取更多AI知識資料！

歡迎微信掃一掃加入專知人工智能知識星球群，獲取最新AI專業干貨知識教程視頻資料和與專家交流咨詢！

請加專知小助手微信（掃一掃如下二維碼添加），獲取專知VIP會員碼，加入專知人工智能主題群，咨詢技術商務合作~

點擊“閱讀原文”，了解注冊使用專知