亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在過去的一年中，基于大型語言模型（LLMs）的AI智能體迅速成為最令人興奮但也頗具爭議的話題之一。有人認為這是下一次技術革命的開端，而另一些人則認為這些智能體不過是LLMs的簡單包裝。在本教程中，我們希望認真審視并調和這些不同的觀點，同時將新一代AI智能體放在更廣泛的AI發展歷史中進行合理定位。我們認為，當代AI智能體與以往幾代（如邏輯智能體或神經網絡智能體）在質量上存在顯著差異。通過集成LLM，這些智能體獲得了一種全新的能力，即利用語言作為推理和交流的媒介，從而大幅提升了它們的表達能力和適應性。因此，我們認為它們最適合被稱為語言智能體，因為語言是它們最顯著的特性。 語言在推動人類認知進化中起到了關鍵作用，而AI似乎也在沿著類似的路徑前進。然而，目前針對語言智能體的定義、理論基礎、應用、風險及未來方向的系統性討論仍然較少。本前沿教程旨在填補這一空白，提供對語言智能體的全面探討。

需要注意的是，本教程并非相關工作的全面綜述，也不是專注于代碼框架的實踐指南。

大型生成模型帶來了驚人的成果，并徹底改變了人工智能。在本論文中，我將討論我在推進這些模型基礎上的研究，重點解決從現有數據中學習的瓶頸以及超越現有知識發現的挑戰。首先，我將描述我們為消除Transformer架構的上下文大小限制所做的努力。我們的建模和訓練方法，包括BlockwiseTransformer和RingAttention，允許在保持可擴展性的同時實現近乎無限的上下文大小。接下來，我將討論大上下文在世界模型學習和決策中的應用。這包括Large World Model，這是世界上首個人工智能，能夠在百萬個標記的上下文中同時對文本、圖像和小時級視頻進行建模。然后，我將介紹我的研究，旨在讓AI能夠發現數據并自主學習。我將討論我們在無需人為指定領域知識的情況下學習游戲技能的工作，為超越模仿現有數據的學習鋪平道路。最后，我將展望我們應構建的下一代大型生成模型，重點關注高效擴展、推理以及在一般領域中的發現能力的進展。

動物和人類在構建世界的內部表征并利用它們來模擬、評估和選擇不同可能的行動方面表現出非凡的能力。這種能力主要通過觀察且沒有任何監督地學習。賦予自主代理類似的能力是機器學習中的一個基本挑戰。在本論文中，我將探索新的算法，這些算法能夠通過預測從視頻中進行可擴展的表征學習、視覺數據的生成模型及其在機器人領域的應用。

首先，我將討論使用預測學習目標來學習視覺表征所面臨的挑戰。我將介紹一個簡單的預測學習架構和目標，它能夠學習視覺表征，以零樣本的方式解決各種視覺對應任務。隨后，我將提出一種基于變壓器的通過擴散建模進行照片級視頻生成的方法。我們的方法在統一的潛在空間內聯合壓縮圖像和視頻，從而實現跨模態的訓練和生成。最后，我將說明生成模型在機器人學習中的實際應用。我們非自回歸的、動作條件的視頻生成模型可以作為世界模型，使具身代理能夠使用視覺模型預測控制進行規劃。此外，我將展示一個通過下一個標記預測訓練的通用代理，該代理可以從各種機器人和任務中學習多樣的機器人經驗。

在過去五年里，機器學習領域取得了顯著進展。特別是，基于自監督任務的下一個標記預測訓練的大規模生成模型在自然語言處理方面展示了非凡的能力。這些大型語言模型（LLMs）已經改變了我們與數字世界的互動。從撰寫電子郵件等簡單任務到編寫代碼等復雜任務，LLMs 正日益融入我們的日常生活。

盡管大型語言模型取得了顯著進步并被廣泛應用，但這些系統仍存在顯著的局限性。具體而言，盡管它們在大量數據上進行了訓練，但缺乏快速獲取新技能和知識的能力。此外，當前的語言模型對物理世界僅有表面的理解，缺乏推理、常識和長期規劃的能力。這些能力對于開發自主視覺代理，如增強現實助手、自動駕駛汽車和通用機器人，都是至關重要的。

我們如何構建對物理世界有直觀理解的自主代理？我們可以從人類和動物的學習方式中汲取靈感。盡管缺乏語言，動物表現出高度的智能。它們能夠熟練處理高維視覺輸入，具備常識，并能在多個時間跨度上進行規劃和行動。動物通過無監督的方式發展這種對物理世界的直觀理解，主要通過觀察和相對較少的環境交互進行學習。1943 年 Kenneth Craik 提出的一種解釋已經激勵了長期以來的 AI 研究人員：“如果有機體在其頭腦中攜帶一個‘小規模模型’的外部現實及其自身可能的行動，它就能夠嘗試各種選擇，得出哪個是最好的，在未來情況發生之前做出反應，利用過去事件的知識處理現在和未來，并在每一種情況下以更充分、更安全和更能干的方式應對面臨的緊急情況。”

為實現這一目標，在本論文中，我將展示一些學習算法和神經網絡架構，使自主機器能夠以無監督的方式學習物理世界的小規模模型，并使用該模型在現實世界中進行規劃和行動。首先，我將介紹一個簡單的預測學習架構和目標，它能夠學習視覺表征，并以零樣本的方式解決各種視覺對應任務。接下來，我將提出一個可擴展的基于注意力的架構，用于學習圖像和視頻的生成模型。最后，我將描述一些用于構建機器人學習生成模型的算法。我將展示一種新穎的非自回歸、動作條件的視頻生成模型，該模型可以作為世界模型，使機器人能夠使用視覺模型預測控制進行規劃。此外，我還將介紹一個通過下一個標記預測訓練的通用代理，該代理能夠從各種機器人和任務中學習多樣的機器人經驗。

這篇論文探討了自動化推理和大型語言模型（LLMs），通過創新算法研究如何提高這兩個領域的效率和有效性。論文由三個主要部分組成，每一部分都關注人工智能的不同但相互關聯的方面。 在第一部分，論文深入探討了自動化推理領域，該領域通過計算方法模仿人類的邏輯推理。研究解決了該領域中的重大挑戰，特別是隨著問題復雜性的增加，計算需求呈指數級增長的情況。值得注意的是，這一部分強調了可滿足性模理論（SMT）方面的進展，重點是提高在復雜性增加時的解決效率。論文通過探索理論組合、代數數據類型和序列，貢獻了更高效的推理框架。

轉到第二部分，焦點轉向LLMs，它們在各種應用中變得至關重要，從內容生成到企業決策支持。盡管LLMs功能強大，但由于巨大的計算資源需求和用戶提示的多樣性，實現這些模型的高效部署仍是一個挑戰。這部分論文提出了新穎的算法和服務基礎設施，旨在優化LLMs的性能，特別是在減少延遲和提高實時應用吞吐量方面。創新如FlexGen和S-LoRA被引入，旨在使LLMs在個人計算設備上更加可用，并提供個性化的高吞吐量服務。這一部分還介紹了虛擬令牌計數器（VTC），一種新穎的公平調度算法，確保在高需求的LLM推理環境中公平分配資源，解決服務公平性的問題。

論文的第三部分將前兩部分橋接起來，展示了將形式驗證和代碼生成與LLMs集成的初步結果。該集成旨在利用兩個領域的優勢，創建更強大和多功能的AI系統。

引言

本論文展示了實現自動推理和大型語言模型（LLM）系統高效算法的幾種方法。本章將首先描述這兩個領域中的問題及其效率挑戰，然后概述論文中提出的研究貢獻。

1.1 問題與動機

1.1.1 符號推理與神經網絡

人工智能研究傳統上遵循兩種主要范式：符號推理和神經網絡。符號推理，也稱為符號AI，利用邏輯和知識表示來解決問題。這種方法在需要顯式規則和推理的任務中表現出色，但在處理復雜的非結構化數據時可能會遇到困難。相反，神經網絡則松散地受到大腦結構的啟發，擅長模式識別和從大量數據中學習。然而，神經網絡在推理過程中可能不透明，導致其可解釋性較差。隨著研究的進展，越來越多的研究集中在結合這兩種方法，利用符號推理和神經網絡的優勢，開發更強大和多功能的AI系統。為了充分利用每種方法的優勢，運行它們需要高效的算法和系統。在本論文中，我們首先分別關注加速自動推理的技術（第一部分）和加速大型語言模型推理的技術（第二部分）。然后，在第三部分中，我們展示了利用兩者力量的初步結果。 1.1.2 自動化推理與效率挑戰

自動化推理通過計算方法模擬人類邏輯推理的挑戰。該領域致力于開發能夠自動分析和操作邏輯表達式等形式化表示的算法。這種能力遠遠超出簡單計算，允許計算機處理具有復雜邏輯結構的問題。 自動化推理的應用領域與其解決的問題一樣多樣。在軟件和硬件設計中，自動化推理工具用于確保電路的正確性。通過分析組件之間的邏輯關系，這些工具可以識別設計中的潛在錯誤和邏輯不一致，防止在開發過程中出現昂貴的錯誤。同樣，自動化推理在形式驗證中也起著關鍵作用，這是一種通過數學證明關鍵系統中不存在錯誤的技術。在這里，自動化推理工具仔細分析系統的規范和行為，確保其遵循所需屬性，消除意外故障的可能性。 自動化推理的關鍵挑戰之一是解決時間問題。隨著所處理問題復雜性的增加，找到解決方案所需的計算資源可能呈指數級增長。這在可滿足性模理論（SMT）領域尤為突出，在該領域中，任務是確定給定的一階邏輯公式相對于背景理論（如線性算術或位向量）是否可滿足。SMT問題的解決時間可能高度可變，取決于具體理論、公式的復雜性以及底層SMT求解器的性能。自動化推理研究人員在開發更高效的算法和啟發式方法以應對這一挑戰方面取得了顯著進展，但該領域中許多問題的固有復雜性意味著解決時間仍然是一個關鍵考慮因素。

1.1.3 大型語言模型與服務挑戰

基礎模型，特別是大型語言模型（LLM），已成為各種應用的核心，徹底改變了各行業中任務的處理和執行方式。除了它們的功能外，LLMs已演變為廣泛使用的服務，受到從個人用戶到大型企業的多樣化客戶的采用。這種廣泛的應用在多個領域中尤為明顯，從個人助手和創意內容生成到高級企業數據分析和決策支持。盡管LLMs具有巨大的力量和能力，但關鍵在于利用它們的潛力來增強人類生活和生產力。 盡管大型語言模型（LLM）提供了引人注目的能力，但將其有效部署于實際應用中仍存在顯著挑戰。主要障礙在于硬件資源限制。LLMs由于其復雜的架構和龐大的參數空間，在推理過程中需要大量計算資源。此外，用戶提示的不確定性破壞了傳統的優化技術。與具有控制格式的訓練數據不同，用戶提示在長度和復雜性上可能有很大差異。此外，由于LLM生成的迭代性質，實現實時應用的低延遲和高吞吐量變得困難。與單步任務不同，LLM可能需要多次來回交流才能完成一個響應。這些因素需要開發專門的服務基礎設施和新穎的調度算法，以優化LLM性能并提供無縫的用戶體驗。

1.2 我們的方法

1.2.1 走向高效且具表現力的SMT求解

可滿足性模理論（SMT）求解在自動化推理中是一種強大的技術，專門解決結合命題邏輯和背景理論的問題。與只處理真假命題的經典命題邏輯不同，SMT結合了可判定的一階邏輯理論，如算術或等式約束。這允許對涉及整數、實數或特定數據結構的問題進行推理。SMT求解器通過系統地探索搜索空間，在指定的理論下評估公式的真值。由于將邏輯與這些理論相結合的內在復雜性，高效的求解算法和專門的決策過程對于解決現實世界的SMT問題至關重要。可滿足性模理論（SMT）求解的最新技術不斷發展，重點是提高效率和處理日益復雜的問題。盡管已經取得了令人矚目的進展，但對于高度復雜的SMT問題實現可處理的解決時間仍然是一個活躍的研究領域。 本論文的第一部分涵蓋了這一范圍內的三個研究課題，包括更好地理解和提高理論組合的效率以及利用代數數據類型和序列的兩種特定理論。在第二章中，我們對SMT中禮貌組合的研究做出了兩項貢獻。首先是一個困難結果，通過展示一個禮貌理論但不是強禮貌的例子，揭示了禮貌和強禮貌之間的區別。第二項貢獻是對禮貌組合方法的優化，借鑒了Nelson-Oppen方法。我們展示了在某些條件下，可以減少禮貌組合所需的枚舉安排的復雜性。在第三章中，我們研究了數據類型理論，并證明其是強禮貌的，展示了如何使用禮貌組合將其與其他任意不相交的理論相結合。在第四章中，我們介紹了一種用于推理向量的序列理論。與使用現有的數組理論相比，新的序列理論更具表現力，并且推理速度更快。

1.2.2 走向高效且公平的LLM服務

LLM的一個不可避免的方面是使其能夠被各個領域的更多用戶訪問。擴大訪問的目的是賦能各類個人和組織，使他們能夠利用這些強大的工具滿足其獨特的應用和需求。本論文的第二部分探討了如何提高LLM對所有用戶的可訪問性。自2022年底LLM在日常生活中被廣泛使用以來，對更易于訪問的LLM的需求不斷增長，這包括：（1）能夠在個人計算機上運行LLM，（2）訪問個性化服務，以及（3）需要公平的資源分配以防止重度用戶的壟斷。

第五章（FlexGen）旨在解決第一個需求：在個人計算機上運行LLM。由于高計算和內存需求，傳統上只能通過多個高級加速器實現，在內存有限的設備上運行LLM需要卸載，除了傳統的模型壓縮優化外。盡管激進的卸載會嚴重影響推理延遲，但FlexGen受到對批處理延遲不敏感任務的需求的驅動。它開始研究在有限資源下的高吞吐量LLM推理。它聚合了GPU、CPU和磁盤的內存和計算資源，并展示了如何在給定設置中獲得最佳的卸載策略。我們的方法也是第一個提出使用4位量化KV緩存的，這與卸載策略相結合，使吞吐量比以前的方法高出100倍。

第六章（S-LoRA）旨在解決第二個需求：個性化LLM服務。低秩適應（LoRA）技術可以提供高效的、任務特定的適應，從一個基礎模型中創建許多適配器，以實現成本效益高的個性化服務。LoRA適配器通過將適配器與模型參數合并來提供服務，這使得單個適配器的低延遲成為可能，但在同時服務多個適配器時會降低整體吞吐量。S-LoRA探索了LoRA適配器的可擴展服務，通過更好的內存管理、為異構批處理定制的CUDA內核和新穎的張量并行策略，實現了高吞吐量的多適配器服務。與之前的引擎相比，S-LoRA的吞吐量提高了4倍，服務的適配器數量增加了幾個數量級。

第七章（VTC）旨在解決第三個需求：公平地為用戶服務。LLM推理服務在高需求下處理各種請求。為了保持公平，大多數主要服務實施請求速率限制，防止任何單個客戶端壟斷隊列。然而，這種基本的公平方法在容量可用時可能導致服務未充分利用和客戶體驗不佳。我們展示了如何將傳統網絡和操作系統中的公平排隊概念應用于LLM服務領域，達到令牌粒度的公平性。我們定義了LLM服務中的公平性問題，并提出了虛擬令牌計數器（VTC）算法，這是一種具有理論保證的新型公平調度算法。廣泛的評估展示了VTC在保持公平性方面的有效性，與傳統方法相比，為更加公平高效的LLM服務系統鋪平了道路。

圖在表示和分析諸如引文網絡、社交網絡和生物數據等實際應用中的復雜關系方面扮演著重要角色。最近，大型語言模型（LLMs），它們在各個領域取得了巨大成功，也被用于圖相關任務，超越了傳統的基于圖神經網絡（GNNs）的方法，實現了最先進的性能。在這篇綜述中，我們首先全面回顧和分析了結合LLMs和圖的現有方法。首先，我們提出了一個新的分類法，根據LLMs在圖相關任務中扮演的角色（即增強器、預測器和對齊組件）將現有方法分為三類。然后，我們系統地調查了沿著分類法的三個類別的代表性方法。最后，我們討論了現有研究的剩余局限性，并強調了未來研究的有希望的途徑。相關論文已總結，并將在以下網址持續更新：//github.com/yhLeeee/Awesome-LLMs-in-Graph-tasks。

圖論，在現代世界的許多領域，特別是在技術、科學和物流領域，扮演著基礎性的角色[Ji et al., 2021]。圖數據代表了節點之間的結構特性，從而闡明了圖組件內的關系。許多實際世界的數據集，如引文網絡[Sen et al., 2008]、社交網絡[Hamilton et al., 2017]和分子數據[Wu et al., 2018]，本質上都是以圖的形式表示的。為了處理圖相關任務，圖神經網絡（GNNs）[Kipf and Welling, 2016; Velickovic et al., 2018]已經成為處理和分析圖數據的最受歡迎的選擇之一。GNNs的主要目標是通過在節點之間的遞歸信息傳遞和聚合機制，獲取在節點、邊或圖層面上的表達性表示，用于不同種類的下游任務。

近年來，如Transformer [Vaswani et al., 2017]、BERT [Kenton and Toutanova, 2019]、GPT [Brown et al., 2020] 及其變體等大型語言模型（LLMs）在多個領域取得了重大進展。這些LLMs可輕易地應用于各種下游任務，幾乎無需調整，就在多種自然語言處理任務中展現了卓越性能，例如情感分析、機器翻譯和文本分類 [Zhao et al., 2023d]。雖然它們主要聚焦于文本序列，但目前越來越多的研究開始關注于增強LLMs的多模態能力，使其能夠處理包括圖形 [Chai et al., 2023]、圖像 [Zhang et al., 2023b] 和視頻 [Zhang et al., 2023a] 在內的多種數據類型。 LLMs在圖相關任務中的應用已顯著改變了我們與圖的交互方式，特別是那些含有與文本屬性相關聯的節點的圖。將LLMs與傳統GNNs（圖神經網絡）的結合可以帶來互利共贏，增強圖學習。盡管GNNs擅長捕捉結構信息，但它們主要依賴語義上受限的嵌入作為節點特征，這限制了它們表達節點完整復雜性的能力。通過整合LLMs，GNNs可以得到更強大的節點特征，有效捕捉結構和語境方面的信息。另一方面，LLMs擅長編碼文本，但通常難以捕捉圖數據中的結構信息。結合GNNs和LLMs可以利用LLMs強大的文本理解能力，同時發揮GNNs捕捉結構關系的能力，從而實現更全面、強大的圖學習。例如，TAPE [He et al., 2023] 利用與節點（如論文）相關的語義知識，這些知識由LLMs生成，來提高GNNs中初始節點嵌入的質量。此外，InstructGLM [Ye et al., 2023] 用LLMs替換了GNNs中的預測器，通過平鋪圖形和設計提示（提示）等技術，利用自然語言的表現力。MoleculeSTM [Liu et al., 2022] 將GNNs和LLMs對齊到同一向量空間，將文本知識引入圖形（如分子）中，從而提高推理能力。 顯然，LLMs從不同角度對圖相關任務產生了重要影響。為了更好地系統概覽，如圖2所示，我們遵循Chen et al. [2023a]的方法，組織我們的一級分類法，基于LLMs在整個模型管道中扮演的角色（即增強器、預測器和對齊組件）進行分類。我們進一步細化我們的分類法，并為初始類別引入更多細粒度。 動機。盡管LLMs在圖相關任務中的應用越來越廣泛，但這個迅速發展的領域仍然缺乏系統的綜述。張等人[Zhang et al., 2023d]進行了一項前瞻性綜述，提出了一篇討論圖與LLMs整合所面臨挑戰和機遇的觀點文章。劉等人[Liu et al., 2023b]提供了另一項相關綜述，總結了現有的圖基礎模型，并概述了預訓練和適應策略。然而，這兩篇文章都在全面覆蓋和缺乏專門關注LLMs如何增強圖的分類法方面存在局限性。相比之下，我們專注于圖和文本模態共存的場景，并提出了一個更細粒度的分類法，以系統地回顧和總結LLMs技術在圖相關任務中的當前狀態。

貢獻。這項工作的貢獻可以從以下三個方面總結： （1）結構化分類法。通過結構化分類法，對該領域進行了廣泛概覽，將現有工作分為四類（圖2）。 （2）全面綜述。基于提出的分類法，系統地描述了LLMs在圖相關任務中的當前研究進展。 （3）一些未來方向。我們討論了現有工作的剩余局限性，并指出了可能的未來發展方向。

**LLM作為增強器 **

圖神經網絡（GNNs）已成為分析圖結構數據的強大工具。然而，最主流的基準數據集（例如，Cora [Yang et al., 2016] 和 Ogbn-Arxiv [Hu et al., 2020]）采用了樸素的方法來編碼TAGs中的文本信息，使用的是淺層嵌入，如詞袋法、跳躍模型 [Mikolov et al., 2013] 或 TF-IDF [Salton and Buckley, 1988]。這不可避免地限制了GNNs在TAGs上的性能。LLM作為增強器的方法對應于利用強大的LLMs來提升節點嵌入的質量。衍生的嵌入被附加到圖結構上，可以被任何GNNs利用，或直接輸入到下游分類器中，用于各種任務。我們自然地將這些方法分為兩個分支：基于解釋和基于嵌入，這取決于它們是否使用LLMs產生額外的文本信息。

LLM作為預測器

這一類別的核心思想是利用LLMs來對廣泛的圖相關任務進行預測，例如在統一的生成范式下的分類和推理。然而，將LLMs應用于圖模態提出了獨特的挑戰，主要是因為圖數據往往缺乏直接轉換成序列文本的方式，不同的圖以不同的方式定義結構和特征。在這一部分，我們根據模型是否使用GNNs來提取結構特征供LLMs使用，將模型大致分為基于平鋪和基于GNN的預測兩類。

GNN-LLM 對齊

對GNNs和LLMs的嵌入空間進行對齊是整合圖模態與文本模態的有效方式。GNN-LLM對齊確保在特定階段協調它們的嵌入空間時，每個編碼器的獨特功能得以保留。在這一部分，我們總結了對齊GNNs和LLMs的技術，這些技術可以根據是否對GNNs和LLMs都給予同等重視，或是否優先考慮一種模態而另一種模態則不那么重視，被分類為對稱或非對稱。

結論

近年來，將大型語言模型（LLMs）應用于與圖相關的任務已成為研究的一個突出領域。在這篇綜述中，我們旨在提供對適應圖的LLMs的現有策略的深入概述。首先，我們介紹了一個新的分類法，根據LLMs所扮演的不同角色（即增強器、預測器和對齊組件），將涉及圖和文本模態的技術分為三類。其次，我們根據這種分類系統地回顧了代表性的研究。最后，我們討論了一些限制，并強調了幾個未來的研究方向。通過這篇全面的綜述，我們希望能夠揭示LLMs在圖學習領域的進步和挑戰，從而鼓勵在這一領域進一步的提升。

大型語言模型最近在許多自然語言處理基準測試中提高了技術水平。最新一代的模型可以應用于各種任務，幾乎不需要專門的訓練。該技術為數據管理上下文中的應用程序創造了各種機會。本教程將向參與者介紹語言模型的基本背景，討論使用語言模型的不同方法，并對可用的庫和api進行概述和簡短演示。生成自然語言的模型和GPT-3 Codex等完成程序代碼或從自然語言指令生成代碼的模型都將被考慮在內。最后，本教程將討論數據庫社區最近的研究，這些研究利用了傳統數據庫系統環境中的語言模型，或提出了基于它們的新系統架構。本教程針對數據庫研究人員。不需要有語言模型的背景知識。本教程的目標是向數據庫研究人員介紹最新一代的語言模型，以及它們在數據管理領域中的用例。

最近，隨著大型“語言模型”的出現，自然語言處理(NLP)領域發生了革命性的變化，這些“語言模型”使用大量的無標記文本[35]進行訓練。給定足夠多的訓練數據和可訓練的參數，這樣的模型能夠處理廣泛的任務，很少或不需要專門的訓練[2]。這種模型在數據庫領域的應用范圍非常廣泛。它的范圍從新的接口[25,30]到新的系統架構[29]，基于最新一代語言模型支持的數據表示和處理機制。本教程的目的是向數據庫研究人員介紹這些模型提供的可能性，提供使它們可訪問的庫和api的指針[22,35]，并回顧數據庫社區利用這些模型的最新研究。本教程將介紹處理和生成自然語言文本的語言模型[4,6]，以及從自然語言描述[3]生成程序代碼的最新模型。它將包括例子和現場演示，為與會者提供對可解決問題范圍的直覺。

神經網絡已經成為現代人工智能的重要組成部分。盡管如此，它們通常都是黑盒，它們的行為可能出人意料，并產生出人意料的錯誤結果，比如對抗性的例子。在本教程中，我們將介紹神經網絡驗證問題，其目的是正式保證神經網絡的特性，如魯棒性、安全性和正確性。我們的教程涵蓋了驗證問題的理論基礎和最先進算法的介紹。此外，我們還將為用戶友好的神經網絡驗證工具箱提供實踐編碼教程，允許從業者輕松地將正式的驗證技術應用到他們的定制應用中。

我們的教程包括在谷歌Colab中編碼演示。我們將演示通用的auto_LiRPA庫和獲獎的α，β-CROWN驗證器的使用。

本教程針對的是對幫助機器理解自然語言文本的人工智能技術感興趣的研究人員和從業者，特別是文本中描述的真實世界事件。這些方法包括提取關于一個事件的主角、參與者和屬性的內部結構，以及關于多個事件的成員關系、時間和因果關系的外部結構。本教程將為讀者提供一個系統的介紹 (i) 事件的知識表示，(ii) 自動提取、概念化和預測事件及其關系的各種方法，(iii) 事件過程和屬性的歸納，和(iv) 廣泛的NLU和常識性理解任務。我們將通過概述這一領域中出現的研究問題來結束本教程。

//cogcomp.seas.upenn.edu/page/tutorial.202108/

人類語言總是涉及對現實世界事件的描述。因此，對事件的理解在自然語言理解中起著至關重要的作用。例如，敘述預測得益于學習事件的因果關系，從而預測故事接下來會發生什么;機器理解文檔可能包括理解影響股市的事件、描述自然現象或識別疾病表型。事實上，事件理解在諸如開放領域問答、意圖預測、時間軸構建和文本摘要等任務中也有廣泛的重要應用。由于事件不只是簡單的、獨立的謂詞，對事件理解的前沿研究通常面臨兩個關鍵挑戰。一個挑戰是精確地歸納事件的關系，它描述了事件的隸屬關系、共參照、時間順序和因果關系。另一種是理解事件的內在結構和屬性，涉及到它的參與者、粒度、位置和時間。

在本教程中，我們將全面回顧文獻中關于以事件為中心的知識表示的現有范式，并關注它們對NLU任務的貢獻。除了引入用于事件抽取的部分標簽和無監督學習方法外，我們還將討論最近用于從文本中抽取多面事件-事件關系的約束學習和結構化推理方法。我們還將回顧最近用于事件預測任務的數據驅動方法，包括事件過程歸納和概念化，以及以事件為中心的語言模型如何有利于敘事預測。此外，我們將說明遠距離監督方法如何幫助解決時間和因果常識對事件的理解，以及如何運用它們來構建大規模的事件知識庫。參與者將了解這個主題的最新趨勢和新出現的挑戰，代表性工具和學習資源，以獲得即用模型，以及相關模型和技術如何使最終使用NLU應用程序受益。

目錄內容：

• 引言
• 事件信息提取
• 事件過程預測
• 事件知識獲取
• 事件摘要
• 事件研究問題

這本書將理論計算機科學和機器學習連接起來，探索雙方可以相互教授什么。它強調需要靈活、易于處理的模型，以便更好地捕捉機器學習的難點，而不是難點。

理論計算機科學家將介紹機器學習的重要模型和該領域的主要問題。機器學習研究人員將以一種可訪問的格式介紹前沿研究，并熟悉現代算法工具包，包括矩的方法，張量分解和凸規劃松弛。

此外是建立對實踐中使用的方法的嚴格理解，并促進發現令人興奮的新方法來解決重要的長期問題。

現代機器學習系統通常建立在沒有可證明的保證的算法之上，它們何時以及為何有效是一個爭論的主題。在這門課中，我們將重點設計算法，讓我們可以嚴格分析其性能，以解決基本的機器學習問題。我們將涵蓋的主題包括:非負矩陣分解、張量分解、稀疏編碼、學習混合模型、圖模型中的矩陣補全和推理。幾乎所有這些糟糕的計算困難的問題, 所以開發一個算法理論是關于(1)選擇合適的模型來研究這些問題,(2)開發適宜的數學工具(通常從概率,幾何或代數)為了嚴格分析現有的啟發式,或設計全新的算法。

//people.csail.mit.edu/moitra/docs/bookex.pdf

圖神經網絡已被證明是對圖結構數據的不同預測任務的有效模型。本次演講將結合主鄰域聚合(NeurIPS 2020)和有向圖網絡(在NeurIPS 2020的DiffGeo4DL研討會上發言)的研究。我們將檢查圖神經網絡的表達能力，顯示當涉及到連續特征空間和定向核時的局限性。這些都將促使GNN的聚合方法得到改進，從而使我們能夠全面泛化CNN。來自分子化學和計算機視覺基準的實證結果將驗證我們的發現。