問題回答（QA）在自然語言處理（NLP）中是一個非常具有挑戰性的任務，因為它需要理解問題，找到與問題相關的信息，并執行各種推理步驟以預測答案。人們每天提出的問題與許多類型的推理相關。在這篇論文中，我們討論了在問題回答（QA）中處理具有挑戰性的推理任務的幾種方法。在問題回答（QA）中常見的推理任務包括單跳和多跳關系跟蹤、交集和并集、否定和約束驗證。在論文的第一部分，我們使用結構化或半結構化查詢研究了在符號知識庫（KBs）上的這些推理任務。我們首先提出了一種用于符號空間推理的神經查詢語言，然后討論了將其擴展到嵌入空間以實現更好泛化的可能性。由于符號KBs通常不完整，我們還提出了一種從文本構建虛擬KBs（VKBs）的方法，該方法支持大多數作為符號KBs的推理任務。由于大多數NLP系統都是基于語言模型（LMs）構建的，所以在論文的下一部分，我們提出了將推理方法整合到語言模型（LMs）中的方法，以提高LMs在執行更具挑戰性的QA任務的推理步驟的能力。整合改進了LMs對事實知識的忠實性，也使得可以更新LMs學習的知識，以進行無需任何額外訓練或微調的更新預測。這些提出的方法適用于符號KBs和虛擬KBs。然而，前面討論的推理任務主要關注精確定義的問題，即存在單一正確答案的問題。
在論文的最后一部分，我們研究了帶有模糊問題的QA任務，即從問題中缺少重要信息，根據問題的解釋可能有多個答案。我們為這個任務開發了一個新的數據集，并展示了它對當前的QA系統的挑戰。我們為新的數據集提出了改進的方法，該方法根據對回答問題的文檔的分析，確定哪些條件可以消除問題的歧義。最后，我們考慮了這個任務的“開放”版本，即未提供答案文檔。
構建理解自然語言的智能系統是自然語言處理（NLP）社區長期以來的目標。自然語言在日常生活中被用于交流和儲存關于世界的知識。然而，由于詞匯和語法的多樣性以及自然語言中豐富的語義信息，開發理解自然語言的機器學習技術是具有挑戰性的。完全理解自然語言可能還需要對文檔的語義進行推理，或者對文檔的問題進行推理。我們專注于NLP中的知識密集型任務，如信息檢索（IR）和問題回答（QA），這些任務需要理解關于世界的事實知識。知識密集型任務測試NLP系統從大量知識中找到相關信息并據此進行預測的能力。例如，可以從維基百科的一段文字中找到“CMU的位置”的答案，例如“卡內基梅隆大學（CMU）是位于賓夕法尼亞州匹茲堡的一所私立研究型大學”。一些其他的查詢可能需要多于一份的信息，例如“CMU附近的科技公司”，這需要首先找到CMU的位置，然后在同一個城市找到公司，再通過“科技”公司的限制進行篩選。我們將理解查詢的意圖，定位相關信息，并聚合多份信息來預測答案的能力稱為“推理”。在知識密集型NLP任務中涉及到各種類型的推理程序。
在這篇論文中，我們考慮了在問題回答（QA）任務中常見的幾種推理類型： 1. 關系追蹤。關系追蹤，如“CMU的部門”，是QA中最常見的問題類型。它從一個主題實體x開始，如“CMU”，然后跟蹤一個關系r，如“有部門”，以找到答案。我們可以用一階邏輯來寫關系追蹤問題，如Y = {y | has department(CMU, y)}，其中has department(·, ·)是一個謂詞，關系為“X的部門”和“CMU”是主題實體。Y是那些可以用提供或檢索的信息來驗證has department(CMU, y)的答案y的集合，如Y = {MLD, LTI, CSD, . . . }。 1. 多跳關系追蹤。如果問題需要多于一步的推理，關系追蹤可以被鏈接。例如，“CMU的部門授予的學位”需要找到CMU的學術部門，然后找到這些部門授予的學位，即Y = {y | ? z, has department(CMU, z) ∧ degree(z, y)}，其中最終答案y ∈ Y取決于中間輸出z。 1. 交集和并集。另外兩種常見的推理類型是交集和并集，例如“有CMU或UPitt校區的城市”。為了回答這個問題，我們聯合了CMU的位置和UPitt的位置，即Y = {y | locate(CMU, y) ∨ locate(UPitt, y)}。 1. 約束。有些問題需要滿足一些指定約束的答案，例如“有CMU校區提供金融學位的城市”。我們通過約束過濾位置集合，即Y = {y | locate(CMU, y) ∧ filter(y, “finance degrees”)}。 1. 歸納推理。在歸納中，推理過程是根據一些預先確定的規則對一組觀察結果進行解釋。解釋只得到了觀察結果的部分支持，因此，它做出了一些假設。我們考慮在回答模糊問題的情境中的歸納推理任務，其中問題提供的信息（有時與提問的場景配對）被視為觀察。由于問題是模糊的，即回答問題的重要信息缺失，規則只被部分滿足。因此，可能有多個答案，有些答案在某些條件下才是正確的。我們說，給定提供的信息，可能的答案和它們的條件的組合是解釋。
回答模糊問題的任務是找到一組關于用戶意圖的合理假設，以解決歧義，即如果將假設作為約束添加到問題中，問題將有唯一的答案。例如，如果我們假設“校園”意味著“主校園”，那么“CMU的校園”這個問題的答案就是“匹茲堡”。
付費5元查看完整內容
相關內容
基于圖的學習側重于圖形結構數據的建模。其重要應用包括基于分子結構分析化學化合物、基于輻射傳感器網絡數據預測太陽能農場的產出、根據城市間的地理關系和社交網絡互動預測流行病爆發等。基于圖的學習算法已經迅速發展，解決了以下基本挑戰：
? 編碼圖中每個單獨節點和節點組合的豐富信息，也被稱為圖表示學習挑戰； ? 在圖只部分可觀察時恢復缺失的邊，也被稱為圖完成挑戰； ? 在標記節點非常稀疏的圖形設置中利用主動學習，也被稱為標簽稀疏挑戰； ? 提高在非常大的圖上進行訓練和推斷的可行性，也被稱為擴展挑戰。
本論文旨在通過以下主要貢獻從上述各個方面增強基于圖的機器學習：
-
用于二分圖邊緣預測的圖卷積矩陣分解：對于一類特定的圖，即二分圖，傳統的矩陣分解方法不能有效地利用節點兩組內的相似度測量等邊信息。因此，我們建議使用圖卷積來增強學習到的分解表示與結構化的邊信息，以獲得更好的預測精度。
-
使用圖神經網絡（GNNs）進行通用邊緣預測：雖然GNNs在節點分類中取得了很大成功，但在邊緣預測方面并沒有達到相匹配的性能水平。這種現象的一個可能解釋是GNNs中的潛在嵌入嚴重依賴于輸入節點特征，如果這些輸入特征質量不高，或者對于手頭的預測任務而言噪聲較大，那么就無法避免次優性能。我們建議通過結合使用傳統的GNN和Transformer模型來解決這個問題，這可以通過Transformer模型中的靈活位置嵌入來改進節點的嵌入。
-
用于節點分類的圖增強主動學習（Graph-AL）：主動學習已被深入研究，以解決標簽稀疏問題，并已成功應用于文本/視頻/音頻數據，但沒有應用于圖。流行的主動學習策略可能不適用于圖。例如，基于密度的文檔選擇將所有候選文檔視為不相關的實例，忽略了輸入圖中節點之間的依賴結構。我們提出了第一個專為圖神經網絡量身定制的基于圖的主動學習方法，它同時考慮節點內部特征和節點間連接，以便在主動學習中進行節點選擇。
大規模基于圖的學習的各種實際應用：我們已將基于圖的學習應用于各種實際問題，包括基于多圖的協同過濾，跨語言的基于圖的遷移學習，基于圖的深度學習用于流行病學預測，圖增強節點分類，邊緣檢測和知識庫完成；在這些領域我們分別獲得了最先進的結果（Chang等，2017; Liu等，2017a; Wu等，2018b, c; Xu等，2018b）。
付費5元查看完整內容
機器學習被廣泛應用于各種不同的學科，以開發感興趣的變量的預測模型。然而，構建這樣的解決方案是一個耗時且具有挑戰性的學科，需要經過高度訓練的數據科學家和領域專家。作為回應，自動化機器學習(AutoML)領域旨在通過自動化減少人工工作量并加快開發周期。由于超參數在機器學習算法中無處不在，以及調優的超參數配置可以對預測性能產生影響，超參數優化是AutoML的一個核心問題。最近，深度學習的興起推動了神經架構搜索(NAS)，這是一個專注于自動化神經網絡設計的超參數優化問題的專門實例。對于大規模調優問題，網格搜索和隨機搜索等簡單的超參數優化方法在計算上是難以處理的。因此，本文的重點是開發高效和有原則的超參數優化和NAS方法。
**在回答以下問題方面取得了進展，目的是開發更高效和有效的自動化機器學習算法。**1. 超參數優化(a)我們如何有效地使用早期停止來加速超參數優化?(b)如何利用并行計算來執行超參數優化，同時在順序設置中訓練單個模型所需的時間?(c)對于多階段機器學習管道，我們如何利用搜索空間的結構來減少總計算成本?
- 神經架構搜索(a)最先進的權重共享NAS方法和隨機搜索基線之間的性能差距是什么?(b)如何開發更有原則的權重共享方法，并證明收斂速度更快和改進的經驗性能?(c) NAS中常用的權重共享范式是否可應用于更一般的超參數優化問題?
鑒于這些問題，本文分為兩個部分。第一部分側重于通過解決1a, 1b和1c問題在高效超參數優化方面取得的進展。第二部分側重于通過解決問題2a, 2b和2c，在理解和改進神經架構搜索的權重共享方面取得的進展。
付費5元查看完整內容
**近年來，隨著用戶生成的多模態數據的爆炸式增長，學習多模態表示已經使許多新穎的視覺語言應用成為可能。**雖然全球大約有6500種語言，但大多數視覺語言模型及其數據集都是基于英語的。不幸的是，這種限制阻礙了當前的模型造福于更廣泛的非英語社區。因此，開發基于英語的視覺語言模型泛化到非英語語言的方法是迫切而有益的。我的論文工作在這一挑戰的多個方面取得了進展，通過探索學習多語言多模態表示的新興趨勢，促進了對各種語言的圖像、視頻和文本等異構內容的建模和推理。在本文的第一部分中，我指出了現有英語圖像表示學習的局限性，為廣義多語言多模態表示學習鋪平了道路。雖然之前的工作主要是將整個圖像與相應的英文標題相關聯，但我認為這種對應應該更加精細，甚至是多語言的。結果表明，基于注意力和面向對象的多語言多模態表示學習方法可以有效地改進跨模態搜索和多模態機器翻譯等終端任務。**本文的第二部分研究了視覺-語言模型的跨語言泛化。本文解決了大規模任務無關的多語言多模態預訓練中的可擴展性挑戰，以及在對最終任務進行微調時缺乏注釋的挑戰。**為了用有噪聲的百萬規模的未經整理的教學視頻及其各種語言的轉錄進行學習，我分析了多模態自監督學習中理想的支持集大小，并提出了一個重建目標來緩解這種瓶頸。此外，我探索了多語言多模態預訓練并構建了Multi-HowTo100M數據集，該數據集由1.2億個視頻片段及其在9種語言中的轉錄組成，以改善視覺-語言模型的零樣本跨語言遷移。最后，在特定任務的微調中，利用自動視覺語義來學習稀疏的英語視覺注釋。當非英語標注稀缺或不可用時，本文研究了視覺旋轉監督和無監督多模態機器翻譯，將英語視覺數據翻譯為非英語視覺數據，以進行多語言多模態微調。本文的工作為增強視覺-語言模型的跨語言泛化能力帶來了顯著的突破。我相信所提出的方法和釋放的資源將是邁向多語言視覺-語言模型的關鍵一步。
付費5元查看完整內容
一個機器人要想在非結構化的室外環境中與人類高效合作，就必須將指令從操作者直觀的模態轉化為行動。機器人必須能夠像人類一樣感知世界，這樣機器人所采取的行動才能反映自然語言和人類感知的細微差別。傳統上，導航系統結合了個人感知、語言處理和規劃塊，這些塊通常是根據不同的性能規格單獨訓練的。它們使用限制性接口進行通信以簡化開發(即，具有離散屬性的點對象和有限的命令語言)，但這也限制了一個模塊可以傳遞給另一個模塊的信息。
深度學習的巨大成功徹底改變了計算機視覺的傳統研究方向，如目標檢測和場景標記。視覺問答(VQA)將自然語言處理中的最先進技術與圖像理解聯系起來。符號基礎、多步驟推理和對空間關系的理解已經是這些系統的元素。這些元素統一在一個具有單一可微損失的架構中，消除了模塊之間定義良好接口的需要，并簡化了與之相伴的假設。我們介紹了一種將文本語言命令和靜態航空圖像轉換為適合規劃的成本圖的技術。我們建立在FiLM VQA架構的基礎上，對其進行調整以生成成本圖，并將其與修改后的可微分計劃損失(最大邊際計劃)結合起來使用Field D*計劃器。通過這種架構，我們向統一語言、感知和規劃到單一的端到端可訓練系統邁出了一步。
我們提出了一個源自CLEVR數據集的可擴展綜合基準測試，我們用它來研究算法在無偏倚環境中具有幾乎無限數據的理解能力。我們分析了該算法在這些數據上的表現，以了解其局限性，并提出未來的工作來解決其缺點。我們使用真實的航空圖像和合成命令提供混合數據集的結果。規劃算法通常具有高分支因子，并且不能很好地映射到近年來催化深度學習發展的GPU。我們精心選擇了Field D和Max Margin Planning，以在高度并行的架構上表現良好。我們引入了一個適用于多GPU數據并行訓練的Field D版本，它使用Bellman-Ford算法，與我們的cpu優化實現相比，性能幾乎提高了十倍。在團隊中工作的人之間的流暢互動取決于對任務、環境和語言微妙之處的共同理解。在這種情況下工作的機器人也必須這樣做。學習將命令和圖像轉換為具有可微分規劃損失的軌跡是捕捉和模仿人類行為的一種方法，也是實現機器人和人類無縫交互的一小步。
付費5元查看完整內容
在過去的十年中，神經網絡在自然語言處理(NLP)領域已經取得了顯著的進展，特別是因為它們能夠從大量的未標記語料庫中學習相關的單詞表征。這些詞嵌入可以在監督訓練中進行遷移移和微調應用到不同的終端應用。最近，在2018年，整個預訓練語言模型的遷移和上下文化能力的保留使得幾乎在每一個NLP基準上都達到了前所未有的性能，有時甚至超過了人類的基準。然而，當模型達到如此令人印象深刻的分數時，它們的理解能力仍然顯得很膚淺，這揭示了基準的局限性，不能為它們的表現因素提供有用的見解，并準確地衡量理解能力。
在本論文中，我們研究了最SOTA模型在兩個重要的信息提取任務(命名實體識別(NER)和關系提取(RE))中關于在未見事實的泛化性能。事實上，傳統基準在提到和關系之間存在重要的詞匯重疊，用于訓練和評估模型，而信息提取的主要興趣是提取以前未知的信息。我們提出了基于提及和與訓練集的關系重疊來分離性能的實證研究，發現預訓練的語言模型主要有利于檢測未見提及，特別是域外提及。雖然這使得它們適合于真正的用例，但可見和未見提及之間仍然存在性能差距，這不利于對新事實的歸納。特別是，即使是最先進的ERE模型也依賴于淺層記憶啟發式，其預測更多地基于論據表面形式而不是上下文。
在這項工作中，我們還鞏固了端到端關系提取評估的基礎，這一基礎被以前的不正確的比較所破壞，并提出了一個更細粒度的評估和理解端到端關系提取模型，以泛化到新的關系。最后，我們提出了在創建未來的模型和數據集時改進上下文合并的想法。
付費5元查看完整內容
在一個特定的數據集上訓練一個強大的神經預測器執行一項任務的主流NLP范式取得了在各種應用上的成功(如:情感分類、基于廣度預測的問答或機器翻譯)。然而，它建立在數據分布是平穩的假設之上，即。在訓練和測試時，數據都是從一個固定的分布中取樣的。這種訓練方式與我們人類在不斷變化的信息流中學習和操作的方式不一致。此外，它不適合于真實世界的用例，在這些用例中，數據分布預計會在模型的生命周期中發生變化。
本文的第一個目標是描述這種偏移在自然語言處理環境中可能采取的不同形式，并提出基準和評價指標來衡量它對當前深度學習體系結構的影響。然后，我們繼續采取步驟，以減輕分布轉移對NLP模型的影響。為此，我們開發了基于分布魯棒優化框架的參數化重構方法。從經驗上講，我們證明了這些方法產生了更魯棒的模型，正如在選擇的現實問題上所證明的那樣。在本文的第三部分和最后一部分，我們探索了有效地適應現有模型的新領域或任務的方法。我們對這個主題的貢獻來自于信息幾何學的靈感，獲得了一個新的梯度更新規則，緩解了適應過程中災難性的遺忘問題。
我們從評估開始，因為分布轉移特別難以描述和測量，特別是在自然語言方面。這部分是由于數據缺乏規范的度量結構。換句話說，如何有效地衡量兩個句子之間的語義相似度還不清楚，因此沒有直接的方法來衡量兩個樣本之間的差異，更不用說兩種分布了。因此，作為解決分布偏移的第一步，我們提出了一個新的基準(第3章)和評估指標(第4章)，分別評估域偏移和對抗擾動的魯棒性。有了這些工具在手，我們開始構建魯棒的模型，這些模型經過訓練，即使在沒有關于轉移本質的明確信息的情況下，對分布轉移也不那么敏感。這是通過利用訓練分布中的數據多樣性來實現的，以確保在訓練數據(子群體)中存在的各種領域上的統一性能。具體來說，我們制定了一個分布魯棒優化框架的參數化版本，該框架允許訓練模型對子群體轉移更為穩健(第5章和第6章)。最后，在靜態環境中學習從根本上是次優的:我們不能期望我們的模型在每一個可能的未來環境中都表現良好，我們必須能夠使它們適應我們遇到的任何新情況。因此，我們研究了一種機制，通過這種機制，我們能夠根據新的證據微調訓練模型，而不會忘記之前獲得的知識(第7章)。
付費5元查看完整內容
在21世紀，人們與技術互動的方式發生了重大變化，自然語言生成(NLG)發揮著核心作用。智能手機和智能家居設備的用戶現在希望他們的設備能夠了解他們的處境，并在交互中產生自然的語言輸出。本文從人類溝通的三個方面來確定如何讓機器聽起來像人類——風格、內容和結構。本文提供了深度學習的解決方案來控制這些變量在神經文本生成。我首先概述了可以操縱的各種模塊，以進行有效的可控文本生成。我提供了一種使用反向翻譯進行樣式轉換的新穎解決方案，并引入了兩個新任務，將來自非結構化文檔的信息利用到生成過程中。我還為句子排序任務提供了一種新的優雅設計，以學習有效的文檔結構。最后，我提供了一個關于可控制文本生成應用的倫理考慮的討論。提出的工作，我計劃:(I) 提供對各種可控文本生成技術的經驗理解，(ii) 提供對樣式的計算理解并構建有用的樣式表示，(iii) 設計有效的內容基礎生成方式，以及(iv) 探索可控文本生成的更廣泛影響。
付費5元查看完整內容
摘要
基于神經網絡的生成式模型的最新進展重新燃起了計算機系統能夠與人類無縫對話并能夠理解自然語言的希望。神經結構被用于生成文本摘錄，在滿足不同用戶需求的多種上下文和任務中取得了不同程度的成功。值得注意的是，在大規模數據集上訓練的高容量深度學習模型顯示出無與倫比的能力，即使在缺乏明確的監督信號的情況下，也能在數據中學習模式，這為生成現實和連貫的文本提供了大量新的可能性。雖然自然語言生成領域正在迅速發展，但仍有許多開放的挑戰需要解決。在這篇綜述中，我們正式地定義和分類自然語言生成的問題。我們回顧了這些通用公式的實例化的特定應用程序任務，在這些任務中生成自然語言是非常重要的。接下來，我們涵蓋了用于生成不同文本的方法和神經存檔的全面的總結。然而，這些生成式模型產生的文本質量并沒有一個標準的評價方法，這是該領域發展的一個嚴重瓶頸。為此，我們還回顧了當前評估自然語言生成系統的方法。我們希望這篇綜述將提供一個公式，方法，和神經自然語言生成的評估信息概述。
介紹
最近在深層生成式模型和表征學習方面的成功導致了自然語言生成(NLG)方面的重大進展，其動機是越來越需要理解和派生語言的意義。文本生成的研究領域是自然語言處理的基礎，其目標是生成真實可信的文本內容，與人類書寫的文本沒有區別 (Turing, 1950)。從廣義上講，在給定語境下，預測連續詞在句法和語義上的正確順序需要兩個步驟:首先從給定語料庫中估計句子的分布情況，然后從已學習得到的語料中抽取新穎和真實的句子。理想情況下，生成的句子保留了真實世界句子的語義和句法屬性，并且不同于用于估計模型的訓練示例(Zhang et al.， 2017b)。語言生成是一項內在復雜的任務，需要大量的語法、語義、形態、音韻、語用等多層次的語言學和領域知識。此外，文本生成是為了實現一個交流目標(Reiter, 2019)，例如在決策過程中提供支持、總結內容、在語言之間進行翻譯、與人交談、使特定文本更容易理解，以及娛樂用戶或鼓勵他們改變行為。因此，生成的文本應該根據內容和使用的術語的適當性，以及出于公平和透明度的原因(Mayfield et al.， 2019)，針對特定受眾量身定制(Paris, 2015)。長期以來，自然語言生成模型都是基于規則的，或者依賴于在稀疏的高維特征上訓練淺層模型。隨著最近神經網絡的復蘇，基于密集向量表示訓練的文本生成神經網絡模型已經建立了無與倫比的先前表現，重新點燃了機器能夠理解語言并與人類無縫對話的希望。事實上，生成有意義和連貫的文本是許多自然語言處理任務的關鍵。然而，由于文本數據的離散性，設計能夠生成連貫文本并建立長期依賴關系模型的神經網絡一直是自然語言生成的挑戰。除此之外，神經網絡模型理解語言和基礎文本概念的能力，除了從數據中提取淺層的模式，仍然是有限的。最后，自然語言生成模型的評價是一個同樣活躍和具有挑戰性的研究領域，對推動該領域的發展具有重要意義。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191