亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

針對圖數據的Transformer正在被越來越廣泛地研究，并在許多學習任務中取得成功。圖歸納偏差對于Graph Transformers至關重要，之前的工作通過使用信息傳遞模塊和/或位置編碼來加入這些偏差。然而，使用信息傳遞的Graph Transformers繼承了信息傳遞的已知問題，并且與在其他領域中使用的Transformers顯著不同，這使得研究進展的遷移變得更加困難。另一方面，沒有使用信息傳遞的Graph Transformers在較小的數據集上的表現通常較差，在這種情況下，歸納偏差更為重要。為了彌合這個鴻溝，我們提出了Graph Inductive bias Transformer（GRIT）—一種新的Graph Transformer，它在不使用信息傳遞的情況下融合了圖歸納偏差。GRIT基于幾個從理論和實證上都得到證明的架構變化，包括：使用隨機游走概率初始化的學習相對位置編碼，一種可以更新節點和節點對表示的靈活的注意力機制，以及在每一層注入度信息。我們證明GRIT是有表現力的——它可以表示最短路徑距離和各種圖傳播矩陣。GRIT在各種圖數據集中實現了最新的實證性能，這顯示了不使用信息傳遞的Graph Transformers所能夠帶來的強大能力。

圖神經網絡(GNNs)已被證明是有前途的解決方案的協同過濾(CF)與用戶項交互圖建模。現有的基于GNN的推薦系統的關鍵思路是遞歸地執行沿用戶-項目交互邊緣傳遞的消息，以細化編碼的嵌入。盡管他們的有效性，但是，目前大多數的推薦模型依賴于足夠的和高質量的訓練數據，這樣學習的表示可以很好地捕捉準確的用戶偏好。在許多實際的推薦場景中，用戶行為數據往往是有噪聲的，并且呈現出偏態分布，這可能導致基于GNN的模型的表現性能欠佳。在本文中，我們提出了一種新的自監督超圖transformer 框架(SHT)，它通過明確地探索全局協作關系來增強用戶表示。具體來說，我們首先賦予圖神經CF范式以超圖transformer 網絡來維持用戶和物品之間的全局協同效果。在提取全局上下文的基礎上，提出了一種跨視圖生成式自監督學習組件，用于用戶-物品交互圖上的數據增強，以增強推薦系統的魯棒性。大量實驗表明，SHT可以顯著提高各種最先進的基線性能。進一步的消融研究表明，我們的SHT推薦框架在緩解數據稀疏性和噪聲問題方面具有卓越的表達能力。源代碼和評估數據集可以在//github.com/akaxlh/SHT上找到。

本教程針對的是對人工智能和ML技術感興趣的研究人員和從業人員，這些技術用于從非結構化文本源中提取結構信息(IE)。特別是，本教程將通過解決幾個重要的研究問題，系統地介紹IE的最新進展。這些問題包括 (i) 如何利用少量的、有噪聲的訓練數據開發一個魯棒的IE系統，同時保證其預測的可靠性?(ii）如何通過增強系統的跨語言、跨領域、跨任務、跨模式的可移動性來培養IE的通用性? (iii)如何支持提取極細粒度和多樣化標簽的結構信息? (iv) 如何利用其他NLP任務(如NLI、QA或總結，以及預先訓練的語言模型)的間接監督來進一步提高IE ?(v)在IE系統中如何獲取知識來指導推理?我們將討論解決這些挑戰的前沿研究的幾個線，并將通過概述進一步調查的方向來結束教程。

信息抽取(Information extraction, IE)是指從非結構化或半結構化數據中自動提取結構化信息的過程。它通過識別和解析文本中描述的概念、實體、事件，并推斷它們之間的關系，為自然語言理解提供了必要的支持。在各種應用領域中，IE自動化了領域特定知識表示的昂貴獲取過程，而這些知識表示是任何知識驅動AI系統的支柱。例如，自動化知識庫的構建依賴于以實體為中心的IE技術。事件和事件鏈的提取可以幫助機器完成敘事預測和總結任務。醫學IE也有利于重要但昂貴的臨床任務，如藥物發現和再利用。盡管如此，IE的前沿研究仍然面臨著幾個關鍵的挑戰。第一個挑戰是使用語言建模表示的現有主流方法不能充分地獲取IE任務所需的基本知識和結構。第二個挑戰是開發監督較少的細粒度信息提取模型，考慮到在未標記數據上獲得結構性注釋的成本非常高。第三個挑戰是在現實場景中擴展IE系統的可靠性和通用性，在這些場景中，數據源經常包含不正確的、無效的或無法識別的輸入，以及包含看不見的標簽和混合模式的輸入。最近，通過解決這些關鍵的挑戰，最近的文獻正在導致IE系統開發的原則和方法的變革性的進步。我們認為有必要及時呈現一個教程，全面總結IE研究的新前沿，并指出值得進一步研究的新挑戰。

在本教程中，我們將系統地回顧開發魯棒、可靠和自適應學習系統以提取豐富的結構化信息的幾條前沿研究路線。除了介紹用于無監督去噪、約束捕獲和新異檢測的魯棒學習和推理方法外，我們還將討論利用來自自然語言推理和生成任務的間接監督來改進IE的最新方法。我們還將回顧最近用于訓練IE模型的最小監督方法，該方法與語言模式、語料庫統計數據或語言建模目標有一定距離的監督。此外，我們將說明如何在一個封閉域上訓練的模型能夠可靠地適應從不同域、語言和模式的數據源中產生提取，或獲取全局知識(例如，事件模式)，以指導在高度多樣化的開放標簽空間上的提取。與會者將了解本主題的最新趨勢和新出現的挑戰，獲得現成模型的代表性工具和學習資源，以及相關技術如何使最終用戶的NLP應用受益。

介紹

我們將定義主要的研究問題，并通過介紹幾個真實世界的自然語言處理和IE技術的知識驅動AI應用，以及該領域前沿研究的幾個關鍵挑戰來激發這個主題。

IE的間接和最小監督

我們將介紹對IE使用間接監督的有效方法，即利用相關任務的監督信號來彌補特定訓練數據在數量和全面性方面的不足。常見的間接監督來源包括問題回答和閱讀理解、自然語言推理和生成。我們還將討論作為間接來源的結構性文本(如維基百科)。隨著大規模預訓練語言模型的突破，人們提出了探索語言模型目標作為IE的間接監督的方法。為此，我們將涉及的方法包括直接探測，以及最近使用遠程信號進行預訓練。

面向IE的魯棒學習與推理

我們將介紹提高工業工程學習系統在學習和推理階段的魯棒性的方法。這些方法包括基于共正則化知識蒸餾、標簽重加權和標簽平滑的自監督去噪技術，用于訓練噪聲魯棒的IE模型。此外，我們還將討論用于out- distribution (OOD)檢測的無監督技術、帶有回避的預測和新穎性類檢測，這些技術試圖幫助IE模型在推理階段識別無效輸入或帶有語義轉移的輸入。具體來說，為了演示模型如何確保提取的全局一致性，我們將介紹自動捕獲關系之間的邏輯約束的約束學習方法，以及在推斷中強制約束的技術。

Knowledge-guided即

從大規模語料庫中提取的全局知識表示可以指導對知識要素之間復雜聯系的推理，并有助于修正提取錯誤。我們將引入跨任務和跨實例的統計約束知識、常識知識和全局事件模式知識，這些知識有助于聯合提取實體、關系和事件。

IE系統的可遷移性

開發IE系統的一個重要挑戰在于預定義模式(例如，預定義類型的實體、關系或事件)的覆蓋范圍有限，以及對人工注釋的嚴重依賴。當轉向新的類型、領域或語言時，我們必須從頭開始，創建注釋并重新訓練提取模型。在這部分教程中，我們將介紹在提高IE可轉移性方面的最新進展，包括:(1)通過利用對抗訓練、語言不變表示和資源、預訓練的多語言模型以及數據投影進行跨語言遷移;(2)跨類型遷移，包括通過學習原型、閱讀定義、回答問題，包括零樣本和少樣本的IE;(3)跨不同基準數據集遷移。最后，我們還將討論IE終身學習的進展，以實現知識在增量更新模型之間的轉移。

跨模態IE

跨模態IE旨在從多種模態中提取結構化知識，包括非結構化和半結構化的文本、圖像、視頻、表格等。我們將從從圖像和視頻中提取視覺事件和論點開始。提取多媒體事件的關鍵是識別跨模態的相互參照和鏈接，并在共同的語義空間中表示文本和視覺知識。我們還將介紹從半結構化數據和表格數據中提取信息的方法。

未來的研究方向

工業工程是支持知識獲取的關鍵組成部分，它影響著廣泛的知識驅動AI應用。在本教程的最后，我們將介紹進一步的挑戰和潛在的研究主題，包括識別提取內容的可信度、定量推理IE、跨文檔IE、標簽語義建模，以及從語料庫中獲取潛在的但重要的信息(可能涉及報告偏見)的挑戰。

在現實世界中，存在許多難以用數學方法指定的約束條件。然而，對于強化學習(RL)的現實部署來說，RL agent意識到這些約束條件是至關重要的，這樣它們才能安全地行動。在這項工作中，我們考慮了學習約束的問題，從一個遵守約束的行為的示范。我們通過實驗驗證了我們的方法，并證明了我們的框架能夠成功地學習agent所尊重的最有可能的約束。我們進一步證明，這些習得的約束是可轉移到新個體的，這些新個體可能具有不同的形態和/或獎賞功能。在這方面，之前的工作要么主要局限于表格(離散)設置、特定類型的約束，要么假設環境的過渡動力學。相比之下，我們的框架能夠在完全無模型的環境中學習高維中的任意文本{馬爾可夫}約束。代碼可在:\url{//github.com/shehryar-malik/icrl}。

圖結構數據的自監督學習最近引起了從無標記圖學習可泛化、可遷移移和魯棒表示的興趣。其中，圖對比學習(GraphCL)以良好的表征學習性能出現。不幸的是，與圖像數據不同的是，GraphCL的有效性依賴于特定的數據擴展，由于圖數據的多樣性，必須根據經驗或反復試驗的規則手動選擇每個數據集。這極大地限制了GraphCL更普遍的適用性。為了填補這一關鍵空白，本文提出了一個統一的雙層優化框架，在對特定圖形數據執行GraphCL時自動、自適應、動態地選擇數據增強。聯合增強優化(JOint Augmentation Optimization, JOAO)的通用框架被實例化為最小最大化優化。JOAO所做的增強的選擇通常與從手工調優中觀察到的以前的“最佳實踐”一致:但現在已經自動化，更加靈活和通用。此外，我們提出了一種新的增強感知投影頭機制，在每個訓練步驟中，通過選擇不同的投影頭對應不同的增強來路由輸出特征。大量實驗表明，JOAO在不同規模和類型的多個圖數據集上的性能與最先進的競爭對手(包括GraphCL)相當，有時甚至更好，而無需對增強選擇進行任何費力的數據集特定調優。我們在//github.com/ Shen-Lab/GraphCL_Automated發布了代碼。

點擊率(CTR)預測在推薦系統和在線廣告中起著至關重要的作用。這些應用程序中使用的數據是多字段類別數據，其中每個特征屬于一個字段。字段信息被證明是重要的，在他們的模型中有一些考慮字段的工作。在本文中，我們提出了一種新的方法來有效和高效地建模場信息。該方法是對FwFM的直接改進，被稱為場矩陣分解機(FmFM，或FM2)。在FmFM框架下，我們對FM和FwFM提出了新的解釋，并與FFM進行了比較。除了對交叉項進行修剪外，我們的模型還支持特定領域的可變維度的嵌入向量，這是一種軟修剪。在保持模型性能的同時，我們還提出了一種有效的最小化維數的方法。FmFM模型還可以通過緩存中間向量來進一步優化，它只需要數千次浮點運算(FLOPs)就可以做出預測。實驗結果表明，該算法的性能優于復雜的FFM算法。FmFM模型的性能也可以與DNN模型相媲美，DNN模型在運行時需要更多FLOPs 。

//www.zhuanzhi.ai/paper/39df3ac3e3acb641f86294a4d6acb39f

當前的大規模語言模型可能由于其訓練數據而產生政治偏見，當將它們部署在現實環境中時可能會導致嚴重的問題。

在本文中，我們提出了用于衡量GPT-2生成中的政治偏見的指標，并提出了一種強化學習（RL）框架，用于緩解生成的文本中的政治偏見。通過使用來自詞嵌入或分類器的獎勵，我們的RL框架無需訪問訓練數據或要求對模型進行重新訓練即可指導去偏見生成。

在對政治偏見敏感的三個屬性（性別、位置和主題）的實證實驗中，我們的方法根據我們的指標和人工評估很好地減少了偏見，同時保持了可讀性和語義一致性。

//www.cs.dartmouth.edu/~rbliu/aaai_copy.pdf

我們提出了一種新的用于分布式訓練神經網絡模型的聯邦學習方法，其中服務器在每一輪隨機選擇的設備子集的協調合作。我們主要從通信的角度來看待聯邦學習問題，并允許更多的設備級計算來節省傳輸成本。20指出了一個基本的困境，即局部設備級經驗損失的最小值與全局經驗損失的最小值不一致。與最近嘗試不精確最小化或利用設備來并行梯度計算的工作不同，我們在每一輪為每個設備提出了一個動態正則化，這樣在極限情況下全局解決方案和設備解決方案是對齊的。我們通過對真實數據和合成數據的實證結果以及分析結果證明，我們的方案能夠在凸和非凸設置下實現高效的訓練，同時完全不知道設備的異構性，對大量設備、部分參與和不平衡數據具有魯棒性。

//openreview.net/forum?id=B7v4QMR6Z9w

遷移學習技術在難以獲得大量高質量注釋數據的NLP任務中特別有用。目前的方法在對下游任務進行微調之前，直接對域內文本采用預先訓練好的語言模型(LM)。我們展示了使用特定于領域的術語擴展LM的詞匯表會帶來進一步的收獲。在更大的效果上，我們利用未標記數據中的結構創建輔助合成任務，這有助于LM向下游任務轉移。在事先訓練好的Roberta-large LM系統上逐步應用這些方法，并在IT領域的三個任務上顯示出可觀的性能提升:閱讀理解、文檔排序和重復問題檢測。

//arxiv.org/abs/2010.05904

知識圖譜(KGs)在圖的結構中存儲了關于世界的高度異構的信息，對于回答問題和推理等任務非常有用。然而，它們經常包含錯誤和丟失信息。KG精化的活躍研究已經解決了這些問題，裁剪技術可以檢測特定類型的錯誤，也可以完成KG。

這個工作，我們引入了一個統一的解決方案來描述KG的特性，通過用一組歸納的軟規則將問題化為無監督的KG總結，這些規則描述了KG中的正常值，從而可以用來識別異常值，不管是奇怪的還是缺失的。與一階邏輯規則不同，我們的規則被標記為有根圖，即根據節點的類型和KG中的信息，描述一個(可見或不可見的)節點周圍的預期鄰域的模式。在傳統的基于支持/信任的規則挖掘技術的基礎上，我們提出了KGist，即知識圖譜歸納摘要，它學習歸納規則的摘要，根據最小描述長度原則對KG進行最佳壓縮——這是我們在KG規則挖掘上下文中首次使用的公式。我們將規則應用于三個大型KGs (NELL、DBpedia和Yago)，以及諸如壓縮、各種類型的錯誤檢測和不完整信息標識等任務。我們證明了KGist在錯誤檢測和不完全性識別(識別93%缺失實體的位置—比基線多10%)方面優于特定于任務的、有監督的和無監督的基線，同時對于大型知識圖譜也是有效的。