亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

生成式常識推理是文本生成的一個關鍵瓶頸，它旨在使機器能夠根據一組概念生成具有推理能力的句子。即使是最先進的預訓練語言生成模型也難以完成這一任務，而且常常產生不合邏輯和異常的句子。其中一個原因是，他們很少考慮將知識圖譜整合進來，因為知識圖譜可以在常識概念之間提供豐富的關系信息。為了提高常識性推理生成文本的能力，我們提出了一種新的知識圖譜增強的預訓練語言生成模型KG-BART，該模型通過知識圖譜包含了復雜的概念關系，并生成了更符合邏輯和自然的句子作為輸出。此外，KG-BART可以利用圖上的注意力來聚集豐富的概念語義，從而增強對看不見的概念集的模型泛化。在基準commonen數據集上進行的實驗驗證了本文方法的有效性，并與幾個強的預訓練語言生成模型進行了比較，特別是在BLEU - 3,4方面，KG-BART的性能比BART高出5.80、4.60。此外，我們還表明，通過我們的模型生成的上下文可以作為背景場景，從而有利于下游的常識性QA任務。

//www.zhuanzhi.ai/paper/5478cc149a0d6a523665d68c6d3c170a

膠囊網絡（Capsule Networks），作為卷積神經網絡的替代品，已被提出用于從圖像中識別物體。目前的文獻證明了CapsNets相對于CNN的許多優勢。然而，如何為CapsNets的各個分類建立解釋還沒有被探索清晰。目前，廣泛使用的顯著性方法主要是為了解釋基于CNN的分類而提出的，它們通過結合激活值和相應梯度來創建顯著性圖解釋，例如Grad-CAM。這些顯著性方法需要底層分類器的特定架構，由于CapsNets的迭代路由機制，它們無法平凡地應用于其中。為了克服可解釋性的不足，作者認為可以為CapsNets提出新的事后解釋方法，或修改模型，使其具有內置的解釋。在這項工作中，作者主要研究后者。具體來說，作者提出了可解釋的Graph Capsule Networks（GraCapsNets），用基于多頭關注的Graph Pooling方法替換了路由部分。該模型能夠有效且高效地創建單個分類的解釋。同時，盡管取代了CapsNets的基本部分，該模型還展示了一些意想不到的好處。與CapsNets相比，GraCapsNets以更少的參數實現了更好的分類性能，并且具有更好的對抗性魯棒性。此外，GraCapsNets還保留了CapsNets的其他優點，即分離式表征示（disentangled representations）和仿射變換魯棒性（affine transformation robustness）。

//arxiv.org/abs/2012.01674

多元序列學習的本質是如何提取數據中的相關性。這些數據集，如重癥監護病房的每小時醫療記錄和多頻語音時間序列，通常不僅在個別成分中表現出強烈的序列依賴性(“邊緣”記憶)，而且在橫剖面依賴性中也表現出不可忽略的記憶(“聯合”記憶)。由于聯合分布演化的多元復雜性是數據生成過程的基礎，我們采用數據驅動的方法，構建了一種新的循環網絡結構，稱為記憶門控循環網絡(mGRN)，門顯式地調節兩種不同類型的記憶:邊緣記憶和聯合記憶。通過對一系列公共數據集的綜合模擬研究和經驗實驗的結合，我們表明我們提出的mGRN架構始終優于針對多元時間序列的最先進架構。

//www.zhuanzhi.ai/paper/4236df35ff33a6911c4913ac13bb78e0

擁有良好醫學知識的人類醫生，只需與病人進行幾次有關癥狀的對話，就能診斷出疾病。相比之下，現有的以知識為基礎的對話系統往往需要大量對話實例來學習，因為它們無法捕捉不同疾病之間的相關性，忽視了它們之間共享的診斷經驗。為解決這一問題，我們提出了一種更自然、更實用的范式，即低資源的醫療對話生成，它可以將源疾病的診斷經驗轉移到有少量數據可供適應的目標疾病。它利用常識知識圖譜來表征先前的疾病癥狀關系。此外，我們還開發了一個圖演化元學習(GEML)框架，該框架通過學習進化常識圖譜來推理一種新疾病的疾病癥狀相關性，有效地緩解了大量對話的需求。更重要的是，通過動態演變的疾病癥狀圖，GEML還很好地解決了現實世界的挑戰，即每種疾病的疾病癥狀相關性可能隨著更多診斷病例而變化或演變。在CMDD數據集和我們新收集的Chunyu數據集上的大量實驗結果證明了我們的方法優于最先進的方法。此外，GEML還可以在線生成豐富的對話敏感的知識圖譜，對其他基于知識圖譜的任務有借鑒意義。

//www.zhuanzhi.ai/paper/e378691f4b084a18b1a0238815c63fb6

本文首先給出了一種學習節點信息卷積隱含層的圖網學習算法。根據標簽是附著在節點上還是附著在圖上，研究了兩種類型的GNN。在此基礎上，提出了一個完整的GNN訓練算法收斂性設計和分析框架。該算法適用于廣泛的激活函數，包括ReLU、Leaky ReLU、Sigmod、Softplus和Swish。實驗表明，該算法保證了對基本真實參數的線性收斂速度。對于這兩種類型的GNN，都用節點數或圖數來表征樣本復雜度。從理論上分析了特征維數和GNN結構對收斂率的影響。數值實驗進一步驗證了理論分析的正確性。

//arxiv.org/pdf/2012.03429.pdf

通過人工神經網絡等獲得的預測具有很高的準確性，但人類經常將這些模型視為黑盒子。對于人類來說，關于決策制定的洞察大多是不透明的。在醫療保健或金融等高度敏感領域，對決策的理解至關重要。黑盒子背后的決策要求它對人類來說更加透明、可問責和可理解。這篇綜述論文提供了基本的定義，概述了可解釋監督機器學習(SML)的不同原理和方法。我們進行了最先進的綜述，回顧過去和最近可解釋的SML方法，并根據介紹的定義對它們進行分類。最后，我們通過一個解釋性的案例研究來說明原則，并討論未來的重要方向。

//www.zhuanzhi.ai/paper/d34a1111c1ab9ea312570ae8e011903c

目前人工智能(AI)模型的準確性是顯著的，但準確性并不是最重要的唯一方面。對于高風險的領域，對模型和輸出的詳細理解也很重要。底層的機器學習和深度學習算法構建的復雜模型對人類來說是不透明的。Holzinger等人(2019b)指出，醫學領域是人工智能面臨的最大挑戰之一。對于像醫療這樣的領域，深刻理解人工智能的應用是至關重要的，對可解釋人工智能(XAI)的需求是顯而易見的。

可解釋性在許多領域很重要，但不是在所有領域。我們已經提到了可解釋性很重要的領域，例如衛生保健。在其他領域，比如飛機碰撞避免，算法多年來一直在沒有人工交互的情況下運行，也沒有給出解釋。當存在某種程度的不完整時，需要可解釋性。可以肯定的是，不完整性不能與不確定性混淆。不確定性指的是可以通過數學模型形式化和處理的東西。另一方面，不完全性意味著關于問題的某些東西不能充分編碼到模型中(Doshi-Velez和Kim(2017))。例如，刑事風險評估工具應該是公正的，它也應該符合人類的公平和道德觀念。但倫理學是一個很寬泛的領域，它是主觀的，很難正式化。相比之下，飛機避免碰撞是一個很容易理解的問題，也可以被精確地描述。如果一個系統能夠很好地避免碰撞，就不用再擔心它了。不需要解釋。

本文詳細介紹了可解釋SML的定義，并為該領域中各種方法的分類奠定了基礎。我們區分了各種問題定義，將可解釋監督學習領域分為可解釋模型、代理模型擬合和解釋生成。可解釋模型的定義關注于自然實現的或通過使用設計原則強制實現的整個模型理解。代理模型擬合方法近似基于黑盒的局部或全局可解釋模型。解釋生成過程直接產生一種解釋，區分局部解釋和全局解釋。

綜上所述，本文的貢獻如下:

• 對五種不同的解釋方法進行形式化，并對整個解釋鏈的相應文獻(分類和回歸)進行回顧。
• 可解釋性的原因，審查重要領域和可解釋性的評估
• 這一章僅僅強調了圍繞數據和可解釋性主題的各個方面，比如數據質量和本體
• 支持理解不同解釋方法的連續用例
• 回顧重要的未來方向和討論

我們解決了監督學習的特征化和尋找最優表示的問題。傳統上，這個問題通過使用信息瓶頸來解決，即壓縮輸入，同時保留關于目標的信息，這種方式與解碼器無關。然而，在機器學習中，我們的目標不是壓縮而是泛化，這與我們感興趣的預測族或譯碼器(例如線性分類器)密切相關。我們提出了可解碼信息瓶頸(DIB)，它從預期預測族的角度考慮信息的保留和壓縮。因此，DIB產生了預期測試性能方面的最優表示，并且可以在保證的情況下進行估計。實驗表明，該框架可以在下游分類器上施加一個小的泛化間隙，并預測神經網絡的泛化能力。

//www.zhuanzhi.ai/paper/89c6cd33631078ee766b8b8dc409a503

對于來自開源社會傳感器的多種類型并發事件及其相關參與者進行建模是許多領域(如醫療保健、救災和金融分析)的一項重要任務。預測未來的事件可以幫助人類分析師更好地理解全球社會動態，并做出快速而準確的決策。預期參與這些活動的參與者或參與者還可以幫助涉眾更好地響應意外事件。然而，由于以下幾個因素，實現這些目標是具有挑戰性的:(i)難以從大規模輸入中過濾出相關信息，(ii)輸入數據通常為高維非結構化和Non-IID(非獨立同分布)，(iii)相關的文本特征是動態的，隨時間而變化。最近，圖神經網絡在學習復雜和關系數據方面表現出了優勢。本文研究了一種基于異構數據融合的時間圖學習方法，用于預測多類型并發事件并同時推斷多個候選參與者。為了從歷史數據中獲取時間信息，我們提出了一種基于事件知識圖的圖學習框架Glean，它結合了關系和單詞上下文。我們提出了一個上下文感知的嵌入融合模塊來豐富事件參與者的隱藏特性。我們在多個真實數據集上進行了廣泛的實驗，結果表明，所提出的方法在社會事件預測方面與各種先進的方法相比具有競爭力，而且還提供了急需的解釋能力。

題目： Background Knowledge Injection forInterpretable Sequence Classification

摘要： 序列分類是一項有監督的學習任務，它建立模型來預測未知符號序列的類標簽。盡管準確性是最重要的，但在某些情況下，可解釋性是必須的。不幸的是，我們回溯了人類獨立的可解釋性度量，這樣的權衡通常很難實現。我們介紹了一種新的序列學習算法，它結合了（i）線性分類器，已知線性分類器在預測能力和可解釋性之間取得了很好的平衡，以及（ii）背景知識嵌入。我們將經典的子序列特征空間擴展為由嵌入字或圖的背景知識生成的符號組，并利用這個新的特征空間學習線性分類器。提出了一種新的基于符號嵌入的符號特征集可解釋性評價方法。從可穿戴設備和氨基酸序列分類中識別人類活動的實驗表明，我們的分類方法保留了預測能力，同時提供了更多的可解釋模型。

作者簡介： Severin Gsponer，都柏林大學學院數據分析洞察中心博士生。

Luca Costabello，都柏林大學學院埃森哲實驗室，研究科學家。等