亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

連續數據和離散數據之間的差異是計算機科學、數學以及認知科學等相關領域的一個基本問題。歷史上，大部分計算都是在離散領域進行的，但連接主義提供了一種使用連續向量表示數據的替代技術，這種替代技術在過去十年深度學習的崛起中愈發突出。本論文探索了將連續的高維數據（像深度學習那樣成功地處理）轉換為離散的緊湊表示（如傳統計算所用）的技術。五個主要章節每一個都介紹了一個新的技術，這些技術都有助于實現這個目標，但也可以作為一個獨立的研究項目來閱讀。這些技術主要涉及深度學習和聚類，并且，與一般的表示學習一致，主要（但不完全）處于無監督的環境中。有些章節分別關注深度學習或聚類，以形成連續數據的離散表示。其他章節則探討如何在一個單一的端到端學習系統中結合深度學習和聚類。這樣的組合本身就涉及到連續和離散之間的交界，因為深度學習操作的是前者，而聚類操作的是后者。能夠在連續和離散的世界之間搭建橋梁，也符合人工智能模擬人類智能的原始目標，因為人類認知的重要部分就是在連續和離散的世界之間的運動。我們的感官輸入主要是連續的，但我們使用的自然語言和推理裝置大都是離散的。有朝一日能夠像人類一樣思考和行動的機器也必須學會做同樣的事。

表示學習旨在從原始數據中提煉有用的知識，并將這些知識應用于廣泛的應用場景。這種不僅對選定任務有用，而且能推廣到新環境的信息提取能力是實現人工智能的關鍵一步。在這篇論文中，我們關注通過一種特定類型的生成模型得到的表示，即變分自編碼器（VAEs）。VAEs具有幾個理想的屬性。得益于使用變分推理和高斯后驗的便捷模型假設以及簡單的先驗，VAEs通常易于訓練并表現出快速收斂。概率建模方法使得VAEs能夠從原始數據中得到平滑的潛在表示（即，語義相似的數據樣本可能會被映射到潛在空間的相鄰區域）。VAEs將原始數據壓縮到一個更低維度的潛在空間。與原始數據相比，使用低維表示可以顯著降低內存和計算成本。憑借這些優勢，VAEs已廣泛應用于許多應用領域，包括機器人技術[1]、藥物發現[2]和數字內容創作[3]。盡管VAEs已經廣泛應用，但進一步提高VAEs的生成建模仍然是一個活躍的研究課題。在這篇論文中，我們關注VAE訓練中的兩個挑戰：1) 在具有高斯解碼器和簡單先驗模型的VAEs中，經常會遇到過度正則化的后驗分布；2) 自編碼函數可能導致嚴重的信息漂移，并在連續編碼過程中改變原始數據中的信息。針對這兩種現象，我們提出了解決方案。具體來說，我們優化高斯解碼器中的方差參數，以平衡ELBO目標中的競爭損失項。我們采用一個靈活的先驗模型，該模型在潛在空間中實現為一個VAE，以減輕過度正則化的影響。為了減少信息漂移，我們建議修改ELBO目標，加入一個一致性損失，以懲罰這種漂移。我們證明了這些提議可以有效解決之前確定的挑戰，并提高VAEs的似然得分。除了與改進VAEs相關的貢獻外，我們還展示了VAEs在兩個重要機器學習應用中表示學習的能力。首先，我們展示了VAE壓縮復雜高維數據的能力是實現異常檢測良好性能的關鍵。我們設計了一個VAE-LSTM異常檢測系統，可以準確地識別時間序列中的異常效果。其次，我們展示了結合VAE模塊的分類器可以給出更好的校準預測。這是因為VAEs能夠在后驗分布的擴散中表達相似數據樣本之間的不確定性，以及識別出分布樣本的能力。

人類具有持續學習而不忘記的非凡能力，并使自己的行為適應不斷變化的環境要求。雖然以前的工作集中在闡明靈活的依賴于上下文的信息處理的基礎機制，但對信息在人腦中表示的格式以及這如何促進持續的任務表現知之甚少。本論文的目的是為依賴上下文的處理開發計算信息的表示學習理論，并在健康人類參與者的行為和神經成像記錄中測試這些理論。

通過一系列神經網絡模擬、行為和神經成像研究，以及對從macaque FEF錄制的免費可用數據集的重新分析，我收集了支持早期認知控制理論的證據，該理論假設，前額葉皮質實施了有利于任務相關而非任務無關信息的門控策略，以服務于特定上下文的任務目標。在第3章中，我提出了一個計算框架，用于研究人工神經網絡的上下文相關決策的表示學習，并演示了相同的架構如何學習高維和任務無關的表示，或低維和任務特定的表示。在第4章中，我在學習執行類似的上下文依賴決策任務的人類參與者的fMRI記錄中測試了這些模擬的預測，發現額頂葉區域的表示是高度特定于任務的，不同任務的相關信息映射到正交編碼軸上。在第5章中，我將介紹一個人類持續學習的模型，其中門控信號是通過一個簡單的Hebbian機制學習的。最后，在第6章中，我測試了之前報告的blocked相比于泛化到抽象規則的交叉訓練的好處，以及它們是否促進了跨域遷移。本文介紹了持續表示學習的計算理論，并提供了人類大腦使用門控策略在特定上下文的子空間中表示相關信息的經驗證據。

近十幾年來，序列數據的粗糙路徑理論與機器學習的融合一直是人們關注的熱點。這兩個主題領域的統一是自然的:粗糙路徑理論為我們提供了描述由多維(和潛在的高度不規則)信號驅動的微分方程的解決方案的語言，而機器學習提供了從數據中學習此類解決方案的工具。粗糙路徑理論的核心目標是提供一個通用的數學框架，以回答關于數據流對系統可能產生的影響的問題。此類數據的一個常見例子是時間序列，廣泛存在于生活的各個領域(這也是我們在本文中最常考慮的流類型);因此，用粗糙路徑語言框架問題為我們提供了在現實世界中具有真正效用的模型。本文的目的是介紹粗糙路徑理論在機器學習中的應用，然后介紹最近的有效貢獻，進一步將這兩個領域聯系起來。本文涉及的主題包括:神經控制微分方程(neural CDEs)——神經常微分方程的擴展，可以納入外部數據處理的變化;神經粗糙微分方程(neural RDEs)——對神經CDEs的粗糙路徑擴展，可為長或高頻時間序列帶來好處;廣義簽名法——一種多元時間序列特征提取方法最后給出簽名方法在膿毒癥和壓力檢測中的實際應用。

關系數據在現代計算中無處不在，并驅動跨多個領域的幾個關鍵應用程序，如信息檢索、問題回答、推薦系統和藥物發現。因此，人工智能(AI)的一個主要研究問題是建立以有效和可靠的方式利用關系數據的模型，同時注入相關的歸納偏差和對輸入噪聲的魯棒性。近年來，圖神經網絡(GNNs)和淺節點嵌入模型等神經模型在關系結構的學習表示方面取得了重大突破。然而，這些系統的能力和局限性還沒有被完全理解，在賦予這些模型可靠性保證、豐富它們的關系歸納偏差以及將它們應用于更具挑戰性的問題設置方面仍存在一些挑戰。在這篇論文中，我們研究了關系數據的學習和推理。更具體地說，我們從理論上和實證上分析了現有模型的性質和局限性，并提出了改進關系歸納偏差和表征能力的新方法。

//ora.ox.ac.uk/objects/uuid:da7744ad-effd-4fc9-b7ab-a00b03a86a53

1. 引言以神經網絡為動力的深度學習系統已經在各種具有挑戰性的任務上取得了突破性的成果，如計算機視覺[96]和機器翻譯[160]。深度學習模型在最少人為干預的情況下從數據中學習模式，并在其訓練集之外進行經驗歸納。因此，在多個領域應用深度學習系統的興趣越來越大。沿著這些思路，近年來一個突出的研究前沿是將深度學習應用到關系數據中。從根本上說，關系數據將信息表示為一組通過語義意義關系連接的實體。例如，可以將在線市場上的產品、賣家和用戶表示為實體，并將交易描述為跨上述三種實體類型的三元關系，例如，Alice從Charlie那里購買了一個球。關系數據的一個流行的特例是圖結構，其中關系最多是二進制的。在這種情況下，關系可以被視為定義(標記)圖實體之間的邊，這些實體本身構成了圖節點。關系表示非常通用，并且出現在各種應用程序領域中。例如，社交網絡中的用戶根據他們的互動(友誼、關注、點贊)成對連接，可以被視為一個圖結構。這同樣適用于引文網絡中的論文[153,154]及其引文連接，以及分子，其中原子可以被視為實體，它們的鍵可以表示為二進制關系。事實上，關系數據封裝了幾個傳統數據域。例如，圖像是網格形狀的圖形的一種特殊情況，其中相鄰的像素由一條邊連接，序列是一系列實體，這些實體的邊連接著連續的實體。鑒于關系數據的普遍存在和圖結構的普遍存在，構建強大的關系機器學習模型是一個重要的研究問題，其分支涉及多個任務，如信息檢索[182]、問題回答[20]、推薦系統[173]和藥物發現[60]。廣義上講，機器學習任務可以分為三大類:

1. 節點級的任務。給定一個帶有未標記或部分標記節點的輸入圖，節點級任務旨在預測節點屬性，例如，對于沒有預標記屬性的節點，預測一個類或一個值。例如，在引用網絡中，論文(輸入圖中的實體)具有內容特征，并且通過二元引用關系與其他論文相連，預測論文的主題就是一個節點分類任務。

2. Graph-level任務。給定一個輸入圖，圖級任務尋求基于節點特征、邊和整體輸入圖結構預測全局圖屬性，如類或值。這些任務在分子圖中非常突出，包括幾個圖性質預測問題，如毒性分類和零點振動能(ZPVE)回歸[140]。

3.Edge-level任務。給定一個輸入圖，邊級任務旨在預測現有邊的未知邊屬性，或者更常見的是，基于現有邊和節點特征預測圖中缺失的邊。對于后一種情況，當輸入圖是單關系圖時，該問題稱為鏈接預測，如引用網絡，當輸入圖是多關系圖時，該問題稱為知識圖譜補全(KGC)。在本文中，我們研究了關系數據(圖結構和更一般的關系數據)的學習和推理，并提出了幾個模型和框架，以理論分析和結果支持，以提高該領域模型的關系歸納偏差和表示能力。更具體地說，我們系統地研究現有模型，證明它們的理論屬性和結果，并提出擴展和新模型，以(i)可證明地捕獲和/或強加豐富的關系歸納偏差，(ii)更好地理解現有模型的表現力和表征局限性，以及(iii)將現有模型和方法擴展到與推理和推理相關的新穎的、具有挑戰性的應用領域。

本文從最大似然的角度分析了因果推理中的幾個問題。主要涉及兩種原型似然:連續數據的高斯似然和離散數據的多項似然。本文前半部分采用高斯似然進行檢驗和估計。基于因果圖的選擇，在第2章中，我們將使用似然比檢驗(likelihood ratio test, LRT)研究高斯分布下的邊緣獨立性和條件獨立性的檢驗。通過對LRT的漸近分布函數取點極值，引入了一類包絡分布。我們證明這些包絡分布是良好的，并導致一致一致的模型選擇過程。在第三章中，我們考慮在因果充分性和線性條件下總的因果效應的估計。我們推導了一個簡單的遞歸最小二乘估計量作為高斯誤差下的最小二乘估計量，它可以一致估計任何已知的總效應，無論是在點干預還是聯合干預下。此外，當與相當大的一類估計量比較時，該估計量被證明是漸近有效的，即使超出高斯假設。

//digital.lib.washington.edu/researchworks/handle/1773/47710

在后半部分，我們研究了工具變量(IV)模型與離散數據的推理。在第四章中，我們得到了多項抽樣下似然比統計量的非漸近尾界。這樣的界限是通過統計量的力矩產生函數在所有多項參數上一致地定界而建立的，這可以看作是Wilks定理的有限樣本版本。然后，在第5章中，將這些邊界與IV模型的凸參數化相結合，將統計推斷簡化為凸規劃。該方法提供了較強的保證，避免了識別和后選擇推理的困難。以越南征兵抽簽作為單調的工具，對兵役對年收入的分配效應進行了案例研究，說明了該方法。最后，我們研究了潛變量公式中平均處理效果的部分識別，并將其與量子力學中的Bell-CHSH不等式聯系起來。

機器學習模型在有偏差的數據集上訓練時是有偏差的。最近提出了許多方法，以減輕被確定為先驗的偏差。然而，在現實世界的應用中，標注偏差不僅耗時而且具有挑戰性。本論文考慮了三種不同的場景，并提出了學習魯棒模型的新算法。這些算法是有效的，因為它們不需要明確的偏差注釋，從而實現了實用的機器學習。

首先，我們引入了一種算法，該算法對從多個環境中收集的數據進行操作，其中偏差特征和標簽之間的相關性可能會有所不同。我們表明，當使用在一個環境上訓練的分類器對來自不同環境的例子進行預測時，它的錯誤是隱藏偏見的信息。

然后，我們利用這些錯誤來創建一組示例，這些示例的插值結果只具有穩定的相關性。我們的算法在四種文本和圖像分類任務上實現了最新的技術。然后我們考慮無法訪問多個環境的情況，這是新任務或資源有限任務的常見場景。我們證明，在現實世界的應用中，相關的任務往往有類似的偏見。在此基礎上，我們提出了一種算法，從資源豐富的源任務中推斷出偏差特征，并將這種知識轉移到目標任務中。與橫跨5個數據集的15個基線相比，我們的方法始終提供顯著的性能提升。

最后，我們研究了只給出一組輸入標簽對的自動偏差檢測。我們的算法學習分割數據集，使得在訓練分割上訓練的分類器不能泛化到測試分割上。性能差距為測量學習特征的偏差程度提供了一個智能體，因此可以用來識別未知偏差。在六個NLP和視覺任務上的實驗表明，我們的方法能夠產生與人類識別的偏差相關的虛假分裂。

結構化數據的自適應處理是機器學習中一個長期存在的研究課題，研究如何自動學習從結構化輸入到各種性質的輸出的映射。最近，人們對圖形的自適應處理越來越感興趣，這導致了不同的基于神經網絡的方法的發展。在本論文中，我們采用不同的方法，開發了一個用于圖學習的貝葉斯深度學習框架。本論文首先回顧了該領域中大多數方法建立的原則，然后對圖分類再現性問題進行了研究。然后，通過以增量的方式構建我們的深度架構，我們繼續將深度學習的基本思想與貝葉斯世界聯系起來。這個框架允許我們考慮具有離散和連續邊緣特征的圖，產生足夠豐富的無監督嵌入，以達到在多個分類任務上的先進水平。該方法還支持貝葉斯非參數擴展，它可以自動選擇幾乎所有模型的超參數。兩個真實世界的應用證明了深度學習對圖形的有效性。第一個問題是用有監督的神經模型預測分子模擬的信息理論量。之后，我們利用貝葉斯模型來解決惡意軟件分類任務，同時對過程內代碼混淆技術具有魯棒性。最后，我們試圖將神經和貝葉斯世界的精華融合在一起。由此產生的混合模型能夠預測以輸入圖為條件的多模態分布，因此能夠比大多數工作更好地模擬隨機性和不確定性。總的來說，我們的目標是為圖形深度學習的研究領域提供一個貝葉斯視角。