亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

機器學習領域，特別是深度學習，由于算法、計算能力和數據集的改進，近年來取得了巨大進步。為支持深度學習而構建的系統主要針對用于生成學習模型的計算。 本論文提出改為關注數據在訓練和驗證中的作用。在論文的第一部分，我們關注訓練數據，展示了負責訓練數據的數據管道是性能考慮的首要目標。為了解決性能問題，我們引入了一種在數據轉換空間中進行數據子采樣的方式，一種降低精度的輸入/輸出格式，以及一個自動調整數據管道性能參數的系統。在論文的第二部分，由于日益增長和表達能力增強的模型的趨勢，我們轉向驗證環境，開發了一個系統，可以使用標準正則表達式自動查詢和驗證大型語言模型的行為。我們以機器學習的數據系統領域的未來工作作為結論。在過去的十年里，機器學習（ML）在應用方面經歷了迅猛的增長。這個領域關注的是隨著數據或經驗而改進的算法[201]，已經從一系列專業化的應用（例如，廣告[195]，推薦系統[60, 106, 213]，垃圾郵件檢測[316]）演變為應用于幾乎所有技術領域。例如，深度學習應用于游戲玩法[261, 286]，蛋白質折疊[143]，機器人學[80]，一系列自然語言處理任務[43, 55]，并且預計將達到一種無處不在的程度，可能導致重大的經濟顛覆[87]。在這場革命的最前沿是深度學習子領域[108, 173]。深度學習使用多層結構 - 數學操作 - 來構建模型。這些層被聯合學習，以便早期層簡化后續層面臨的任務。雖然深度網絡在理論上可能不如其他機器學習或人工智能方法那么被理解，但它們已經表明，盡管在計算上開銷巨大但通用的方法最終會主導利用額外專業化的算法[268]。這種在計算上開銷巨大但通用的方法已經受益于像摩爾定律[209]這樣的趨勢 - 硬件性能的指數級增長 - 以及硬件和軟件的專業化[165, 275]。如今眾多的深度學習軟件使深度學習或許比其他替代方案更易于獲取 - 只需獲得通常是開源且隨時可用的模型規范代碼，就可以訓練最先進的模型。深度學習技術的核心已經被商品化和民主化，使任何人都可以受益于人類多年的研究和開發。

然而，盡管使用深度學習的常規方面變得更加容易，但仍然存在一些基本問題有待解決，并影響許多應用的下游性能。對這些問題（及其相應解決方案）進行分類的一種方法是將它們分為三個領域：1）機器學習算法，2）計算能力，和3）數據。這三個領域的每一個都已經經過優化以持續推動該領域的進步，并且被列為導致深度學習興起的關鍵因素[35]。例如，缺乏訓練數據和計算能力被歸因為深度網絡在2000年初的衰退[35]。直到大約十年后，這些因素的缺乏才得以彌補，當時在2012年ImageNet大規模視覺識別挑戰（ILSVRC）比賽中取得了創紀錄的表現[71]。獲勝的提交，AlexNet[156]，是一個深度卷積神經網絡（CNN），并且在圖形處理單元（GPU）的幫助下接受了一百萬張圖像的訓練。機器學習算法也有所進步，使學習更加高效。例如，ReLU激活和dropout是2012年提交[156, 173]的關鍵算法組件，是廣泛用于加速學習的數學操作。當這些進步結合起來時，由此產生的模型以絕對誤差超過了僅次于其的提交，開始了計算機視覺的革命[173]。今天在自然語言處理方面的最新趨勢可以類似地視為核心算法創新[285]，并擴展到大量數據和計算[43, 55]，從而導致性能的可預測提升。在民主化機器學習的最前沿是機器學習系統[239]。這些系統包含并解決機器學習方法中足夠公式化的部分，使從業者能夠將時間集中在其他問題上。如果機器學習算法，計算能力和數據是支撐現代機器學習的支柱，那么機器學習系統就是用來將它們置于適當位置的工具。如今的系統包括用于數學表達式符號操作的功能，跨各種硬件平臺的可移植性，分布式執行，以及與常用實用程序和數學表達式一起預先打包的庫[11, 49, 96, 222]。

作為這篇論文的一部分，我們探討了現代機器學習技術棧中新功能或修訂功能的幾個方向，重點關注整個技術棧中數據的處理。研究數據很重要，因為在三個問題領域中，數據是最具動態性的 — 數據總是可以進一步優化以涵蓋更多樣本、更多特征或某些類型的行為，而模型（和計算）在處理某種類型的數據時必然是固定的。此外，對數據的優化可能導致應用程序的顯著增益，從而刺激數據為中心的AI研究[3]。然而，這并非輕而易舉，改變數據容易說難做。由于缺乏理論理解，對于任何新類型的機器學習任務，從業者可能必須測試哪種數據組合效果最好。如果沒有適當的數據抽象，任務中的單一變化可能導致從業者必須手動評估和調整應用程序數據的特征。調整數據的方面不僅是單調乏味的，而且根據數據評估模型以及系統性能的行為需要機器學習和系統的專業知識，而這些專業知識通常是由不同群體的人擁有的。如果機器學習系統的目標是支持從業者解決重復問題，那么可以合理地期望機器學習系統能夠使數據的快速配置和原型制作成為可能。簡而言之，數據管道應該是機器學習系統棧中的一等公民 - 它們不應該是作為附加工具支持模型和計算的事后考慮。本章其余部分的組織結構如下。首先，我們概述機器學習系統是如何構建和評估的（§1.1）。然后，我們概述機器學習中的工作負載是如何發生根本性變化的，這使得社區分裂成兩個部分（§1.2），并激勵對機器學習系統進行根本不同的處理。然后我們轉向論文的動機，重新審視數據在當前機器學習環境中的重要性（§1.3）。最后，我們介紹論文陳述并概述本文的章節（§1.4）。熟悉當前機器學習和機器學習系統狀態的讀者可以跳過第1.1節和第1.2節的“教科書材料”，并直接前往第1.3節。

本文的目的是表明，研究機器學習系統中潛在的組成和函數結構使我們能夠更好地理解它們。本文探索了機器學習許多子領域的范疇理論表述，包括優化、概率、無監督學習和有監督學習。本文首先研究了當用一般的范疇理論結構取代梯度時，各種優化算法的行為。證明了這些算法的關鍵性質在非常寬松的假設下是成立的，并通過數值實驗證明了這一結果。本文還探索了動態系統的范疇論視角，使我們能夠從簡單操作的組成中構建強大的優化器。其次，從范疇理論的角度研究了概率建模與梯度優化之間的關系;本文從這個角度來研究最大似然估計如何在從統計模型到監督學習算法的轉換中保持某些關鍵結構。

//ora.ox.ac.uk/objects/uuid:ec72e338-d95e-4bd6-9412-7ac76b7ddc15

接下來，我們從函數的角度來研究無監督學習。我們基于非監督學習算法的函式表示的范疇論性質，開發了非監督學習算法的分類法，并證明了這些分類法是算法行為的預測。用這個視角推導出了一系列用于聚類和流形學習的新無監督學習算法，并證明了這些新算法在真實世界數據上可以優于常用的替代算法。還用這些工具證明了關于流行的無監督學習算法的行為和局限性的新結果，包括細化界限和在噪聲面前的穩定性。最后，轉向監督學習，并證明數據科學和機器學習中許多最常見的問題都可以表示為Kan擴展。本文用這個角度推導出新的分類和監督聚類算法。同時在真實數據上對這些算法的性能進行了測試。

多人工智能任務的改進。隱變量模型提供了一個優雅的框架，以新的功能來增強生成算法。然而，在自然語言處理領域，尚不清楚如何最好地將潛變量與強大且無處不在的語言模型相結合。

本文探索先進的優化方法和潛變量模型的設計，以完成自然語言處理任務。全文共分為三個部分。在第一部分中，我們提出了隱變量語言模型的三種結構。本文討論了結構化的潛空間，可以結構化為大型知識庫(如維基百科)或以潛文本生成過程為特征。在第二部分中，我們深入研究變分推理和優化的主題。本文提出一種新的離散潛變量梯度估計器OVIS。我們發現，即使使用OVIS，優化深度潛變量模型仍然具有挑戰性。本文根據經驗數據表明，Rényi散度變分推理可以應用于規避一些學習問題。在第三部分中，我們重點解決醫療問答和信息檢索任務。實驗提示預訓練大型語言模型(GPT-3)生成逐步的問題解決方案。本文報告稱，在許多情況下，GPT-3可以推理具有挑戰性的醫學問題。提出了一個新的框架VOD，用于用變分推理學習檢索增強語言模型。本文應用VOD來優化由大量維基百科增強的問答系統，并報告了在醫療問答基準上的最先進性能。最后，將得到的模型應用于罕見病診斷領域的信息檢索任務。

本文介紹了在一系列背景下進行因果參數推理的程序，包括觀察性研究、完全隨機化設計、配對實驗和協變量自適應設計。首先，我們討論了凸優化在匹配觀測研究中進行方向推斷和靈敏度分析的應用。我們設計了一種算法，使信噪比最大化，同時考慮了未觀察到的混雜。我們分析算法輸出的漸近分布行為，以發展因果效應的漸近有效假設檢驗。由此產生的程序在廣泛的程序類上達到最大的設計靈敏度。其次，我們研究了特征信息在完全隨機實驗中對效應進行高精度推斷的作用。本文構建了一種基于線性回歸的校正技術，該技術構造了估計量的漸近方差的上界。該校準程序適用于任何可能是半參數有效的填補估計器，并自動證明所產生的非線性回歸調整估計器至少與均值之差一樣漸近精確;在模型錯誤規范下，非線性回歸調整估計器先前沒有保證的一個特性。第三，我們引入了高斯預軸:一種構建檢驗統計量的算法技術，即使在零中違反隨機化假設的對稱性時，隨機化推理仍保持漸近有效。我們證明了基于預軸統計量的隨機化檢驗在銳利的零值下是有限樣本精確的，而在弱零值下它們漸近地控制了錯誤拒絕的概率。這允許形成具有同聲傳譯的處理效應的置信區域，作為齊次相加處理效應的精確置信區域和異質相加處理效應的漸近置信區域;從而統一費雪和內曼推理的許多實驗設計，包括重隨機實驗。第四，我們構建了重采樣算法的嵌套層次結構，該算法利用了超總體、固定協變量和有限總體模型中的概率結構，以促進完全隨機設計中各種統計數據的非參數推斷。重采樣算法通過利用回歸調整和最優傳輸的現代結果擴展了經典的自舉范例，在固定協變量和有限人口模型下實現了顯著的增益。

多模態數據融合是將不同的數據源集成到一個適用于復雜推理的共享表示的過程。因此，人們可以對潛在現象做出比單獨使用每個數據源更精確的推論。在論文中，我們采用貝葉斯觀點的多模態數據融合，它將推理定義為對潛在變量的后驗推理。在貝葉斯設置中，我們提出了一種新的數據集成方法，我們稱之為輕量級數據融合(LDF)。LDF解決了數據源子集的正向模型未知或特征不佳的情況。LDF利用剩余的數據源學習適合后驗推斷的逆模型，該模型結合了這兩種類型的數據。此外，我們開發了分層Dirichlet過程(mmHDPs)的多模態擴展，其中，與LDF的設置相比，我們缺乏跨模態的觀察級對應，數據來自隱式潛在變量模型。最后，我們為Dirichlet過程和HDP混合模型開發了一種新穎的表示，可以在推理過程中實現并行化，并擴展到更復雜的模型，包括mmHDPs。

我們解決數據融合的問題，即從多個數據源學習。我們考慮了幾個具體的挑戰:例如，某些數據源可能缺乏特征良好的正向模型，或者底層模型的復雜性可能未知。我們采用貝葉斯視角，將數據融合問題視為對潛在變量結構的后驗推斷，并允許進行各種分析，包括不確定性量化、優雅地處理缺失數據和模型檢查。然而，貝葉斯推斷也提出了自己的挑戰。后驗推斷的常見方法不適應缺乏前向模型或難以適應大數據集的觀察模式。

本論文的一個重要重點是開發能夠實現高效和并行的后驗推理的表示。我們特別關注多模態數據融合中的兩個明顯挑戰。首先，當一個或多個觀察模態缺乏特征良好的前向模型，并且我們也缺乏明確標記的訓練數據，從而允許直接學習前向模型時，我們考慮學習。在這里，我們使用了來自不同模態的數據，它具有一個特征良好的正態模型，與未校準的數據一起出現。我們提出了一種方法，該方法使用具有良好校準數據的聯合觀測來學習一種模態的逆模型。其次，我們試圖從多種測量模態中學習，其中跨模態的觀察之間的直接對應是不可用的。我們利用不同模態的數據組之間的對應關系來揭示共同表示。在這里，我們開發了層次Dirichlet過程(HDP)混合模型的擴展，將不同的模態表示為子文檔。本文解決了這兩個問題，并開發了一種新的Dirichlet過程(DP)和HDP混合模型的表示，從而產生了一個并行推理過程。

在第三章中，我們提出了輕量級數據融合(LDF)。LDF是一種基于多源數據的貝葉斯推理新方法，其中一些源缺乏已知的正演模型。雖然與論文中的其他章節略有不同，但LDF確實解決了多模態數據融合中的一個常見挑戰。LDF的一個核心組成部分是它將未校準的數據源簡化為一組描述后驗分布的信息統計數據。我們為一般的模型結構制定了LDF，并表明我們的構造導致了有效的推理和一個易于處理的學習過程，具有吸引人的信息理論屬性。LDF使用具有已知可能性的數據類型來幫助學習如何對具有未知可能性的數據類型設置條件。

在第四章中，我們開發了一種新的DP和HDP混合模型的表示，這對設計高效的推理程序有重要的意義。在本章中，我們假設數據的正向模型是已知的，與第3章不同;我們將使用在第5章中開發的方法。特別地，我們引入了DP和HDP混合模型的聚合表示，它們既有被實例化的顯式原子，也有被聚合成未實例化組件的隱式原子。未實例化組件是延遲實例化Gibbs采樣器的核心，它允許并行執行許多采樣操作。

我們在第5章中介紹了DP和HDP混合模型的擴展，它可以容納多個數據源，并允許學習聯合依賴。在第4章中，我們假設數據的正向模型是已知的。本章使用底層的泊松過程表示定義了多模態DP和HDPs，并將它們用作混合模型的基礎。所得到的模型可以被視為所有模態的聯合措施，也可以被視為適用于單個模態的邊際隨機措施。我們提供了這些模型的幾種特征，指定了折疊推理過程，并使用第4章中的延遲實例化開發了一個并行推理過程。

圖是數據和系統表示的強大工具。許多類型的復雜和高度結構化的數據都可以用圖表示，比如社交網絡、計算機網絡和分子。圖還可以用來表示計算機系統，例如分布式存儲網絡和對等通信網絡。在本論文中，我們討論了處理大規模圖數據和使用圖來設計更好的系統的方法。

我們首先討論兩種處理大規模圖數據的方法。雖然它們非常強大，但圖數據集對其處理和存儲提出了獨特的挑戰。圖神經網絡(GNNs)是將深度學習應用于圖結構數據的一種有效方法。但是，由于圖的互連和高度結構化的特性，訓練GNN的計算可能非常昂貴。研究了一種提高GNN訓練效率的分層聚合方法。另一種理解圖數據集的方法是檢查小的、重復的模式的頻率。我們提出了時間活動狀態塊模型(Temporal Activity State Block Model)，這是一種用于計算時間圖中預期母題頻率的分析模型，它增加了邊在大時間跨度內到達的復雜性。

接下來我們將介紹兩種應用圖來設計更好系統的方法。在分布式存儲系統中，在服務器故障的情況下，通常需要使用冗余存儲數據，而在何處以及以何種頻率創建這種冗余的設計可以表示為一個圖問題。部分重復(FR)代碼是一種用于實現這一目的的方法，旨在最大化存儲容量，同時確保故障節點可以通過從幸存節點發送替換數據來替換。我們提出了負載平衡的分數重復碼，這是FR碼的加強，有額外的保證，如何迅速地更換失敗的節點。接下來我們考慮在對等網絡中發送消息的問題。這個問題可以用一個圖來表示哪個對等點擁有另一個對等點想要的數據。索引編碼是一種設計從中央服務器到一組接收器的客戶端通信的方法。我們將這種方法應用于點對點模型，并引入和研究了嵌入索引編碼。

//searchworks.stanford.edu/view/14230534

常見的圖像編輯方法側重于低級特征。在本論文中，我利用機器學習使圖像編輯在更高的概念層次上運行。從根本上說，所提出的方法旨在通過結合通用的視覺知識，從可能被編輯的信息中提取出必須在編輯過程中維護的視覺信息。因此，新方法可以以人類可理解的方式轉換圖像，比如將一個物體轉換為另一個物體，將照片程式化到特定藝術家的畫作中，或將日落加到白天拍攝的照片中。我們探索在不同的設置和不同數量的監督設計這樣的方法: 逐像素標簽，逐圖像標簽，和沒有標簽。首先，利用逐像素監督，我提出了一種新的深度神經網絡架構，可以從場景布局和可選目標風格合成逼真的圖像。其次，使用每個圖像監督，我探索了域翻譯的任務，其中一個類的輸入圖像被轉換為另一個類。最后，我設計了一個框架，可以從一組未標記的圖像中發現結構和紋理的分離操作。我們在廣泛的應用中提供令人信服的視覺效果，包括交互式照片繪圖工具、對象變形、虛擬和真實環境之間的域間隙減少，以及圖像紋理的逼真操作

圖神經網絡為根據特定任務將真實世界的圖嵌入低維空間提供了一個強大的工具包。到目前為止，已經有一些關于這個主題的綜述。然而，它們往往側重于不同的角度，使讀者看不到圖神經網絡的全貌。本論文旨在克服這一局限性，并對圖神經網絡進行了全面的綜述。首先，我們提出了一種新的圖神經網絡分類方法，然后參考了近400篇相關文獻，全面展示了圖神經網絡的全貌。它們都被分類到相應的類別中。為了推動圖神經網絡進入一個新的階段，我們總結了未來的四個研究方向，以克服所面臨的挑戰。希望有越來越多的學者能夠理解和開發圖神經網絡，并將其應用到自己的研究領域。

導論

圖作為一種復雜的數據結構，由節點(或頂點)和邊(或鏈接)組成。它可以用于建模現實世界中的許多復雜系統，如社會網絡、蛋白質相互作用網絡、大腦網絡、道路網絡、物理相互作用網絡和知識圖等。因此，分析復雜網絡成為一個有趣的研究前沿。隨著深度學習技術的快速發展，許多學者采用深度學習體系結構來處理圖形。圖神經網絡(GNN)就是在這種情況下出現的。到目前為止，GNN已經發展成為一種流行和強大的計算框架，用于處理不規則數據，如圖形和流形。

GNN可以通過層次迭代算子學習任務特定的節點/邊/圖表示，從而利用傳統的機器學習方法執行與圖相關的學習任務，如節點分類、圖分類、鏈路預測和聚類等。盡管GNNs在圖形相關學習任務上取得了很大的成功，但他們仍然面臨著巨大的挑戰。首先，圖數據結構的復雜性給大型圖數據帶來了昂貴的計算代價。其次，擾動圖結構和/或初始特征會導致性能急劇下降。第三，wesfeiller - leman (WL)圖同構檢驗阻礙了GNNs的性能提升。最后，GNN的黑盒工作機制阻礙了將其安全部署到實際應用中。

本文將傳統的深度體系結構推廣到非歐氏域，總結了圖神經網絡的體系結構、擴展和應用、基準和評估缺陷以及未來的研究方向。到目前為止，已經對GNN進行了幾次調查。然而，他們通常從不同的角度、不同的側重點來討論GNN模型。據我們所知，關于GNN的第一次調查是由Michael M. Bronstein等人進行的。Peng Cui等[2]從三個方面綜述了應用于圖形的各種深度學習模型: 包括圖卷積神經網絡在內的半監督學習方法，包括圖自動編碼器在內的非監督學習方法，以及包括圖循環神經網絡和圖強化學習在內的最新進展。本研究側重于半監督學習模型，即空間圖和光譜圖卷積神經網絡，而對其他兩個方面的研究相對較少。由于篇幅有限，本調查只列出了GNNs的幾個關鍵應用，但忽略了應用的多樣性。孫茂松等人[3]從圖類型、傳播步驟和訓練方法三個方面詳細回顧了光譜和空間圖卷積神經網絡，并將其應用分為結構場景、非結構場景和其他場景三種場景。然而，這篇文章沒有涉及其他GNN架構，如圖形自動編碼器，圖形循環神經網絡和圖形生成網絡。Philip S. Yu等人[4]對圖神經網絡進行了全面的調查，并調查了可用的數據集、開源實現和實際應用。然而，對于每個研究主題，他們只列出了少量的核心文獻。Davide Bacciu等人[367]溫和地介紹了圖形數據的深度學習領域。本文的目的是介紹為圖數據構造神經網絡的主要概念和構建模塊，因此它沒有對最近的圖神經網絡工作進行闡述。

值得注意的是，上述所有調研都不涉及GNN的能力和可解釋性、概率推理和GNN的組合以及對圖的對抗攻擊。本文從架構、擴展和應用、基準測試和評估缺陷、未來研究方向四個方面為讀者提供了GNN的全景圖，如圖1所示。對于GNNs的結構，我們研究了圖卷積神經網絡(GCNNs)、圖池算子、圖注意機制和圖循環神經網絡(GRNNs)等方面的研究。通過對上述體系結構的集成，實現了GNNs的擴展和應用，展示了一些值得關注的研究課題。具體來說，這一視角包括深度圖表示學習、深度圖生成模型、概率推理(PI)和gnn的組合、GNN的對抗攻擊、圖神經結構搜索和圖強化學習和應用。綜上所述，本文對GNNs進行了完整的分類，并對GNNs的研究現狀和發展趨勢進行了全面的綜述。這些是我們與上述調查的主要不同之處。

我們的主要貢獻可以歸結為以下三個方面。

1. 我們提出了一種新的GNN分類方法，它有三個層次。第一個包括架構、基準測試和評估缺陷以及應用程序。體系結構分為9類，基準測試和評估缺陷分為2類，應用程序分為10類。此外，圖卷積神經網絡作為一種經典的GNN體系結構，又被分為6類。

2. 我們提供了GNN的全面回顧。所有的文獻都屬于相應的類別。希望讀者通過閱讀本概覽，不僅了解GNNs的全貌，而且了解GNNs的基本原理和各種計算模塊。

3.根據目前GNNs所面臨的挑戰，我們總結了未來四個研究方向，其中大部分在其他研究中沒有提及。希望通過克服這些挑戰，使GNNs的研究進入一個新的階段

未來研究方向：

盡管GNNs在許多領域取得了巨大的成功，但仍存在一些有待解決的問題。本節總結了GNNs未來的研究方向。

• 高度可伸縮的GNN。現實世界的圖通常包含數億個節點和邊，并具有動態演化的特征。事實證明，現有的GNN架構很難擴展到巨大的真實世界圖。這促使我們設計高度可伸縮的GNN架構，能夠高效和有效地學習節點/邊/圖表示為巨大的動態演化圖。

• 健壯的GNN。現有的GNN架構容易受到對抗性攻擊。也就是說，一旦輸入圖的結構和/或初始特征受到攻擊，GNN模型的性能就會急劇下降。因此，我們應該將攻擊防御機制整合到GNN體系結構中，即構建健壯的GNN體系結構，以增強其對抗攻擊的能力。

• GNNs超過WL測試。空間廣義網格網絡的性能受單WL的限制，而高階WL檢驗的計算代價昂貴。因此，在適當的條件下，兩個非同構圖將產生相同的節點/邊/圖表示。這促使我們開發一個超越WL測試的新的GNN框架，或者設計一個優雅的高階GNN架構來對應高階WL測試。

• 可解釋的GNN。現有的GNN在一個黑盒中工作。我們不明白為什么它們在節點分類任務、圖分類任務和圖嵌入任務等方面都能達到如此先進的性能。可解釋性已經成為將GNNs應用于現實問題的一個主要障礙。雖然已有一些研究對某些特定的GNN模型進行了解釋，但它們不能解釋一般的GNN模型。這促使我們為gnn構建一個統一的可解釋框架。