處理具有空間結構、時間依賴性或離散值的復雜數據類型通常是統計學和機器學習領域的一大挑戰。近年來，分析非標準數據類型的方法論和理論工作的需求日益增加，例如，分析收集到的蛋白質結構、基因相互作用、社交網絡或物理傳感器的數據。在這篇論文中，我將提出一種方法，并為分析兩種源于交互現象的離散數據提供理論保證，即時間點過程和圖。一方面，時間點過程是用于模擬事件數據的隨機過程，即作為時間或空間中的離散點出現的數據，在這些點上發生了某種現象。這些離散過程的一些最成功的應用包括在線消息、金融交易、地震和神經元峰值。這些過程之所以流行，主要是因為它們能夠模擬在時間上和空間上相距較遠的事件之間未觀察到的相互作用和依賴關系。然而，點過程的統計方法通常依賴于估計一個潛在的、未被觀察到的、隨機的強度過程。在這種情況下，設計靈活的模型和一致的估計方法通常是一項具有挑戰性的任務。
另一方面，圖是由節點（或代理）和邊（或鏈接）組成的結構，其中邊表示兩個節點之間的交互或關系。圖無處不在，用于模擬現實世界中的社交、交通和流動網絡，其中邊可以對應虛擬交換、地點之間的物理連接或地理區域間的遷移。此外，圖還用于表示時間序列之間的相關性和領先-滯后關系，以及隨機對象之間的局部依賴性。圖是典型的非歐幾里得數據的示例，需要制定適當的距離度量、相似性函數和生成模型。在深度學習社區中，圖在幾何深度學習領域變得特別受歡迎。結構和依賴性都可以通過時間點過程和圖來建模，盡管前者主要作用于時間域，而后者概念化空間交互。然而，一些統計模型結合了圖和點過程，以考慮空間和時間依賴性。例如，時間點過程已被用于模擬時間圖中邊和節點的生成時間。此外，一些多元點過程模型具有一個潛在的圖參數，用于控制過程組件之間的成對因果關系。在這篇論文中，我將特別研究這樣一個模型，稱為Hawkes模型，以及隨時間演變的圖。本論文旨在設計能夠在時間點過程和圖的背景下提供靈活性的推斷方法。這篇手稿以綜合形式呈現，包括四個主要章節和兩個附錄。第2章和第3章致力于研究廣義Hawkes點過程模型中的貝葉斯非參數推斷方法。第2章為現有方法提供理論保證，而第3章還提出、分析和評估了一種新的變分貝葉斯方法。其他主要章節介紹并研究了圖上的兩個估計問題的無模型推斷方法，即第4章的符號圖聚類問題的譜方法，以及第5章的時間圖上的網絡變化點檢測任務的深度學習算法。此外，第1章提供了關于點過程和圖的介紹和背景知識。第6章以對本手稿中的工作進行總結和批判性思考，并提出未來研究的建議來結束這篇論文。最后，附錄包含兩篇補充論文。第一篇位于附錄A，是在2020年3月COVID-19爆發后開始的，是將離散時間的Hawkes模型應用于大流行期間第一波的與COVID-19相關的死亡統計。第二篇工作位于附錄B，是在2021年于Amazon Research實習期間進行的，提出了一種用于多變量時間序列的異常檢測模型的可解釋性方法。
付費5元查看完整內容
相關內容
是一所英國研究型大學，也是羅素大學集團、英國“G5超級精英大學”，歐洲頂尖大學科英布拉集團、歐洲研究型大學聯盟的核心成員。牛津大學培養了眾多社會名人，包括了27位英國首相、60位諾貝爾獎得主以及數十位世界各國的皇室成員和政治領袖。2016年9月，泰晤士高等教育發布了2016-2017年度世界大學排名，其中牛津大學排名第一。
藥物的發現是昂貴、耗時并且科學上具有挑戰性的。為了提高臨床前藥物發現路徑的效率，計算藥物發現方法，尤其是最近的基于機器學習的方法，越來越多地被用作為早期藥物發現的有力工具。 在這篇論文中，我展示了三種互補的計算機輔助藥物發現方法，重點是為了幫助發現新的潛在藥物和優化潛在藥物的性質。此外，這篇論文特別關注用于特征化機器學習模型的不同分子表示方法，以探索如何最好地捕獲關于蛋白質、配體和3D蛋白質-配體復合體的有價值信息，以構建更穩健、更可解釋和更準確的機器學習模型。
首先，我使用高斯過程（GP）開發了基于配體的模型，作為一個簡單易行的工具來指導化學空間的探索，以優化蛋白質-配體的結合親和力。我探索了不同的拓撲指紋和自編碼器表示法進行貝葉斯優化（BO），并表明BO是一個強大的工具，可以幫助藥物化學家優先考慮哪些新化合物用于單目標和多目標優化。當在一個眾所周知的藥物靶標基質金屬蛋白酶-12的基準數據集和一個針對四種細菌金屬-β-內酰胺酶的實際正在進行的藥物優化數據集上進行測試時，該算法實現了對頂級化合物的高度富集。
接下來，我展示了一種基于知識的藥物設計方法，結合新的蛋白質-配體相互作用指紋和基于片段的藥物發現方法，以理解SARS-CoV-2 Mpro-底物的特異性并在硅內設計新的小分子抑制劑。結合基于片段的藥物發現方法，我展示了這種基于知識的相互作用指紋驅動的方法如何揭示有成果的片段增長設計策略。
最后，我擴展了基于知識的接觸指紋，創建了一個配體形狀的分子圖表示法（蛋白質配體相互作用圖，PLIGs），以開發新的基于圖的深度學習蛋白質-配體結合親和力評分函數。PLIGs在圖的節點特征中編碼了蛋白質-配體復合物中的所有分子間相互作用，因此它們是簡單且完全可以解釋的。我探索了與PLIGs結合的各種圖神經網絡架構，并發現圖注意網絡比其他GNN架構略微優越，其性能與最知名的蛋白質-配體結合親和力評分函數相媲美。
付費5元查看完整內容
醫學影像是醫療健康中的重要工具，放射科醫生經過高度培訓，能夠在醫學圖像中檢測和描述疾病。然而，僅依賴人類的分析有其局限性：它可能耗時、變化大且難以擴展。自動化部分醫學圖像分析流程可以克服這些局限性，以支持和擴展臨床醫生和放射科醫生的能力。在本文中，我們將重點研究深度學習在自動化醫學圖像分析中可能起到的轉變性角色。我們將分割視為基于深度學習的圖像分析的關鍵工具，并展示了如何在沒有大量手動注釋訓練數據集的情況下，分割神經網絡可以在許多醫學圖像分析任務上實現高性能。
我們首先描述了兩種在標簽數據有限的情況下訓練醫學圖像分割神經網絡的方法。在我們的第一種方法中，我們將弱監督適應于分割。在我們的第二種方法中，我們將數據增強、一致性正則化和偽標簽融合在一個統一的半監督流程中。這些方法將多種有限標簽訓練方法融入到同一框架中，利用每種方法的優點實現高性能，同時保持標簽負擔低。接下來，我們評估了在多機構、多掃描儀、多疾病數據集上使用有限標簽數據訓練的網絡在臨床相關指標上的表現。我們發現，我們的半監督網絡在某些泛化任務上比全監督網絡（訓練數據標簽多100倍以上）表現更好，與人類注釋者的一致性更強。然而，我們發現了標簽效率方法表現不佳的數據子集。我們提出了一種針對我們半監督流程的主動學習擴展，以解決這些錯誤模式，使困難數據切片上的半監督性能提高18.5%。通過這種評估，我們了解了如何使用有限標簽數據訓練的網絡在臨床任務上的表現，它們與使用豐富標簽數據訓練的網絡的比較，以及如何減輕錯誤模式。
最后，我們將標簽高效的分割模型應用到更廣泛的醫學圖像分析任務中。具體來說，我們展示了分割如何以及為什么可以使醫學圖像分類受益。我們首先分析了為什么在同一數據集和任務上，分割模型和分類模型可能達到不同的性能。然后，我們實現了使用分割模型對醫學圖像進行分類的方法，我們稱之為"以分割為分類"，并將這些方法與三個回顧性數據集上的傳統分類進行比較。最后，我們利用我們的分析和實驗總結了與標準分類相比，使用"以分割為分類"的優點，包括：改善樣本效率，能夠在標簽圖像更少的情況下（少一個數量級）提高性能，在低發病率類別和某些罕見子組中（最高提高161.1%的召回率）；提高對假相關的魯棒性（最高提高44.8%的魯棒AUROC）；以及提高模型的可解釋性，評估和錯誤分析。這些結果表明，利用分割模型可以在常見設置中導致更高質量的醫學圖像分類器。總的來說，本文聚焦于將分割作為支持自動化醫學圖像分析的關鍵工具，并展示了如何訓練分割網絡，在沒有大量標簽負擔的情況下，在許多圖像分析任務上實現高性能。
付費5元查看完整內容
本文主要研究具有復雜時空結構的數據，以及以可解釋和可擴展的方式學習該結構的概率圖模型。**本文針對兩個感興趣的研究領域:張量變量數據的高斯圖模型，以及使用主題模型對復雜時變文本進行摘要。**這項工作在幾個方向上推進了最先進的技術。首先，通過Sylvester張量方程引入一類新的張量變量高斯圖模型;其次，開發了一種基于快速收斂的鄰近交替線性化最小化方法的優化技術，將張量變量高斯圖模型估計擴展到現代大數據設置。第三，將克羅內克結構(逆)協方差模型與時空偏微分方程(PDEs)連接起來，并引入一種新的能夠跟蹤混沌物理系統的集合卡爾曼濾波框架。提出了一種模塊化和可解釋的框架，用于時變數據的無監督和弱監督概率主題建模，將生成統計模型與計算幾何方法相結合。通過使用真實數據集來考慮該方法的實際應用。這包括使用腦電圖數據進行腦連接分析，使用太陽成像數據進行空間天氣預測，使用Twitter數據進行公眾意見的縱向分析，以及使用TalkLife數據進行心理健康相關問題的挖掘。在每種情況下，本文都表明本文介紹的圖建模框架可以提高可解釋性、準確性和可擴展性。
付費5元查看完整內容
隨著我們構建能夠與周圍真實世界互動的新人工智能技術，從多種模態學習的問題占據了中心舞臺。從醫療保健、教育到通信等應用，越來越多地依賴多種模態已被證明是更準確地感知和處理我們周圍世界的一個獨特因素。在這篇論文中，我們關注在現實世界中學習多模態表示的問題。我們概述了多模態機器學習的三個主要挑戰，并采取具體步驟來解決它們。首先，我們解決了局部融合的挑戰，重點是學習跨模態動力學，包括語言、視覺和聽覺(我們周圍最常見的三種模態)之間的單模態、雙模態和三模態交互作用。隨后，我們躍進到時間融合，其中局部融合挑戰擴展到時間域。時間融合需要模式之間的對齊，這和學習跨模式動力學一樣重要。隨后，第三個挑戰涉及的事實是，在現實世界中，多模態數據幾乎總是部分可見的。我們擴展了變分推理(VI)的功能，以處理甚至是最極端的缺失率和缺失模式的情況。在本文深入研究這些挑戰的過程中，我們對多模態機器學習做出了算法、理論和經驗貢獻。
本論文研究了語言、視覺和聲學模態的多模態學習面臨的三大挑戰： 局部融合挑戰涉及模態間復雜的跨模態交互建模。 時間融合挑戰涉及建模可能存在于順序模式之間的異步數據 丟失數據挑戰涉及建模真實世界部分可觀測的多模態數據
付費5元查看完整內容
因子分解模型
·
互聯多模態信息源的日益可用性推動了推薦系統的新概率模型的開發，該模型利用關系數據中的上下文。因此，我們尋求整合上下文信息，以預測用戶的信息需求。在這篇論文中，我們關注一組將上下文信息建模到因子化模型的技術，特別是使用隱式反饋(如事件計數)的模型。此外，我們提出了這些模型的分析工具，提高了我們尋找合適超參數的能力。為了將計數(例如，頁面中的點擊次數)建模為隱式用戶反饋，我們選擇使用泊松分解作為構建塊。然后，我們開發了兩個泊松分解模型，其中包括社會網絡、項目文本內容和作為上下文信息的周期時間事件，并將其合并到一個聯合矩陣和張量分解模型中(第3章和第4章)。我們開發了一個聯合層次遞歸神經網絡和一個時間點過程模型來解決多會話推薦的問題，我們觀察項目的序列分組到會話序列中，并創建了一個能夠提供itens推薦和下一次會話時間預測的模型(第5章)。我們利用并開發了一種基于先驗預測分布的方法，該方法允許我們設置泊松因子分解模型的超參數，而不需要將模型與數據擬合，(第6章)這里的一個相關結果是泊松因子分解模型中潛在空間維度的一個封閉形式方程。一般來說，我們將這項工作定位為在推薦系統的背景下利用多關系和計數數據作為上下文信息的信號的概率建模的貢獻，貢獻范圍包括模型設計、分析和超參數選擇。
付費5元查看完整內容
常見的圖像編輯方法側重于低級特征。在本論文中，我利用機器學習使圖像編輯在更高的概念層次上運行。從根本上說，所提出的方法旨在通過結合通用的視覺知識，從可能被編輯的信息中提取出必須在編輯過程中維護的視覺信息。因此，新方法可以以人類可理解的方式轉換圖像，比如將一個物體轉換為另一個物體，將照片程式化到特定藝術家的畫作中，或將日落加到白天拍攝的照片中。我們探索在不同的設置和不同數量的監督設計這樣的方法: 逐像素標簽，逐圖像標簽，和沒有標簽。首先，利用逐像素監督，我提出了一種新的深度神經網絡架構，可以從場景布局和可選目標風格合成逼真的圖像。其次，使用每個圖像監督，我探索了域翻譯的任務，其中一個類的輸入圖像被轉換為另一個類。最后，我設計了一個框架，可以從一組未標記的圖像中發現結構和紋理的分離操作。我們在廣泛的應用中提供令人信服的視覺效果，包括交互式照片繪圖工具、對象變形、虛擬和真實環境之間的域間隙減少，以及圖像紋理的逼真操作
付費5元查看完整內容
在過去的20年里，基因組學、神經科學、經濟學和互聯網服務等許多領域產生了越來越多的大數據集，這些數據集有高維、大樣本，或者兩者兼之。這為我們從數據中檢索和推斷有價值的信息提供了前所未有的機會。同時，也對統計方法和計算算法提出了新的挑戰。一方面，我們希望建立一個合理的模型來捕獲所需的結構，并提高統計估計和推斷的質量。另一方面，面對越來越大的數據集，計算可能成為一個巨大的障礙，以得出有意義的結論。這篇論文站在兩個主題的交叉點，提出了統計方法來捕獲所需的數據結構，并尋求可擴展的方法來優化計算非常大的數據集。我們提出了一種可擴展的靈活框架，用于利用lasso/elastic-net解決大規模稀疏回歸問題; 提出了一種可伸縮的框架，用于在存在多個相關響應和其他細微差別(如缺失值)的情況下解決稀疏縮減秩回歸問題。分別在snpnet和multiSnpnet R包中以PLINK 2.0格式為基因組數據開發了優化的實現。這兩種方法在超大和超高維的英國生物樣本庫研究中得到了驗證，與傳統的預測建模方法相比有了顯著的改進。此外，我們考慮了一類不同的高維問題，異質因果效應的估計。與監督學習的設置不同，這類問題的主要挑戰在于，在歷史數據中，我們從未觀察到硬幣的另一面，因此我們無法獲得處理之間真正差異的基本真相。我們提出適應非參數統計學習方法，特別是梯度增強和多元自適應回歸樣條，以估計處理效果的預測器可用。實現被打包在一個R包causalLearning中。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191