亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

人類智能的一個重要方面是能夠從簡單的想法中組合出越來越復雜的概念，從而實現快速學習和知識的適應。盡管目前的AI系統表現出色，但在這一領域卻有所欠缺，通常無法解決超出其訓練分布范圍的任務。本論文的工作旨在通過將組合性納入深度神經網絡來彌補這一差距，從而增強它們解決新穎和復雜任務的能力，例如根據復雜的規范生成2D圖像和3D資產，或使仿人代理執行多種家庭活動。這篇論文的影響深遠，因為組合性在生物學、機器人技術和藝術制作等領域有眾多應用。通過顯著提高AI系統的組合性能力，這項研究將為不同研究領域中更高效的數據和更強大的模型鋪平道路。

"組合性是現代AI系統所缺少的人類智能的一個關鍵方面。構建概念的能力：結合模式、思想和子目標來構建對世界的結構化表示，然后通過操縱個別組成部分來推理世界，體現在關鍵的認知能力中。人類可以將個別觀察結果融入復雜的知識和信念結構中，對復雜計劃進行小范圍的針對性調整，想象基本情景的替代方案，并創造出受現有作品啟發的新技術或藝術。此類組合能力在AI系統中基本上尚未實現，但實現這一點可能是解鎖主要AI能力（如持續學習、可控和穩健行為、高級規劃、反事實推理和更強大的泛化）的關鍵之一。 本論文專注于開發表現出組合能力的神經網絡，以解決廣泛的任務，如圖像生成、問題回答、數學推理、機器人操控和體現決策。目標是使網絡能夠解決在訓練過程中未曝露的概念、目標或技能組合的任務。 我們對組合AI的研究涵蓋以下兩個軸心：先驗知識和組合結構。先驗知識描述了模型在培訓過程中學習的基本概念和能力集合。在大量數據上訓練的大型深度學習模型[131, 125, 13]包含豐富的先驗知識，但它們缺乏實現組合性的另一個關鍵組成部分——組合結構。為了構建組合結構，我們提出了組合算子來組合基本概念。將組合算子應用于預訓練模型，使我們能夠顯著提高AI系統的組合生成能力。

本論文的前兩部分介紹了如何構建組合結構。第一部分：構思概念和目標：我們開發了可以組合概念或目標以產生高度可控和復雜、細致行為的神經網絡。第二部分：模型組合：我們組合來自不同領域的預訓練模型，以在沒有任何訓練或微調的情況下產生強大的跨模態能力。在第三部分：轉移組合性中，我們介紹了如何通過從預訓練模型轉移知識來以數據高效的方式實現先驗知識。"

神經網絡自動化了在計算機上表示對象及其關系的過程，包括從家庭用品到分子的一切。通過將不同實例轉換為共享的表示空間來獲得新的表示，其中數據的變化可以使用簡單的幾何量度量，如歐幾里得距離。本論文研究了這一空間的幾何結構及其對學習過程關鍵屬性的影響，包括獲得新技能所需的數據量、預測何時會失敗，以及學習的計算成本。我們檢驗了神經網絡表示的幾何結構的兩個基礎方面。 第一部分設計并研究了考慮到數據在表示空間中的位置的學習算法。專注于對比自監督學習，我們設計了a) 困難實例采樣策略和b) 控制模型學習哪些特征的方法。每種方法都在關鍵特性上產生了改進，如訓練速度、泛化和模型可靠性。

第二部分研究了如何使用非歐幾里得幾何來構建尊重物理數據中出現的對稱性和結構的網絡架構，為學習提供了強大的歸納偏差。具體來說，我們使用諸如實射影平面和光譜體這樣的幾何空間來構建a) 能夠尊重特征向量對稱性的可證明強大的神經網絡，這對于在圖結構數據上構建變壓器是重要的，以及b) 解決圖上的組合優化問題的神經網絡，如尋找大團或小割，這些問題在分子工程和網絡科學中出現。

計算機上對世界觀察的描述影響了計算問題解決過程的所有部分。因此，發現更適合簡單計算過程的描述或表示，幾十年來一直是計算科學進步的一個關鍵且持續的驅動力。與所有其他計算過程一樣，人工智能系統提取和使用的數據表示方式對其行為產生了關鍵影響，例如獲得新技能所需的數據量、預測何時會失敗，以及其學習的速度。

然而，現代基于深度學習的人工智能系統最重要的優勢之一是它們能夠處理基本的感知輸入，如圖像的單個像素，并在內部決定保留哪些來自像素級特征的信息，以及丟棄哪些。

除了自動化表示獲取之外，深度學習系統的另一個關鍵優勢是能夠在單一、連貫的空間中表示不同的數據點。例如，生活在極大的、高維空間中的圖像（例如，免疫組織化學圖像通常大小為1024×1024×3或更大）被轉換為相對較小、緊湊的幾千維空間。這種表示空間允許數據之間的比較，而這個空間的幾何屬性，如距離、方向和角度，不僅捕捉單個對象，還捕捉對象之間的關系。

然而，這種幾何性質通常是浮現的。也就是說，它不是直接學習的，而是作為使用低粒度監督（如類標簽）的端到端系統中的一個中間步驟學習的。這篇論文的目標是探索更明確編程這種幾何性質的思路、方法和新方向。通過明確處理，希望能夠更大程度地控制表示空間的屬性，使得使用這個空間來推理世界變得更加容易。 這篇論文有兩個主要部分。第一部分研究對比表示學習，這是一種學習歐幾里得結構表示的通用框架。本部分從第二章開始，概述了貫穿整篇論文的對比學習的一般介紹。然后，第三章提出以下問題：對比學習的負樣本應該如何生成？負樣本是對比學習中兩個關鍵設計選擇之一，但大多數以前的負樣本采樣方法都是簡單的，例如，隨機均勻采樣。我們引入了根據它們在表示空間中的位置采樣負樣本的技術。通過以位置依賴的方式采樣負樣本，我們能夠生成更有信息量的樣本，加速學習并提高最終表示空間的質量，以用于下游任務。在第四章中，我們更仔細地檢查對比學習模型實際編碼了哪些輸入數據特征——在許多可能性中。不出所料，我們展示了正負樣本的生成方式影響特征學習，并概述了理解這種關系的直觀方法。更令人驚訝的是，我們還發現調整采樣的明顯方法——例如，調整負樣本的難度——并沒有帶來明確的勝者。不同的采樣方法在某些下游任務上表現更好，在其他任務上表現更差。作為回應，我們探索了使用表示空間幾何性質修改樣本的新原則。我們的隱式特征修改方法擾亂嵌入，以去除用于解決對比任務的任何特征，然后要求模型使用新特征重新解決對比任務。這迫使模型尋找新的和不同的特征來使用，從而鼓勵模型不忽略它之前可能忽略的輸入數據的某些方面。 第五章退一步重新考慮表示空間應該具有的結構。除了編碼數據之間的相似性，第五章還論證了將數據的復雜變換編碼為嵌入空間中的可預測、簡單變換也是有價值的。具體來說，我們引入了一種訓練方法，該方法強制數據的增強——裁剪、旋轉等——對應于球形嵌入空間的正交變換。我們發現我們的方法導致了改進的下游性能，以及對其他對比方法不敏感的數據特征的增加敏感性。

本節的最后一章，第六章，探討了大規模的對比學習。隨著模型參數和數據集大小擴展到數億甚至數十億，考慮模型性能的擴展不僅僅是重要的，還有訓練它們的成本。性能可靠地擴展，但成本增長過快的訓練方法最終會輸給性能增長更慢，但成本增長更慢的方法。由于對比學習在大規模時相對昂貴，因為它使用了每個批次樣本的兩個完整副本。另一個重新出現的訓練方法——掩碼自編碼器（MAE）——非常高效，因為它只使用每個批次樣本的25%的一個副本，但性能相對較差，特別是對于少樣本的下游任務。我們的貢獻是引入了CAN，一種對比學習和MAE的混合體，享有更好的效率-性能權衡。與對比學習相比，它的成本降低了70%，同時性能優于對比學習和MAE。對CAN的一個重要解釋是幾何的：MAE學習了強大的嵌入，但由于它具有非線性的視覺變壓器解碼器，這可能輕易地撤銷非線性變換，因此未能以線性可分的方式安排其幾何結構。通過向MAE的嵌入空間添加對比成分（即，在解碼器之前），CAN迫使嵌入之間的歐幾里得距離具有意義，從而大大提高了少樣本性能。

這篇論文的第二部分探索了表示空間幾何性質與問題結構之間的關系。第七章考慮對稱性，特別是特征向量的對稱性（例如，符號對稱性：如果??是特征向量，那么???也是）。特征向量在機器學習中廣泛使用。特別是對于圖上的學習，譜理論多年來為許多問題提供了堅實的數學基礎。這在當今仍然延續，圖的拉普拉斯特征向量被廣泛用作構建圖上變壓器的節點位置編碼。然而，符號對稱性（以及當特征值的重數大于1時出現的更一般的基礎對稱性）是一個問題，因為神經網絡對符號變化不變，因此在輸入數據的不相關變化下不可靠地改變預測。

為了解決這個問題，我們引入了一個符號不變的架構SignNet和一個基礎不變的BasisNet——這些模型內置了特征向量的對稱性。我們的模型在使用拉普拉斯位置編碼時顯著提高了性能，并且在數學上非常強大：SignNet可以近似所有符號不變函數。SignNet的表達能力基于其嵌入空間的幾何結構。我們展示了特征向量的理想空間是空間R??/{?1, +1}，通過將??和???粘合在一起成為一個點，消除了符號歧義。關鍵的是，這個商空間是一個被廣泛研究的流形，稱為實射影平面。使用實射影平面的幾何屬性——特別是，它可以在一個2??維歐幾里得空間中被渲染——我們能夠設計SignNet的各個部分，以便它們始終在歐幾里得空間中處理向量，但這些歐幾里得空間以某種方式連接起來，以反映實射影平面，由此我們得出了普適表達性的結果。對BasisNet的分析也以同樣的方式進行，但使用相應的商空間，即Grassmanian。

本論文聚焦于兩個選定的學習問題：1）圖模型上的統計推斷；2）神經網絡上的梯度下降，共同的目標是定義和分析表征基本限制的度量。

在論文的第一部分，我們考慮了圖上的自旋同步問題，該問題包括基于圖邊緣上它們的交互的噪聲觀察來重構圖頂點上的n個獨立自旋的向量。特別是，我們考慮了帶擦除（BEC）邊信息的同步模型，在這些模型中，一小部分節點的自旋被揭示，并研究了這樣的邊信息如何影響遠距離位點上的自旋的相關性。我們表明，在樹上，當邊緣觀察給出的遠距離位點上的自旋幾乎是獨立的時，那么給出邊緣觀察和邊信息的自旋仍然幾乎是獨立的。我們推測這對任何圖都適用。另一方面，（Kanade等人，2014）推測，在正規樹和Galton-Watson樹上，只要揭示了任何小部分節點標簽，無窮深度處的邊界就無法檢測到根位，即使在重構范圍內也是如此。我們解釋了這如何用于計算具有兩個對稱社區的稀疏隨機塊模型（SBM）的極限熵。最后，我們表明，后一推測不適用于每一棵樹。

在論文的第二部分，我們考慮了用全連接神經網絡上的梯度下降（GD）學習布爾目標函數的問題。我們引入了一個概念，即神經網絡在初始化時與目標函數之間的“初始對齊”（INAL），并證明如果網絡和目標在初始時沒有顯著的INAL，那么在具有i.i.d. 高斯初始化的全連接網絡上的帶噪聲梯度下降無法在多項式時間內學習目標。我們表明，對于用相關性損失訓練的有限深度網絡，結果可以擴展到布爾輸入之外。此外，我們證明，在相似的設置中，泛化誤差可以用目標函數的噪聲穩定性來下界，支持了（Zhang等人，2021）提出的一個推測。

然后，我們展示，在分布轉換設置中，當數據扣留對應于凍結單一特征時，泛化誤差在幾個相關架構上都承認布爾影響的緊密特征。這一點在線性模型上得到了證明，并在其他模型，如MLP和Transformers上得到了實驗支持。特別是，這提出了這樣一個假設，對于這些架構和學習邏輯函數，GD傾向于對低度表示有一個隱性偏好。

最后，我們考慮了一種‘課程學習’（CL）策略，用于學習二進制字符串上的k奇偶校驗。我們表明，一個明智的訓練樣本選擇，涉及兩個或更多的產品分布，允許在d^O(1)時間內用GD訓練的全連接神經網絡學習k奇偶校驗。我們進一步表明，對于另一類函數，即‘漢明混合’，涉及有界數量的產品分布的CL策略不是有益的。

基于圖的學習側重于圖形結構數據的建模。其重要應用包括基于分子結構分析化學化合物、基于輻射傳感器網絡數據預測太陽能農場的產出、根據城市間的地理關系和社交網絡互動預測流行病爆發等。基于圖的學習算法已經迅速發展，解決了以下基本挑戰：

? 編碼圖中每個單獨節點和節點組合的豐富信息，也被稱為圖表示學習挑戰； ? 在圖只部分可觀察時恢復缺失的邊，也被稱為圖完成挑戰； ? 在標記節點非常稀疏的圖形設置中利用主動學習，也被稱為標簽稀疏挑戰； ? 提高在非常大的圖上進行訓練和推斷的可行性，也被稱為擴展挑戰。

本論文旨在通過以下主要貢獻從上述各個方面增強基于圖的機器學習：

• 用于二分圖邊緣預測的圖卷積矩陣分解：對于一類特定的圖，即二分圖，傳統的矩陣分解方法不能有效地利用節點兩組內的相似度測量等邊信息。因此，我們建議使用圖卷積來增強學習到的分解表示與結構化的邊信息，以獲得更好的預測精度。

• 使用圖神經網絡（GNNs）進行通用邊緣預測：雖然GNNs在節點分類中取得了很大成功，但在邊緣預測方面并沒有達到相匹配的性能水平。這種現象的一個可能解釋是GNNs中的潛在嵌入嚴重依賴于輸入節點特征，如果這些輸入特征質量不高，或者對于手頭的預測任務而言噪聲較大，那么就無法避免次優性能。我們建議通過結合使用傳統的GNN和Transformer模型來解決這個問題，這可以通過Transformer模型中的靈活位置嵌入來改進節點的嵌入。

• 用于節點分類的圖增強主動學習（Graph-AL）：主動學習已被深入研究，以解決標簽稀疏問題，并已成功應用于文本/視頻/音頻數據，但沒有應用于圖。流行的主動學習策略可能不適用于圖。例如，基于密度的文檔選擇將所有候選文檔視為不相關的實例，忽略了輸入圖中節點之間的依賴結構。我們提出了第一個專為圖神經網絡量身定制的基于圖的主動學習方法，它同時考慮節點內部特征和節點間連接，以便在主動學習中進行節點選擇。

大規模基于圖的學習的各種實際應用：我們已將基于圖的學習應用于各種實際問題，包括基于多圖的協同過濾，跨語言的基于圖的遷移學習，基于圖的深度學習用于流行病學預測，圖增強節點分類，邊緣檢測和知識庫完成；在這些領域我們分別獲得了最先進的結果（Chang等，2017; Liu等，2017a; Wu等，2018b, c; Xu等，2018b）。

在這篇論文中，我們研究了穩定性的兩個不同方面：神經網絡動態模型的穩定性和強化學習算法的穩定性。在第一章中，我們提出了一種新的學習方法，可以構造出穩定的Lyapunov動態模型，即使在隨機初始化時也是穩定的。我們通過對阻尼多連桿擺進行實驗，展示了這種方法的有效性，并展示了如何用它來生成高保真的視頻紋理。在第二章和第三章中，我們關注強化學習（RL）的穩定性。在第二章中，我們展示了正則化，一種常見的解決不穩定性的方法，在RL環境中的反直覺行為。它不僅有時無效，而且可能導致不穩定性。我們在線性和神經網絡環境中都證明了這種現象。此外，標準的重要性采樣方法也容易受到這種影響。 在第三章中，我們提出了一種通過重新采樣來穩定離策略強化學習的機制。這種方法被稱為投影離策略TD（POP-TD），它將TD更新重新采樣為來自“安全”分布的凸子集，而不是（如在其他重新采樣方法中）重新采樣為在策略分布。我們展示了這種方法如何在一個設計為最大化此類轉換的離線RL任務中緩解分布轉換問題。總的來說，這篇論文提出了動態模型穩定性和強化學習訓練穩定性的新方法，對該領域的現有假設提出了質疑，并指出了模型和強化學習穩定性的有前景的研究方向。

多人工智能任務的改進。隱變量模型提供了一個優雅的框架，以新的功能來增強生成算法。然而，在自然語言處理領域，尚不清楚如何最好地將潛變量與強大且無處不在的語言模型相結合。

本文探索先進的優化方法和潛變量模型的設計，以完成自然語言處理任務。全文共分為三個部分。在第一部分中，我們提出了隱變量語言模型的三種結構。本文討論了結構化的潛空間，可以結構化為大型知識庫(如維基百科)或以潛文本生成過程為特征。在第二部分中，我們深入研究變分推理和優化的主題。本文提出一種新的離散潛變量梯度估計器OVIS。我們發現，即使使用OVIS，優化深度潛變量模型仍然具有挑戰性。本文根據經驗數據表明，Rényi散度變分推理可以應用于規避一些學習問題。在第三部分中，我們重點解決醫療問答和信息檢索任務。實驗提示預訓練大型語言模型(GPT-3)生成逐步的問題解決方案。本文報告稱，在許多情況下，GPT-3可以推理具有挑戰性的醫學問題。提出了一個新的框架VOD，用于用變分推理學習檢索增強語言模型。本文應用VOD來優化由大量維基百科增強的問答系統，并報告了在醫療問答基準上的最先進性能。最后，將得到的模型應用于罕見病診斷領域的信息檢索任務。

從數據中發現隱藏的偏微分方程(PDEs)和算子是機器學習和數值分析之間的一個重要前沿課題。介紹了線性偏微分方程格林函數學習的理論結果和深度學習算法，并對偏微分方程格林函數學習技術進行了嚴格論證。導出了一個理論上嚴格的算法來獲得學習率，它表征了近似學習與橢圓偏微分方程相關的格林函數所需的訓練數據量。該結構通過將隨機奇異值分解擴展到非標準高斯向量和Hilbert-Schmidt算子，利用層次矩陣利用格林函數的低秩層次結構，連接了PDE學習和數值線性代數領域。引入有理神經網絡，由具有可訓練有理激活函數的神經網絡組成。這些網絡的高組成結構，結合有理逼近理論，意味著有理函數比標準激活函數具有更高的逼近冪。此外，有理神經網絡可能具有極點并具有任意大的值，這非常適合逼近具有奇點的函數，如格林函數。最后，結合格林函數和有理神經網絡的理論成果，設計了一種從數據中發現格林函數的人類可理解的深度學習方法。這種方法補充了最先進的PDE學習技術，因為可以從學習到的格林函數中獲得廣泛的物理知識，如主導模、對稱和奇點位置。本文旨在通過將標準數學領域(如數值線性代數、概率和偏微分方程分析)與現代深度學習技術相結合，了解是否可以從數據中發現偏微分方程(PDEs)。我們著重學習與線性偏微分方程相關的格林函數從一對強迫函數和解。推導了挖掘問題規律性的理論邊界，提出了一種實用的深度學習算法。

機器學習模型在有偏差的數據集上訓練時是有偏差的。最近提出了許多方法，以減輕被確定為先驗的偏差。然而，在現實世界的應用中，標注偏差不僅耗時而且具有挑戰性。本論文考慮了三種不同的場景，并提出了學習魯棒模型的新算法。這些算法是有效的，因為它們不需要明確的偏差注釋，從而實現了實用的機器學習。

首先，我們引入了一種算法，該算法對從多個環境中收集的數據進行操作，其中偏差特征和標簽之間的相關性可能會有所不同。我們表明，當使用在一個環境上訓練的分類器對來自不同環境的例子進行預測時，它的錯誤是隱藏偏見的信息。

然后，我們利用這些錯誤來創建一組示例，這些示例的插值結果只具有穩定的相關性。我們的算法在四種文本和圖像分類任務上實現了最新的技術。然后我們考慮無法訪問多個環境的情況，這是新任務或資源有限任務的常見場景。我們證明，在現實世界的應用中，相關的任務往往有類似的偏見。在此基礎上，我們提出了一種算法，從資源豐富的源任務中推斷出偏差特征，并將這種知識轉移到目標任務中。與橫跨5個數據集的15個基線相比，我們的方法始終提供顯著的性能提升。

最后，我們研究了只給出一組輸入標簽對的自動偏差檢測。我們的算法學習分割數據集，使得在訓練分割上訓練的分類器不能泛化到測試分割上。性能差距為測量學習特征的偏差程度提供了一個智能體，因此可以用來識別未知偏差。在六個NLP和視覺任務上的實驗表明，我們的方法能夠產生與人類識別的偏差相關的虛假分裂。

多模態數據融合是將不同的數據源集成到一個適用于復雜推理的共享表示的過程。因此，人們可以對潛在現象做出比單獨使用每個數據源更精確的推論。在論文中，我們采用貝葉斯觀點的多模態數據融合，它將推理定義為對潛在變量的后驗推理。在貝葉斯設置中，我們提出了一種新的數據集成方法，我們稱之為輕量級數據融合(LDF)。LDF解決了數據源子集的正向模型未知或特征不佳的情況。LDF利用剩余的數據源學習適合后驗推斷的逆模型，該模型結合了這兩種類型的數據。此外，我們開發了分層Dirichlet過程(mmHDPs)的多模態擴展，其中，與LDF的設置相比，我們缺乏跨模態的觀察級對應，數據來自隱式潛在變量模型。最后，我們為Dirichlet過程和HDP混合模型開發了一種新穎的表示，可以在推理過程中實現并行化，并擴展到更復雜的模型，包括mmHDPs。

我們解決數據融合的問題，即從多個數據源學習。我們考慮了幾個具體的挑戰:例如，某些數據源可能缺乏特征良好的正向模型，或者底層模型的復雜性可能未知。我們采用貝葉斯視角，將數據融合問題視為對潛在變量結構的后驗推斷，并允許進行各種分析，包括不確定性量化、優雅地處理缺失數據和模型檢查。然而，貝葉斯推斷也提出了自己的挑戰。后驗推斷的常見方法不適應缺乏前向模型或難以適應大數據集的觀察模式。

本論文的一個重要重點是開發能夠實現高效和并行的后驗推理的表示。我們特別關注多模態數據融合中的兩個明顯挑戰。首先，當一個或多個觀察模態缺乏特征良好的前向模型，并且我們也缺乏明確標記的訓練數據，從而允許直接學習前向模型時，我們考慮學習。在這里，我們使用了來自不同模態的數據，它具有一個特征良好的正態模型，與未校準的數據一起出現。我們提出了一種方法，該方法使用具有良好校準數據的聯合觀測來學習一種模態的逆模型。其次，我們試圖從多種測量模態中學習，其中跨模態的觀察之間的直接對應是不可用的。我們利用不同模態的數據組之間的對應關系來揭示共同表示。在這里，我們開發了層次Dirichlet過程(HDP)混合模型的擴展，將不同的模態表示為子文檔。本文解決了這兩個問題，并開發了一種新的Dirichlet過程(DP)和HDP混合模型的表示，從而產生了一個并行推理過程。

在第三章中，我們提出了輕量級數據融合(LDF)。LDF是一種基于多源數據的貝葉斯推理新方法，其中一些源缺乏已知的正演模型。雖然與論文中的其他章節略有不同，但LDF確實解決了多模態數據融合中的一個常見挑戰。LDF的一個核心組成部分是它將未校準的數據源簡化為一組描述后驗分布的信息統計數據。我們為一般的模型結構制定了LDF，并表明我們的構造導致了有效的推理和一個易于處理的學習過程，具有吸引人的信息理論屬性。LDF使用具有已知可能性的數據類型來幫助學習如何對具有未知可能性的數據類型設置條件。

在第四章中，我們開發了一種新的DP和HDP混合模型的表示，這對設計高效的推理程序有重要的意義。在本章中，我們假設數據的正向模型是已知的，與第3章不同;我們將使用在第5章中開發的方法。特別地，我們引入了DP和HDP混合模型的聚合表示，它們既有被實例化的顯式原子，也有被聚合成未實例化組件的隱式原子。未實例化組件是延遲實例化Gibbs采樣器的核心，它允許并行執行許多采樣操作。

我們在第5章中介紹了DP和HDP混合模型的擴展，它可以容納多個數據源，并允許學習聯合依賴。在第4章中，我們假設數據的正向模型是已知的。本章使用底層的泊松過程表示定義了多模態DP和HDPs，并將它們用作混合模型的基礎。所得到的模型可以被視為所有模態的聯合措施，也可以被視為適用于單個模態的邊際隨機措施。我們提供了這些模型的幾種特征，指定了折疊推理過程，并使用第4章中的延遲實例化開發了一個并行推理過程。

互聯多模態信息源的日益可用性推動了推薦系統的新概率模型的開發，該模型利用關系數據中的上下文。因此，我們尋求整合上下文信息，以預測用戶的信息需求。在這篇論文中，我們關注一組將上下文信息建模到因子化模型的技術，特別是使用隱式反饋(如事件計數)的模型。此外，我們提出了這些模型的分析工具，提高了我們尋找合適超參數的能力。為了將計數(例如，頁面中的點擊次數)建模為隱式用戶反饋，我們選擇使用泊松分解作為構建塊。然后，我們開發了兩個泊松分解模型，其中包括社會網絡、項目文本內容和作為上下文信息的周期時間事件，并將其合并到一個聯合矩陣和張量分解模型中(第3章和第4章)。我們開發了一個聯合層次遞歸神經網絡和一個時間點過程模型來解決多會話推薦的問題，我們觀察項目的序列分組到會話序列中，并創建了一個能夠提供itens推薦和下一次會話時間預測的模型(第5章)。我們利用并開發了一種基于先驗預測分布的方法，該方法允許我們設置泊松因子分解模型的超參數，而不需要將模型與數據擬合，(第6章)這里的一個相關結果是泊松因子分解模型中潛在空間維度的一個封閉形式方程。一般來說，我們將這項工作定位為在推薦系統的背景下利用多關系和計數數據作為上下文信息的信號的概率建模的貢獻，貢獻范圍包括模型設計、分析和超參數選擇。