亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

卷積神經網絡和循環神經網絡的進步導致了對圖像和文本等規則網格數據域的學習的顯著改進。然而，許多現實世界的數據集，例如社會網絡、引文網絡、分子、點云和3D網格，并不位于這樣一個簡單的網格中。此類數據結構不規則或非歐氏，關系信息復雜。圖機器學習特別是圖神經網絡(Graph Neural Networks, GNNs)為處理此類不規則數據和建模實體之間的關系提供了潛力，正引領機器學習領域進入一個新時代。然而，由于梯度消失、過擬合和過平滑等挑戰性問題，之前最先進的(SOTA) GNN限于淺層架構。大多數SOTA GNN深度不超過3或4層，限制了GNN的表達性，使其在大規模圖上的學習效果不佳。為了解決這一挑戰，本文討論了構建大規模高效圖機器學習模型的方法，以學習結構化表示，并將其應用于工程和科學。本文將介紹如何通過引入架構設計使GNN深入，以及如何通過新的神經架構搜索算法自動搜索GNN架構。

卷積神經網絡(CNN)[102]已經非常成功地解決了各種計算機視覺任務，如目標分類和檢測、語義分割、活動理解等。它們出色性能的一個關鍵促成因素是訓練非常深的網絡的能力。盡管在許多任務中取得了巨大的成功，但CNN不能直接應用于非網格數據和關系數據，而這在許多現實世界的應用中普遍存在。圖神經網絡(GNNs)[169]提供了一種替代方案，允許將非網格數據或關系數據作為神經網絡的輸入。最近的工作表明，由于GNN在圖上學習表示的能力，它可以在跨領域的各種任務上取得優異的結果。具體來說，GNNs可以在引文網絡中的學術論文分類[95]、量子化學中的分子性質預測[60]、生物圖中的蛋白質相互作用預測[68]和計算機視覺中的點云學習[201]等任務中取得令人印象深刻的結果。雖然GNN已經取得了令人鼓舞的結果，但它們僅限于層數相對較少的架構，主要是由于訓練[109]期間梯度消失[77]、小數據集上的過擬合[189]和堆疊過多層時的過平滑[114]。然而，這一限制使得GNN難以在大規模圖上學習有代表性的特征，從而限制了深度GNN的代表性能力。為了構建大規模、高效的圖神經網絡，本文研究了以下幾個重要方面: (1) 如何使訓練非常深的圖神經網絡成為可能; (2) 在設計GNN模型時如何減少架構工程。

本論文旨在解決圖神經網絡（GNN）架構中的核心問題之一。具體來說，論文研究了訓練和設計非常深層次的GNN模型的技術，并將這些深層GNN模型應用于跨領域的各種大規模應用。我們首先提出了用于訓練深層GNN的跳躍連接和擴張卷積。然后，我們討論了消息聚合函數在訓練深層GNN時的影響，并提出了可微分的消息聚合函數。為了使訓練更深層次的GNN成為可能，我們研究了可逆連接、組卷積、權重綁定和平衡模型等技術，這些技術使得可以訓練具有1000多層的GNN。最后，我們開發了一種新穎的神經架構搜索算法，以實現自動設計有效和高效的GNN架構。

在第2章中，我們研究了如何將跳躍連接和擴張卷積等概念從卷積神經網絡（CNNs）應用到GNNs，以成功訓練非常深層的GNNs。我們通過實驗在各種數據集和任務上展示了使用深層GNNs（最多112層）的好處。具體而言，我們在點云的部分分割和語義分割以及生物蛋白質-蛋白質相互作用圖中的蛋白質功能節點分類方面取得了非常有希望的性能。通過徹底的消融研究和分析，我們證明了跳躍連接和擴張卷積對于減輕訓練深層GNN的困難是有效的。本章內容基于我們的研究成果[109, 107]。

在第3章中，我們研究了適當選擇聚合函數對深層模型的影響。我們發現，當應用于不同數據集時，GNN對于聚合函數的選擇（例如均值、最大值和總和）非常敏感。我們系統地研究并提出通過引入一種名為廣義聚合函數的新類聚合函數來緩解這個問題。所提出的函數超出了常用的聚合函數，可以適用于各種新的排列不變函數。廣義聚合函數是完全可微分的，其參數可以端到端地學習，以產生適合每個任務的合適聚合函數。我們展示，配備了所提出的聚合函數的深層殘差GNN在Open Graph Benchmark（OGB）[84]上的多個任務和領域的基準測試中優于現有技術。本章內容基于我們的研究成果[111]。

在第4章中，我們研究了可逆連接、組卷積、權重綁定和平衡模型，以提高GNN的內存和參數效率。我們發現，可逆連接與深度網絡架構相結合，使得能夠訓練過度參數化的GNN，這些GNN在多個數據集上顯著優于現有方法。我們的模型RevGNN-Deep（每層1001層，每個通道80個）和RevGNN-Wide（每層448層，每個通道224個）都是在一臺普通GPU上訓練的，它們在ogbn-proteins數據集上實現了ROC-AUC為87.74±0.13和88.24±0.15的性能。據我們所知，RevGNN-Deep是文獻中最深的GNN，層次數相差一個數量級。本章內容基于我們的研究成果[108]。

在第5章中，我們旨在實現GNN架構的自動設計。最近在自動神經架構搜索（NAS）方面的進展顯示出很大的潛力。然而，我們發現在最終評估中，發現的架構經常無法泛化。為了緩解這個常見問題，我們引入了順序貪婪架構搜索（SGAS），一種新穎的神經架構搜索算法。通過將搜索過程分為子問題，SGAS以貪婪方式選擇和修剪候選操作。我們首先在CNN搜索空間上研究SGAS，然后應用到GNN搜索空間。廣泛的實驗證明，SGAS能夠以最小的計算成本找到用于圖像分類、點云分類和生物蛋白質-蛋白質相互作用圖中節點分類等任務的最先進架構。本章內容基于我們的研究成果[110]。

在第6章中，我們引入了LC-NAS，以進一步自動化SGAS的延遲優化，并將其應用于GNN搜索空間，以搜索在點云任務上的架構，并限制目標延遲。我們提出了一種用于在架構搜索中準確性和延遲之間權衡的新型延遲約束形式。我們的流水線使我們能夠找到延遲接近特定目標值的最佳架構，這在最終任務需要部署在有限硬件設置中時非常關鍵。廣泛的實驗表明，LC-NAS能夠以最小的計算成本找到點云分類和部分分割的最先進架構。本章內容基于我們的研究成果[112]。

在第7章中，我們總結了本論文的重要發現，并討論了深度圖神經網絡的未來方向。

在機器學習（ML）中，一個關鍵的挑戰是設計能夠從圖中高效學習的模型。這些圖由帶有屬性的節點組成，并具有一個編碼它們關系的預定結構。圖表示學習（GRL）旨在將這兩個異質性源編碼為一個向量圖嵌入，以便進行下游任務。在這個領域，最優傳輸（OT）在將圖視為離散概率分布的意義上提供了有意義的比較。本論文通過OT的視角關注GRL，兩個概念都在專門章節中介紹。現代的有監督GRL主要依賴圖神經網絡（GNN），它通過兩個主要元素隱式地編碼圖拓撲：通過消息傳遞的節點特征嵌入和通過專門形式的池化的聚合。在這篇論文中，我們介紹了一個新的觀點，將距離一些可學習的圖模板的距離置于圖表示的核心。這種距離嵌入是通過OT距離構建的：融合Gromov-Wasserstein（FGW）距離，它通過解決一個軟圖匹配問題同時處理特征和結構的不相似性。我們假設FGW距離到一組模板圖的向量具有強大的區分能力，然后將其提供給一個非線性分類器進行最終預測。這種距離嵌入作為一個新的池化層，稱為TFGW，并可以利用現有的消息傳遞技術來促進有意義的特征表示，這是端到端學習的。我們在幾個圖分類任務上實證驗證了我們的說法，其中我們的方法在表達性和泛化能力方面都優于內核和GNN方法。本論文的另一個貢獻旨在使詞典學習（DL）適用于圖數據集分析，這是無監督表示學習的關鍵工具。DL解釋向量數據為幾個基本元素的線性組合，通過與單一環境空間相關的不相似性來評估學到的表示的質量。由于圖描述了它們自己的空間，我們提出了第一個適應于圖詞典學習（GDL）的線性方法，使用(F)GW作為數據擬合項。在我們的工作中，圖被建模為圖原子的凸組合，通過在線隨機算法估算。GDL通過一個新的上界完成，該上界可以用作FGW在嵌入空間中的快速近似。我們實證地顯示了我們的方法對于圖聚類、分類、完成以及在線圖子空間估計和跟蹤的興趣。最終，位于OT核心的質量保守性，在對比兩個圖的所有節點時強加了一個耦合，這在GRL中有特定的含義。通過FGW學習結構和特征表示對于由將圖建模為概率分布所誘導的節點相對重要性非常敏感。管理這一額外的自由度，正如我們所做的，通過在TFGW中增加最小的計算成本但對GDL增加顯著的模型復雜性來改進基于(F)GW的模型。因此，我們建議通過引入一種新的基于OT的差異，稱為半松弛（融合）Gromov-Wasserstein差異（sr(F)GW），來解決(F)GW中質量保守性約束的限制。srFGW提供了兩個圖之間的對應關系，同時在目標圖中尋找一個重新加權的子圖，與輸入的(F)GW距離最小。后者可以比(F)GW更有效地估計，并與專門用于圖分割的方法競爭，同時更具通用性。此外，估計一個srFGW“重心”引入了一個新的DL，其中圖被嵌入為單個圖原子的重新加權子圖。與其他基于DL的競爭者在各種無監督任務上競爭有利，同時計算速度明顯更快。

稀疏深度神經網絡 (DNNs) 在許多數據和計算密集型應用中是一個重要的計算核心（例如，圖像分類、語音識別和語言處理）。這些核心中的稀疏性激發了許多稀疏DNN加速器的發展。然而，盡管已經有大量的提議，但還沒有一個系統的方法來理解、建模和開發各種稀疏DNN加速器。為了解決這些限制，這篇論文首先提出了一個稀疏性相關加速特性的分類法，以系統地理解稀疏DNN加速器的設計空間。基于這個分類法，它提出了Sparseloop，這是第一個用于稀疏DNN加速器的快速、準確和靈活評估的分析建模工具，使得在早期階段可以探索龐大和多樣的稀疏DNN加速器設計空間。在代表性的加速器設計和工作負載中，Sparseloop比周期級模擬實現了超過2000倍的建模速度，保持了相對的性能趨勢，并達到了≤ 8%的平均建模誤差。利用Sparseloop，這篇論文研究了設計空間，并提出了HighLight，一個高效且靈活的稀疏DNN加速器。具體來說，HighLight通過一個新的稀疏模式，稱為分層結構稀疏性，來加速DNNs，關鍵的洞見是我們可以通過分層地組合簡單的稀疏模式來高效地加速各種程度的稀疏性（包括密集型）。與現有的工作相比，HighLight在具有不同稀疏度的工作負載中實現了高達6.4倍的能量延遲乘積 (EDP) 改進，并且始終位于代表性DNNs的EDP-準確性帕累托前沿。

受寬神經網絡（NNs）理論的啟發，核學習和特征學習近期作為兩個范式浮現出來，通過它們我們可以實際理解大規模深度學習系統的復雜行為。在文獻中，它們通常被描述為二分法的兩個對立面，各自具有優點和缺點：核學習與經過深入研究的機器學習技術（如核方法和高斯過程）建立聯系，而特征學習則承諾捕捉更多豐富而尚未解釋的，獨特于神經網絡的屬性。在這篇論文中，我們介紹了三項研究，研究結合了來自兩個角度的見解來研究神經網絡的性質，不僅強調它們的差異，而且強調共同點。我們首先回顧了有關深度學習理論的相關文獻，重點是寬神經網絡的研究。這為核學習和特征學習的討論提供了背景，基于此，我們繼續描述我們的貢獻。首先，我們研究了寬神經網絡集合與貝葉斯推斷之間的關系，利用核學習與高斯過程之間的聯系，并提出了一種修改，以解釋神經網絡函數在初始化時缺失的方差，從而使我們訓練過的深度集合具有貝葉斯解釋。接下來，我們結合核學習和特征學習來展示特征核的適用性，即通過最終層神經網絡特征的內積引導的核，作為知識蒸餾的目標，其中人們尋求使用強大的教師模型來提高弱學生模型的性能。最后，我們探討自監督學習中折疊特征和白化特征之間的差距，強調特征核中特征值的衰減率作為一項關鍵量，它彌合了這一差距，并影響下游泛化性能，特別是在標記數據稀缺的情況下。我們以討論我們的貢獻，包括局限性和未來展望，作為結論。

在海量數據的時代，高效的機器學習算法變得至關重要。然而，許多常見的機器學習算法依賴于在大數據集上計算成本過高的子程序。通常，現有的技術會對數據進行子采樣或使用其他方法來提高計算效率，但這會以引入一些近似誤差為代價。這篇論文表明，往往只需用一種特殊的隨機化方法替代計算密集型的子程序，就能在幾乎不降低質量的情況下獲得足夠的效果。這篇論文的結果是基于自適應采樣文獻中的技術。第1章以一個特定的自適應采樣問題為引子：多臂老虎機中的最佳臂識別。我們首先提供了環境設定和最佳臂識別問題的正式描述。然后，我們介紹了一種名為“連續淘汰”的通用算法，用于解決最佳臂識別問題。在第2章，第3章和第4章，我們將把在第1章中開發的技術應用于不同的問題。在第2章，我們討論了如何將k-medoids聚類問題簡化為一系列的最佳臂識別問題。我們利用這一發現提出了一種基于連續淘汰的新算法，該算法在聚類質量上與先前的最新技術相當，但達到相同解的速度要快得多。在數據生成分布的一般假設下，我們的算法在樣本復雜性上實現了 O( n logn ) 的降低，其中 n 是數據集的大小。

在第3章中，我們分析了訓練基于樹的模型的問題。這類模型的大部分訓練時間都用在分割樹的每個節點上，即確定在哪個特征和相應的閾值處分割每個節點。我們展示了節點分割子程序可以簡化為一個最佳臂識別問題，并介紹了一種訓練樹的最新算法。我們的算法僅依賴于每個可能分割的相對質量，而不是顯式地依賴于訓練數據集的大小，并將數據集大小n的顯式依賴從常用的先前算法的O(n)降低到O(1)。我們的算法通常適用于許多基于樹的模型，如隨機森林和XGBoost。在第4章中，我們研究最大內積搜索問題。我們注意到，與k-medoids和節點分割問題一樣，最大內積搜索問題可以簡化為一個最佳臂識別問題。有了這個觀察，我們為高維數據集中的最大內積搜索問題提出了一個新穎的算法。在對數據的合理假設下，我們的算法將與數據集維數d的顯式比例從O(√d)降低到O(1)。我們的算法具有幾個優點：它不需要對數據進行預處理，能自然處理新增或刪除的數據點，并包含一個超參數來權衡準確性和效率。第5章以總結本論文的貢獻和未來工作的可能方向作為結論。

//searchworks.stanford.edu/view/14783548

抽象的知識深深根植于許多基于計算機的應用中。從數據中自動獲取知識是人工智能的一個重要研究方向。機器學習提供了相應的算法。其中一個研究領域專注于開發受生物啟發的學習算法。各自的機器學習方法基于神經學概念，因此它們可以系統地從數據中獲取知識并存儲它。可以歸類為深度學習模型的一類機器學習算法被稱為深度神經網絡(deep Neural Networks, DNNs)。DNNs由多個人工神經元組成，這些神經元按層排列，通過使用反向傳播算法進行訓練。這些深度學習方法在從高維數據中推理和存儲復雜知識方面表現出驚人的能力。

然而，DNN會受到一個問題的影響，即無法將新知識添加到現有的知識庫中。不斷積累知識的能力是促進進化的重要因素，因此是發展強大人工智能的先決條件。所謂的“災難性遺忘”(CF)效應導致DNN在對新數據分布進行幾次訓練迭代后，立即失去已經派生的知識。只有用過去和新數據的聯合數據分布進行昂貴的再訓練，才能抽象出整個新知識集。為了抵消這種影響，各種旨在緩解甚至解決CF問題的技術已經并且仍在開發中。這些已發表的CF回避研究通常暗示他們的方法對各種持續學習任務的有效性。本文的研究背景是基于深度學習方法的持續機器學習。第一部分是面向實際應用的評估協議的開發，該協議可以用于研究不同的機器學習模型對協同效應的抑制。在第二部分，綜合研究表明，在面向應用的需求下，所研究的模型都不能表現出令人滿意的持續學習效果。第三部分提出了一種新的深度學習模型——深度卷積高斯混合模型(deep Convolutional Gaussian Mixture Models, DCGMMs)。DCGMMs建立在無監督高斯混合模型(GMMs)的基礎上。GMM不能被認為是深度學習方法，它必須在訓練前以數據驅動的方式進行初始化。這些方面限制了GMM在持續學習場景中的使用。

本文提出的訓練過程使使用隨機梯度下降(SGD)(應用于DNN)來訓練GMMs成為可能。集成退火方案解決了數據驅動的初始化問題，這是GMM訓練的先決條件。實驗證明，新的訓練方法在不迭代其缺點的情況下，可以得到與傳統方法相當的結果。另一個創新是gmm以層的形式排列，這類似于DNN。將GMM轉換為層使其能夠與現有層類型相結合，從而構建深層體系結構，從而可以用較少的資源派生出更復雜的知識。在本工作的最后一部分，研究DCGMM模型的持續學習能力。為此，提出一種稱為高斯混合重放(GMR)的重放方法。GMR利用DCGMM的功能來描述數據樣本的生成和重現。與現有CF回避模型的比較表明，在面向應用的條件下，GMR可以取得類似的持續學習效果。總之，所提出的工作表明，確定的面向應用的需求仍然是“應用”持續學習研究方法的開放問題。此外，新的深度學習模型為許多其他研究領域提供了一個有趣的起點。

關系數據在現代計算中無處不在，并驅動跨多個領域的幾個關鍵應用程序，如信息檢索、問題回答、推薦系統和藥物發現。因此，人工智能(AI)的一個主要研究問題是建立以有效和可靠的方式利用關系數據的模型，同時注入相關的歸納偏差和對輸入噪聲的魯棒性。近年來，圖神經網絡(GNNs)和淺節點嵌入模型等神經模型在關系結構的學習表示方面取得了重大突破。然而，這些系統的能力和局限性還沒有被完全理解，在賦予這些模型可靠性保證、豐富它們的關系歸納偏差以及將它們應用于更具挑戰性的問題設置方面仍存在一些挑戰。在這篇論文中，我們研究了關系數據的學習和推理。更具體地說，我們從理論上和實證上分析了現有模型的性質和局限性，并提出了改進關系歸納偏差和表征能力的新方法。

//ora.ox.ac.uk/objects/uuid:da7744ad-effd-4fc9-b7ab-a00b03a86a53

1. 引言以神經網絡為動力的深度學習系統已經在各種具有挑戰性的任務上取得了突破性的成果，如計算機視覺[96]和機器翻譯[160]。深度學習模型在最少人為干預的情況下從數據中學習模式，并在其訓練集之外進行經驗歸納。因此，在多個領域應用深度學習系統的興趣越來越大。沿著這些思路，近年來一個突出的研究前沿是將深度學習應用到關系數據中。從根本上說，關系數據將信息表示為一組通過語義意義關系連接的實體。例如，可以將在線市場上的產品、賣家和用戶表示為實體，并將交易描述為跨上述三種實體類型的三元關系，例如，Alice從Charlie那里購買了一個球。關系數據的一個流行的特例是圖結構，其中關系最多是二進制的。在這種情況下，關系可以被視為定義(標記)圖實體之間的邊，這些實體本身構成了圖節點。關系表示非常通用，并且出現在各種應用程序領域中。例如，社交網絡中的用戶根據他們的互動(友誼、關注、點贊)成對連接，可以被視為一個圖結構。這同樣適用于引文網絡中的論文[153,154]及其引文連接，以及分子，其中原子可以被視為實體，它們的鍵可以表示為二進制關系。事實上，關系數據封裝了幾個傳統數據域。例如，圖像是網格形狀的圖形的一種特殊情況，其中相鄰的像素由一條邊連接，序列是一系列實體，這些實體的邊連接著連續的實體。鑒于關系數據的普遍存在和圖結構的普遍存在，構建強大的關系機器學習模型是一個重要的研究問題，其分支涉及多個任務，如信息檢索[182]、問題回答[20]、推薦系統[173]和藥物發現[60]。廣義上講，機器學習任務可以分為三大類:

1. 節點級的任務。給定一個帶有未標記或部分標記節點的輸入圖，節點級任務旨在預測節點屬性，例如，對于沒有預標記屬性的節點，預測一個類或一個值。例如，在引用網絡中，論文(輸入圖中的實體)具有內容特征，并且通過二元引用關系與其他論文相連，預測論文的主題就是一個節點分類任務。

2. Graph-level任務。給定一個輸入圖，圖級任務尋求基于節點特征、邊和整體輸入圖結構預測全局圖屬性，如類或值。這些任務在分子圖中非常突出，包括幾個圖性質預測問題，如毒性分類和零點振動能(ZPVE)回歸[140]。

3.Edge-level任務。給定一個輸入圖，邊級任務旨在預測現有邊的未知邊屬性，或者更常見的是，基于現有邊和節點特征預測圖中缺失的邊。對于后一種情況，當輸入圖是單關系圖時，該問題稱為鏈接預測，如引用網絡，當輸入圖是多關系圖時，該問題稱為知識圖譜補全(KGC)。在本文中，我們研究了關系數據(圖結構和更一般的關系數據)的學習和推理，并提出了幾個模型和框架，以理論分析和結果支持，以提高該領域模型的關系歸納偏差和表示能力。更具體地說，我們系統地研究現有模型，證明它們的理論屬性和結果，并提出擴展和新模型，以(i)可證明地捕獲和/或強加豐富的關系歸納偏差，(ii)更好地理解現有模型的表現力和表征局限性，以及(iii)將現有模型和方法擴展到與推理和推理相關的新穎的、具有挑戰性的應用領域。

長期以來，隨著數據處理系統的復雜性不斷增加，系統設計者一直在想象能夠根據環境線索進行自我配置和適應的系統(如數據庫、調度程序)。在這種情況下，強化學習(RL)方法從一開始就吸引了系統開發人員。他們承諾從原始反饋信號中獲取復雜的決策策略。盡管RL方法在概念上很流行，但在現實世界的數據處理系統中卻很少見到。最近，由于利用大型神經網絡(深度強化學習)取得了引人注目的成功，RL受到了爆炸性增長的關注。新興的機器學習框架和強大的硬件加速器催生了大量新的潛在應用。在本文中，我首先提出，為了高效地設計和執行深度RL算法，需要新穎的軟件抽象來適應通信密集和快速進化算法的獨特計算模式。我提出了一種將邏輯算法構造與本地和分布式執行語義解耦的體系結構。我將進一步介紹RLgraph，這是我對這個體系結構的概念驗證實現。在RLgraph中，算法開發人員可以通過組合邏輯組件構建高級數據流圖來探索新的設計。此數據流圖獨立于特定的后端框架或執行概念，只在以后通過分階段構建過程映射到執行語義。RLgraph支持高性能算法實現，同時保持快速原型的靈活性。

//www.repository.cam.ac.uk/handle/1810/304385

其次，我研究了系統本身中RL應用程序稀缺的原因。我認為，由于缺乏用于任務模型設計的工具來彌合系統和算法之間的差距，以及缺乏評估模型能力的共同標準，應用RL的進展受到了阻礙。在本文中，我介紹了應用RL中第一個用于增量模型設計的工具——Wield。Wield 提供了一小組原語，將系統接口和特定于部署的配置從表示中分離出來。運用的核心是一種新的指導性實驗協議，稱為漸進隨機化，它幫助從業者逐步評估非確定性的不同維度。我演示了如何使用和漸進的隨機化可以用來再現和評估之前的工作，并指導新RL應用程序的實現。

機器學習模型在有偏差的數據集上訓練時是有偏差的。最近提出了許多方法，以減輕被確定為先驗的偏差。然而，在現實世界的應用中，標注偏差不僅耗時而且具有挑戰性。本論文考慮了三種不同的場景，并提出了學習魯棒模型的新算法。這些算法是有效的，因為它們不需要明確的偏差注釋，從而實現了實用的機器學習。

首先，我們引入了一種算法，該算法對從多個環境中收集的數據進行操作，其中偏差特征和標簽之間的相關性可能會有所不同。我們表明，當使用在一個環境上訓練的分類器對來自不同環境的例子進行預測時，它的錯誤是隱藏偏見的信息。

然后，我們利用這些錯誤來創建一組示例，這些示例的插值結果只具有穩定的相關性。我們的算法在四種文本和圖像分類任務上實現了最新的技術。然后我們考慮無法訪問多個環境的情況，這是新任務或資源有限任務的常見場景。我們證明，在現實世界的應用中，相關的任務往往有類似的偏見。在此基礎上，我們提出了一種算法，從資源豐富的源任務中推斷出偏差特征，并將這種知識轉移到目標任務中。與橫跨5個數據集的15個基線相比，我們的方法始終提供顯著的性能提升。

最后，我們研究了只給出一組輸入標簽對的自動偏差檢測。我們的算法學習分割數據集，使得在訓練分割上訓練的分類器不能泛化到測試分割上。性能差距為測量學習特征的偏差程度提供了一個智能體，因此可以用來識別未知偏差。在六個NLP和視覺任務上的實驗表明，我們的方法能夠產生與人類識別的偏差相關的虛假分裂。

深度學習方法是最近計算機視覺快速發展的基礎。然而，這些方法往往需要昂貴的標記數據。特定于任務的模型，如分類器，并不是為了最大限度地學習一般的內部表示。此外，這些模型不能模擬數據生成過程來合成新樣本，也不能修改輸入樣本。無監督深度生成模型有可能避免這些問題。

然而，兩個主要的生成模型家族，生成對抗網絡(GAN)和變分自編碼器(VAE)，都有各自的特點問題。基于GAN的模型在架構上相對復雜，有一個識別器網絡，但通常沒有編碼器來接受輸入。此外，GAN訓練通常是不穩定的，并且容易忽略訓練分配的部分(“模式崩潰”或“模式下降”)。另一方面，VAEs往往高估分布的某些區域的方差，導致生成的圖像模糊。

這項工作介紹和評估模型和技術，以大大減少上述問題，并生成銳利的圖像輸出與一個簡單的自動編碼器架構。這是通過兩個總體原則實現的。首先，一個合適的技術組合，從GAN模型被集成到最近引入的類似于VAE的對抗生成器-編碼器。第二，網絡的遞歸性質在幾個方面得到了利用。自動調制器代表了一類新的自動編碼器，其特征是使用隱含表示來調制解碼器層的統計信息。該網絡可以獲取多個圖像作為輸入，從中生成融合的合成樣本，輸出的一些尺度由一個輸入驅動，另一個尺度由另一個驅動，允許瞬時“風格混合”和其他新的應用。

這項工作介紹和評估模型和技術，以大大減少上述問題，并生成銳利的圖像輸出與一個簡單的自動編碼器架構。這是通過兩個總體原則實現的。首先，一個合適的技術組合，從GAN模型被集成到最近引入的類似于VAE的對抗生成器-編碼器。第二，網絡的遞歸性質在幾個方面得到了利用。自動調制器代表了一類新的自動編碼器，其特征是使用隱含表示來調制解碼器層的統計信息。該網絡可以獲取多個圖像作為輸入，從中生成融合的合成樣本，輸出的一些尺度由一個輸入驅動，另一個尺度由另一個驅動，允許瞬時“風格混合”和其他新的應用。

這項工作介紹和評估模型和技術，以大大減少上述問題，并生成銳利的圖像輸出與一個簡單的自動編碼器架構。這是通過兩個總體原則實現的。首先，一個合適的技術組合，從GAN模型被集成到最近引入的類似于VAE的對抗生成器-編碼器。第二，網絡的遞歸性質在幾個方面得到了利用。自動調制器代表了一類新的自動編碼器，其特征是使用隱含表示來調制解碼器層的統計信息。該網絡可以獲取多個圖像作為輸入，從中生成融合的合成樣本，輸出的一些尺度由一個輸入驅動，另一個尺度由另一個驅動，允許瞬時“風格混合”和其他新的應用。

最后，使用高斯過程框架，圖像編碼器-解碼器設置從單個圖像擴展到圖像序列，包括視頻和攝像機運行。為此，輔助圖像元數據在生成模型的潛在空間中以非參數先驗的形式被利用。這允許平滑和自由插值圖像序列。在此過程中，高斯過程和計算機視覺方法之間提供了一個優雅的連接，這意味著將兩者結合起來具有深遠的意義。

//aaltodoc.aalto.fi/handle/123456789/101686