深度學習
·
題目： The Synthesizability of Molecules Proposed by Generative Models
摘要： 功能性分子的挖掘是一個昂貴而耗時的過程，小分子治療性挖掘的成本不斷上升就是一個例證。新分子生成和優化是一類在早期藥物發現中日益受到關注的技術，它是由新的深度學習方法的發展所催化的。1 .這些技術可以提出新的分子結構，目的是最大化多目標功能，例如，對特定目標的治療適應性;2 .不依賴于對化學空間的強力探索。然而，這些方法的實用性由于忽視了可綜合性而受到阻礙。為了強調這個問題的嚴重性，我們使用一個數據驅動的計算機輔助合成計劃程序來量化由最先進的生成模型提出的分子不容易合成的頻率。我們的分析表明，盡管這些模型在流行的定量基準上表現良好，但在一些任務中，這些模型產生了不現實的分子結構。合成復雜性啟發法可以成功地使生成偏向于可合成處理的化學空間，盡管這樣做必然會偏離最初的目標。分析表明，為了提高這些模型在實際挖掘工作流中的實用性，有必要開發新的算法。
付費5元查看完整內容
相關內容
摘要
圖神經網絡(GNNs)已被證明在建模圖結構的數據方面是強大的。然而，訓練GNN通常需要大量指定任務的標記數據，獲取這些數據的成本往往非常高。減少標記工作的一種有效方法是在未標記數據上預訓練一個具有表達能力的GNN模型，并進行自我監督，然后將學習到的模型遷移到只有少量標記的下游任務中。在本文中，我們提出了GPT-GNN框架，通過生成式預訓練來初始化GNN。GPT-GNN引入了一個自監督屬性圖生成任務來預訓練一個GNN，使其能夠捕獲圖的結構和語義屬性信息。我們將圖生成的概率分解為兩部分:1)屬性生成和2)邊生成。通過對兩個組件進行建模，GPT-GNN捕捉到生成過程中節點屬性與圖結構之間的內在依賴關系。在10億規模的開放學術圖和亞馬遜推薦數據上進行的綜合實驗表明，GPT-GNN在不經過預訓練的情況下，在各種下游任務中的表現顯著優于最先進的GNN模型，最高可達9.1%。
**關鍵詞：**生成式預訓練，圖神經網絡，圖表示學習，神經嵌入，GNN預訓練
付費5元查看完整內容
KDD 2020
·
題目： Structural Patterns and Generative Models of Real-world Hypergraphs
簡介：
圖已被用作對人或物之間的成對關系建模的強大工具。這種結構是一種特殊類型的概念，稱為超圖，其中每個超邊可能包含任意數量的節點，而不僅僅是兩個。大量的數據集都是這種形式的-例如，從組織發送的電子郵件的收件人列表，用戶參與討論的主題或在非在線問題中標記的主題標簽。但是，由于表示形式復雜且缺少適當的工具，因此很少關注探索這些交互中的基本模式。在這項工作中，我們根據經驗研究了多個跨領域的超圖數據集。為了進行深入研究，我們引入了多級分解方法，該方法通過一組成對圖表示每個超圖。每個成對的圖（我們稱為k級分解圖）捕獲了k個節點的子集對之間的交互作用。根據經驗，我們發現一個示教分解級，研究的超圖遵循五個結構特性。這些屬性用作評估超圖的標準，并為超圖生成問題奠定基礎。我們還提出了一種超圖生成器，它非常簡單，但能夠滿足這些評估指標，而其他基線生成器模型則很難實現。
付費5元查看完整內容
盡管生成式對抗網絡(GAN)的歷史并不長，但它已被廣泛地研究和用于各種任務，包括其最初的目的，即合成樣品的生成。然而，將GAN用于具有不同神經網絡結構的不同數據類型，由于其在訓練方面的局限性，使得模型很容易出現混亂。這種臭名昭著的GAN訓練是眾所周知的，并已在許多研究中提出。因此，為了使GAN的訓練更加穩定，近年來提出了許多正則化方法。本文綜述了近年來引入的正則化方法，其中大部分是近三年來發表的。具體地說，我們關注的是那些可以被普遍使用的方法，而不管神經網絡體系結構如何。根據其運算原理將其分為若干組，并分析了各方法之間的差異。此外，為了提供使用這些方法的實際知識，我們調研了在最先進的GANs中經常使用的流行方法。此外，我們還討論了現有方法的局限性，并提出了未來的研究方向。
付費5元查看完整內容
視覺表示學習
·
在為視覺訓練深度神經網絡時，預訓練表示的遷移提高了樣本效率并簡化了超參數調整。我們回顧了在大型監督數據集上進行預訓練和在目標任務上對模型進行微調的范例。我們擴大了預訓練的規模，并提出了一個簡單的方法，我們稱之為大遷移(BiT)。通過組合一些精心選擇的組件，并使用一個簡單的啟發式傳輸，我們在20多個數據集上實現了強大的性能。BiT在非常廣泛的數據范圍內執行得非常好——從每個類1個示例到總共100萬個示例。BiT在ILSVRC-2012上達到87.5%的top-1準確率，在CIFAR-10上達到99.4%，在19個任務的視覺任務適應基準(VTAB)上達到76.3%。在小型數據集上，在ILSVRC-2012上BiT達到了76.8%，每個類有10個例子，在CIFAR-10上達到了97.0%，每個類有10個例子。我們對導致高遷移性能的主要部件進行了詳細的分析。
付費5元查看完整內容
圖神經網絡
·
圖神經網絡是解決各種圖學習問題的有效的機器學習模型。盡管它們取得了經驗上的成功，但是GNNs的理論局限性最近已經被揭示出來。因此，人們提出了許多GNN模型來克服這些限制。在這次調查中，我們全面概述了GNNs的表達能力和可證明的強大的GNNs變體。
付費5元查看完整內容
題目： PolyGen: An Autoregressive Generative Model of 3D Meshes
摘要：
多邊形網格是三維幾何的一種有效表現形式，在計算機圖形學、機器人技術和游戲開發中具有重要意義。現有的基于學習的方法避免了使用3D網格的挑戰，而是使用與神經結構和訓練方法更兼容的替代對象表示。提出了一種直接對網格建模的方法，利用基于變換的結構對網格頂點和面進行順序預測。我們的模型可以對一系列輸入進行條件設置，包括類對象、體素和圖像，因為模型是概率性的，所以它可以生成在模糊場景中捕獲不確定性的樣本。我們證明了該模型能夠產生高質量、可用的網格，并為網格建模任務建立了對數似然基準。我們還根據不同的方法評估了表面重建的條件模型，并在沒有直接訓練的情況下展示了競爭性的表現。
付費5元查看完整內容
O’Reilly Media 2019年新出版的關于GAN的書Generative Deep Learning_Teaching Machines to Paint, Write, Compose, and Play. 《生成式深度學習》是關于生成模型的最新指南——特別是如何構建最先進的深度學習模型，這樣的模型可以繪畫、寫作、作曲和玩游戲。 更重要的是，這本書能讓讀者深入了解生成式深度學習，并構建能夠做出各種令人驚嘆的事情的模型
付費5元查看完整內容
People ask questions that are far richer, more informative, and more creative than current AI systems. We propose a neural program generation framework for modeling human question asking, which represents questions as formal programs and generates programs with an encoder-decoder based deep neural network. From extensive experiments using an information-search game, we show that our method can ask optimal questions in synthetic settings, and predict which questions humans are likely to ask in unconstrained settings. We also propose a novel grammar-based question generation framework trained with reinforcement learning, which is able to generate creative questions without supervised data.
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191