亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

計算上下文理解指的是agent融合不同信息源進行決策的能力，因此，通常被認為是人工智能(AI)等復雜機器推理能力的先決條件。數據驅動和知識驅動方法是追求這種機器意義生成能力的兩種經典技術。然而，雖然數據驅動的方法試圖通過在現實世界中的觀察來模擬事件的統計規律，但它們仍然難以解釋，而且缺乏自然地結合外部知識的機制。相反，知識驅動的方法結合了結構化的知識庫，使基于公理原則的符號推理成為可能，并產生更多可解釋的預測; 然而，它們往往缺乏估計推斷的統計顯著性或魯棒地適應輸入中的擾動的能力。為了解決這些問題，我們使用混合AI方法作為綜合兩種方法的優勢的一般框架。具體而言，我們繼承了神經符號的概念，將其作為一種使用領域知識來指導深度神經網絡學習進程的方法。領域知識以多種形式出現，包括:(i) 圖模型，它描述了實體之間的關系，如依賴、獨立、因果、相關和部分相關; (ii) 常識性知識，包括空間知識、物體的物理屬性、語義關系和功能知識; 專家智能體以演示或軟標簽的形式提供特權信息; (iv) 習得的行為原語和先驗，這些行為原語和先驗可能構成可推廣和可轉移的任務執行;以及(v)輔助任務、目標和約束條件——為約束優化精心選擇。

無論可用的領域知識類型是什么，相同的實際目標仍然是:學習有意義的神經表征，用于下游感興趣的任務。神經表征學習的潛在目標是在統計上識別agent輸入數據或觀察中變化的最佳解釋因素，通常需要對輸入中多種模式或觀點之間的互補性的直覺。雖然已經有很多關注于學習特定任務的有效神經表征，然后將學習到的表征轉移或適應其他任務，相對較少的重點放在有各種類型的領域知識的表征學習。這些知識可用于恢復潛在生成過程的信息，設計學習問題的有效建模策略，確保模型的可轉移性或泛化性，或理解視圖之間的互補性。本文研究了將上述類型的領域知識與神經表示相結合的方法，以提高以下問題領域的模型性能和通用性:神經常識推理、多模態機器人導航和自動駕駛。本文提供了一系列工具、方法、任務、國際AI挑戰和排行榜、數據集和知識圖;此外，這項工作還成功組織了兩場關于自動駕駛安全學習的國際研討會。

機器學習方法已經廣泛應用于藥物發現領域，使得更強大和高效的模型成為可能。在深度模型出現之前，建模分子在很大程度上是由專家知識驅動的;為了表現分子結構的復雜性，這些手工設計的規則被證明是不夠的。深度學習模型是強大的，因為它們可以學習問題的重要統計特征——但只有正確的歸納偏差。我們在兩個分子問題的背景下解決這個重要的問題:表征和生成。深度學習的典型成功在于它能夠將輸入域映射到有意義的表示空間。這對于分子問題尤其尖銳，分子之間的“正確”關系微妙而復雜。本論文的第一部分將重點討論分子表征，特別是性質和反應預測。在這里，我們探索了一種用于分子表示的Transformer式架構，提供了將這些模型應用于圖形結構對象的新工具。拋開傳統的圖神經網絡范式，我們展示了分子表示原型網絡的有效性，它允許我們對分子的學習性質原型進行推理。最后，我們在改進反應預測的背景下研究分子表示。本論文的第二部分將集中在分子生成，這是至關重要的藥物發現作為一種手段，提出有前途的藥物候選人。我們開發了一種新的多性質分子生成方法，通過首先學習分子片段的分布詞匯。然后，利用這個詞匯，我們調查了化學空間的有效探索方法。

//dspace.mit.edu/handle/1721.1/143362

機器學習已經迅速改變了藥物發現的傳統渠道，為過程的每一步提供了新的工具。許多傳統上需要廣泛、專業領域知識的問題已經通過深度學習工具解決，使它們更高效、更廉價。先前的化學信息學方法使用許多手工設計的規則來建模小分子。這些技術被用于解決諸如性質預測之類的問題，其中的任務是預測分子的性質。然而，試圖解決這些表示問題的傳統方法由于其不靈活的特性而缺乏良好的泛化能力。深度學習模型的變革性方面在于模型直接從數據中學習和提取重要特征的能力。然而，這只有在正確的結構偏差和模型基礎上的建模假設下才可能實現。在分子問題上天真地應用深度方法會限制模型的能力或有用性，阻礙它們的推廣能力和在實踐中的有用性。因此，利用正確的歸納偏差的重要性不能被低估。

在深度學習方法出現之前，分子建模需要繁重的工程和固定的表示，通常被稱為定量構效關系(QSAR)方法。在這些方法中，指紋技術是非常受歡迎的，大致可以分為基于結構的[30]、拓撲[1]、循環[8]和藥效團指紋等幾種類型[91]。其中一些指紋(如基于結構的MACCS[30]指紋)是高度特定的表示，由一組固定的預定義結構的指示函數組成。其他的指紋，拓撲的和圓形的，其中包括摩根指紋更靈活。這些指紋通過枚舉路徑或環形鄰域來捕獲局部拓撲。然而，問題仍然存在于生成方法的確定性本質中:如果這些預定義規則沒有為任務捕獲正確的表示，它們將不能很好地工作。例如，對于許多小分子問題來說，性質懸崖(property cliff)仍然是一個具有挑戰性的問題，這是一種類似分子表現出不同性質的現象。這個問題對于分子指紋尤其尖銳，因為特征是固定的。然而，使用深度模型也不能解決這個問題，因為深度模型很容易與數據過度擬合，并且提供較差的泛化。

因此，我們的深度學習模型納入正確類型的結構偏差是至關重要的。圖神經網絡通過迭代聚合方案進行操作，在每一步，節點從其鄰居聚合信息。依次，一個節點應該包含越來越多的關于更大的鄰域的信息。節點表示最終聚合為表示圖的單個向量。雖然這種簡單的范式有時是有效的，但可能并不總是包含正確的分子任務類型的偏見。例如，當考慮分子的特性時，這種局部鄰域聚集可能無法捕捉到很重要的遠程依賴關系。更重要的是，也許在二維分子圖上的聚集并不適合理想的分子表示，我們應該觀察三維結構。對于分子的深度模型的發展有許多考慮，但它們需要正確的結構才能有效。指紋表示很簡單，但不靈活，經常涉及很多人類設計的規則。另一方面，深度模型很容易過擬合，無法捕捉正確的結構表示。

什么對對比學習很重要？我們認為對比學習在很大程度上依賴于有信息量的特征，或“困難的”（正例或負例）特征。早期的方法通過應用復雜的數據增強和大批量或內存庫來包含更多有信息量的特征，最近的工作設計了精細的采樣方法來探索有信息量的特征。探索這些特征的關鍵挑戰是源多視圖數據是通過應用隨機數據增強生成的，這使得始終在增強數據中添加有用信息是不可行的。因此，從這種增強數據中學習到的特征的信息量是有限的。**在本文中，我們提出直接增強潛在空間中的特征，從而在沒有大量輸入數據的情況下學習判別表示。**我們執行元學習技術來構建增強生成器，通過考慮編碼器的性能來更新其網絡參數。然而，輸入數據不足可能會導致編碼器學習坍塌的特征，從而導致增強生成器出現退化的情況。我們在目標函數中進一步添加了一個新的邊緣注入正則化，以避免編碼器學習退化映射。為了在一個梯度反向傳播步驟中對比所有特征，我們采用了優化驅動的統一對比損失，而不是傳統的對比損失。根據實驗驗證，我們的方法在幾個基準數據集上獲得了最先進的結果。

//www.zhuanzhi.ai/paper/31925f8729fad66bf497d7f85ba17dd6

我們提出了一種新的方法來解開一組給定的觀察結果背后的變異的生成因素。我們想法是建立在可以顯式地建模為子流形乘積的數據空間的(未知的)低維流形。這種解糾纏的定義提出了一種新的弱監督算法，用于恢復數據背后的未知解釋因素。在訓練時，我們的算法只需要成對的非i.i.d.數據樣本，它們的元素共享至少一個，可能是多維的，產生變異的因素。我們不需要知道這些變換的性質，也不需要對每個子空間的性質做任何限制性的假設。我們的方法易于實現，并可以成功地應用于不同類型的數據(從圖像到三維表面)進行任意轉換。除了標準的合成基準外，我們還展示了我們在挑戰現實應用方面的方法，在現實應用中，我們可以與目前的技術水平想匹配。

//www.zhuanzhi.ai/paper/9e9f6d368f90ce8173994ac06faab1eb

在不依賴下游任務的情況下評估已學習表示的質量仍然是表示學習的挑戰之一。在這項工作中，我們提出了幾何成分分析(GeomCA)算法，基于其幾何和拓撲性質評估表示空間。GeomCA可以應用于任何維度的表示，獨立于生成它們的模型。我們通過分析從各種場景中獲得的表示，如對比學習模型、生成模型和監督學習模型，證明了它的適用性。

//www.zhuanzhi.ai/paper/efa6de0f034d485bbb30b2a45947ea18

本文研究了無監督圖表示學習，這在許多任務中至關重要，如藥物和材料中分子特性預測。現有方法主要側重于保留不同圖實例之間的局部相似性，但是沒有考慮整個數據集的全局語義結構。在本文中，作者提出了一個統一的框架，GraphLoG，用于自監督的全圖表示學習。

具體來說，除了局部相似性之外，GraphLoG 還引入了層次原型來捕獲全局語義。進一步提出了一種有效的在線期望最大化 (EM) 算法來學習模型。本文評估的方法是通過在未標記圖預訓練，然后對下游任務進行微調來進行。對化學和生物基準數據集的大量實驗證明了所提出方法的有效性。

在不依賴下游任務的情況下評估學習表征的質量仍然是表示學習的挑戰之一。在這項工作中，我們提出幾何成分分析(GeomCA)算法，評估表示空間的幾何和拓撲性質。GeomCA可以應用于任何維度的表示，獨立于生成它們的模型。我們通過分析從各種場景中獲得的表征來證明其適用性，如對比學習模型、生成模型和監督學習模型。

//www.zhuanzhi.ai/paper/efa6de0f034d485bbb30b2a45947ea18