亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

人工智能已應用于藥物設計的各種方面，如藥物-蛋白質相互作用預測、藥物療效的發現、確保安全性生物標志物。本綜述提供了在藥物開發的各個階段通過ML工具和技術發現藥物的可行文獻，以加速研究過程，降低臨床試驗的風險和支出。機器學習技術改進了在不同應用中的藥物數據決策，如QSAR分析、hit發現、從頭藥物架構檢索準確的結果。在本綜述中，靶點驗證、預后生物標志物、數字病理學都被認為是存在問題的。ML挑戰必須適用于可解釋性結果不足的主要原因，這可能會限制藥物發現中的應用。在臨床試驗中，必須生成絕對數據和方法學數據，以解決在驗證ML技術、改進決策、提高ML方法的意識以及推斷藥物發現中的風險失敗方面的許多難題。 //pubmed.ncbi.nlm.nih.gov/34393317/

材料是國民經濟的基礎,新材料的發現是推動現代科學發展與技術革新的源動力之一,傳統的實驗“試錯型”研究方法具有成本高、周期長和存在偶然性等特點,難以滿足現代材料的研究需求。近些年,隨著人工智能和數據驅動技術的飛速發展,機器學習作為其主要分支和重要工具,受到的關注日益增加,并在各學科領域展現出巨大的應用潛力。將機器學習技術與材料科學研究相結合,從大量實驗與計算模擬產生的數據中挖掘信息,具有精度高、效率高等優勢,給新材料的研發和材料基礎理論的研究提供了新的契機。

機器學習技術結合了計算機科學、概率論、統計學、數據庫理論以及工程學等知識,計算速度快、泛化能力強,能有效地處理一些難以運用傳統實驗及模擬計算方法解決的體系和問題。近10年,機器學習在材料科學研究中的應用呈現出爆炸式的增長,尤其在新材料的合成設計、性能預測、材料微觀結構深入表征以及改進材料計算模擬方法幾個方面,均有著出色的表現。當然,作為一項數據驅動技術,如何獲取大量實驗數據并將其構建為行之有效的數據集仍是現階段機器學習技術在材料科學領域應用的熱點和難點。

本文概述了機器學習技術的基本原理、主要工作流程和常用算法,簡述了機器學習技術在材料科學領域中的研究重心及應用進展,分析了機器學習在材料學研究中尚存在的問題,并對未來此領域的發展熱點進行了展望。

深度學習在計算機視覺、語音識別和自然語言處理三大領域中取得了巨大的成功，帶動了人工智能的快速 發展。將深度學習的關鍵技術應用于化學信息學，能夠加快實現化學信息處理的人工智能化。化合物結 構與性質的定量關系研究是化學信息學的主要任務之一，著重介紹各類深度學習框架（深層神經網絡、 卷積神經網絡、循環或遞歸神經網絡）應用于化合物定量構效關系模型的研究進展，并針對深度學習在 化學信息學中的應用進行了展望。

圖機器學習(GML)因其建模生物分子結構、它們之間的功能關系以及整合多組數據集的能力而受到制藥和生物技術行業越來越多的關注。在此，我們提出了一個關于藥物發現和研發多學科的學術-工業綜述的主題。在介紹了關鍵術語和建模方法之后，我們按時間順序介紹了藥物開發流程，以確定和總結工作包括: 靶標識別、小分子和生物制劑的設計，以及藥物的重新利用。盡管該領域仍處于新興階段，但關鍵的里程碑，包括重新用途的藥物進入體內研究，表明GML將成為生物醫學機器學習的建模框架選擇。

引言

從藥物發現到上市，平均超過10億美元，可能持續12年或更長時間[1 - 3]; 由于高流失率，很少有人能在10年內進入市場[4,5]。整個過程的高損耗不僅使投資不確定，而且需要市場批準的藥物為早期的失敗買單。盡管在過去十多年里，整個行業都在關注效率問題，同時也受到了一些出版物和年度報告的推動，這些報告強調了終結排他性和生產率下降會導致收入下降，但事實證明，在科學、技術和監管變革的背景下，明顯的改善是難以實現的。由于上述原因，現在人們對運用計算方法來加快藥物發現和研發管道[6]的各個部分更感興趣，見圖1。

數字技術已經改變了產生大量數據的藥物研發過程。變化范圍從電子實驗室筆記本[7]，電子法規提交，通過增加實驗室、實驗和臨床試驗數據收集[8]，包括設備的使用[9,10]，到精準醫療和“大數據”[11]的使用。收集到的關于治療的數據遠遠超出了研發范圍，包括醫院、專家和初級保健醫療專業人員的患者記錄——包括從社交媒體上獲取的觀察數據，例如藥物警戒數據[12,13]。通過可重復使用藥物的數據庫，有無數的在線數據庫和其他信息來源，包括科學文獻、臨床試驗信息[14,15]。技術的進步現在允許更大的組學分析，而不僅僅是基因分型和全基因組測序(WGS);微流體技術和抗體標記的標準化使得單細胞技術廣泛應用于轉錄組的研究，例如使用RNA-seq[16]，蛋白質組(靶向)，例如通過大量細胞檢測[17]，甚至多種方式結合[18]。

在藥物發現過程中產生和使用的生物醫學數據的關鍵特征之一是其相互關聯的性質。這種數據結構可以用圖表示，這是一種數學抽象，在生物學的各個學科和領域中廣泛使用，以模擬在不同尺度上進行干預的生物實體之間的各種相互作用。在分子尺度上，蛋白質和其他生物分子的氨基酸殘基[19,20]和小分子藥物的組成原子和化學鍵結構[21,22]可以用圖表示。在中間尺度上，相互作用組是捕獲生物分子物種(如代謝物、mRNA、蛋白質)[23]之間特定類型相互作用的圖，其中蛋白質-蛋白質相互作用(PPI)圖可能是最常見的。最后，在更高的抽象層次上，知識圖譜可以表示電子病歷(EMR)中藥物、副作用、診斷、相關治療和檢測結果之間的復雜關系[24,25]。

在過去的十年里，兩個新興趨勢重塑了數據建模社區: 網絡分析和深度學習。“網絡醫學”范式早已在生物醫學領域[26]得到認可，借用了圖論和復雜網絡科學的多種方法，運用于生物圖，如PPIs和基因調控網絡(GRNs)。這一領域的大多數方法都局限于手工繪制的圖特征，如中心性度量和聚類。相比之下，深度神經網絡是一種特殊的機器學習算法，用于學習最優的特定任務特征。深度學習的影響在計算機視覺[27]和自然語言處理[28]方面具有開創性，但受限于對數據結構規律性的要求，局限于特定領域。在這兩個領域的收斂處是圖機器學習(GML)，這是一類利用圖和其他不規則數據集(點云、網格、流形等)的結構的新ML方法。

GML方法的基本思想是學習節點29,30、邊(如預測推薦系統中的未來交互)或整個圖31的有效特征表示。特別是，圖神經網絡(GNN)[32-34]，它是專為圖結構數據設計的深度神經網絡體系結構，正引起越來越多的興趣。GNN通過傳播鄰近節點的信息來迭代更新圖中節點的特征。這些方法已經成功地應用于各種任務和領域，如社交媒體和電子商務中的推薦[35-38]，谷歌地圖[39]中的流量估計，社交媒體[40]中的錯誤信息檢測，以及自然科學的各個領域，包括建模流體，硬質固體，以及可變形材料相互作用[41]和粒子物理學中的事件分類[44,43]。

在生物醫學領域，GML在挖掘圖結構數據(包括藥物-靶標相互作用和通過知識圖譜嵌入進行關系預測)方面已經達到了最新水平[30,44,45];分子特性預測[21,22]，包括預測吸收、分布、代謝和排泄(ADME)譜[46];靶標識別[47]到重新設計分子的早期工作[48,49]。最值得注意的是，Stokes等人利用定向信息傳遞的GNN作用于分子結構，為抗生素研發提出了可重用的候選抗生素，驗證了他們在體內的預測，從而提出了結構明顯不同于已知抗生素的合適的可重用候選抗生素。因此，GML方法在藥物開發過程中具有極大的應用前景。

結論：

• 歷史上，生物分子相互作用和基因調控網絡的分析一直具有巨大的學術興趣，但在藥物發現和開發中可翻譯的結果有限。

• 網絡醫學使用手工繪制的圖特征提供了很有前景的結果，但在整合不同的生物數據源的問題上缺乏任何有原則的解決方案: 結構數據(藥物和生物分子)、功能關系(抑制、激活等)和表達(RNA-seq、蛋白質組學等)。

• 深度學習目前已應用于生物醫學研究的多個領域，特別是在生物醫學圖像(如組織病理標本)的解釋方面，實現由上級到醫生的結果。

• 圖機器學習將網絡拓撲分析技術與深度學習技術相結合，學習有效的節點特征表示。

• 圖機器學習已被應用于藥物發現和開發中的問題，并取得了巨大的成功，出現了一些實驗結果: 小分子設計、藥物與靶標相互作用的預測、藥物與藥物相互作用的預測和藥物的重新利用都是比簡單的非圖ML方法取得了相當大的成功和改進的任務。

近年來，基于圖學習的推薦系統(GLRS)這個新興話題得到了快速發展。GLRS采用高級的圖學習方法來建模用戶的偏好和意圖，以及物品的特征來進行推薦。與其他RS方法(包括基于內容的過濾和協同過濾)不同，GLRS是建立在圖上的，其中重要對象(如用戶、物品和屬性)是顯式或隱式連接的。

隨著圖學習技術的快速發展，探索和開發圖中的同質或異質關系是構建更有效的RS的一個有前途的方向。通過討論如何從基于圖的表示中提取重要的知識，以提高推薦的準確性、可靠性和可解釋性。

首先對GLRS進行了表示和形式化，然后對該研究領域面臨的主要挑戰和主要進展進行了總結和分類。

引言

推薦系統(RS)是人工智能(AI)最流行和最重要的應用之一。它們已被廣泛采用，以幫助許多流行的內容分享和電子商務網站的用戶更容易找到相關的內容、產品或服務。與此同時，圖學習(Graph Learning, GL)是一種新興的人工智能技術，它涉及到應用于圖結構數據的機器學習，近年來發展迅速，顯示出了其強大的能力[Wu et al.， 2021]。事實上，得益于這些學習關系數據的能力，一種基于GL的RS范式，即基于圖學習的推薦系統(GLRS)，在過去幾年中被提出并得到了廣泛的研究[Guo等人，2020]。在本文中，我們對這一新興領域的挑戰和進展進行了系統的回顧。

動機: 為什么要用圖學習RS?

RS中的大部分數據本質上是一個圖結構。在現實世界中，我們身邊的大多數事物都或明或暗地相互聯系著;換句話說，我們生活在一個圖的世界里。這種特征在RS中更加明顯，這里考慮的對象包括用戶、物品、屬性、上下文，這些對象之間緊密相連，通過各種關系相互影響[Hu et al.， 2014]，如圖1所示。在實踐中，RS所使用的數據會產生各種各樣的圖表，這對推薦的質量有很大的幫助。

圖學習具有學習復雜關系的能力。作為最具發展前景的機器學習技術之一，GL在獲取嵌入在不同類型圖中的知識方面顯示出了巨大的潛力。具體來說，許多GL技術，如隨機游走和圖神經網絡，已經被開發出來學習特定類型的關系由圖建模，并被證明是相當有效的[Wu et al.， 2021]。因此，使用GL來建模RS中的各種關系是一個自然和令人信服的選擇。

圖學習如何幫助RS? 到目前為止，還沒有統一的GLRS形式化。我們通常從高層次的角度對GLRS進行形式化。我們用一個RS的數據構造一個圖G = {V, E}，其中對象(如用戶和商品)在V中表示為節點，它們之間的關系(如購買)在E中表示為邊。構建并訓練GLRS模型M(Θ)學習最優模型參數Θ，生成最優推薦結果R。

根據具體的推薦數據和場景，可以以不同的形式定義圖G和推薦目標R，例如，G可以是同質序列或異構網絡，而R可以是對物品的預測評級或排名。目標函數f可以是最大效用[Wang et al.， 2019f]或節點之間形成鏈接的最大概率[Verma et al.， 2019]。

這項工作的主要貢獻總結如下:

? 我們系統地分析了各種GLRS圖所呈現的關鍵挑戰，并從數據驅動的角度對其進行分類，為更好地理解GLRS的重要特征提供了有用的視角。

? 我們通過系統分類較先進的技術文獻，總結了目前GLRS的研究進展。

? 我們分享和討論了一些GLRS開放的研究方向，供社區參考。

【導讀】倫敦帝國理工學院教授Michael Bronstein等人撰寫了一本關于幾何深度學習系統性總結的書，提出從對稱性和不變性的原則推導出不同的歸納偏差和網絡架構。非常值得關注！

幾何深度學習是一種從對稱性和不變性的角度對大量ML問題進行幾何統一的嘗試。這些原理不僅奠定了卷積神經網絡的突破性性能和最近成功的圖神經網絡的基礎，而且也提供了一種原則性的方法來構建新型的問題特定的歸納偏差。

在本文中，我們做了一個適度的嘗試，將Erlangen項目的思維模式應用到深度學習領域，最終目標是獲得該領域的系統化和“連接點”。我們將這種幾何化嘗試稱為“幾何深度學習”，并忠實于Felix Klein的精神，提出從對稱性和不變性的原則推導出不同的歸納偏差和網絡架構。特別地，我們將重點放在一類用于分析非結構集、網格、圖和流形的神經網絡上，并表明它們可以被統一地理解為尊重這些域的結構和對稱性的方法。

我們相信這篇文章將吸引深度學習研究人員、實踐者和愛好者的廣泛受眾。新手可以用它來概述和介紹幾何深度學習。經驗豐富的深度學習專家可能會發現從基本原理推導熟悉架構的新方法，也許還會發現一些令人驚訝的聯系。實踐者可以獲得如何解決各自領域問題的新見解。

一些重要論述：

• 我們研究了流行的深度學習架構(CNNs, GNNs, transformer, LSTMs)的本質，并意識到，只要有一組合適的對稱，我們就可以等價它們，它們都可以用一個通用的幾何框架來表達。

• 更進一步，我們在一些不太標準的領域(如同質群和流形)上使用了我們的框架，這表明框架可以很好地表達這些領域的最新進展，如球形CNN, SO(3)-變換器，和規范-等變網格CNNs。

• 幾何深度學習的“5G”:網格、組(具有全局對稱性的齊次空間)、圖(以及作為特定情況的集)和流形，其中幾何先驗通過全局等距不變(可以用測地線表示)和局部規范對稱來表現。

近年來,三維人臉識別研究取得了較大進展.相比 二維人臉識別,三維人臉識別更具有優勢,主要特點是在識 別中利用了三維形狀數據.該文首先根據三維形狀數據的 來源,將三維人臉識別分為基于彩色圖像的三維人臉識別、 基于高質 量 三 維 掃 描 數 據 的 三 維 人 臉 識 別、基 于 低 質 量 RGBＧD圖像的三維人臉識別,分別闡述了各自具有代表性 的方法及其優缺點;其次分析了深度學習在三維人臉識別 中的應用方式;然后分析了三維人臉數據與二維圖像在雙 模態人臉識別中的融合方法,并介紹了常用的三維人臉數 據庫;最后 討 論 了 三 維 人 臉 識 別 面 臨 的 主 要 困 難 及 發 展 趨勢.

//jst.tsinghuajournals.com/CN/Y2021/V61/I1/77

題目： 基于深度學習的主題模型研究

摘要： 主題模型作為一個發展二十余年的研究問題，一直是篇章級別文本語義理解的重要工具．主題模型善于從一組文檔中抽取出若干組關鍵詞來表達該文檔集的核心思想，因而也為文本分類、信息檢索、自動摘要、文本生成、情感分析等其他文本分析任務提供重要支撐．雖然基于三層貝葉斯網絡的傳統概率主題模型在過去十余年已被充分研究，但隨著深度學習技術在自然語言處理領域的廣泛應用，結合深度學習思想與方法的主題模型煥發出新的生機．研究如何整合深度學習的先進技術，構建更加準確高效的文本生成模型成為基于深度學習主題建模的主要任務．本文首先概述并對比了傳統主題模型中四個經典的概率主題模型與兩個稀疏約束的主題模型．接著對近幾年基于深度學習的主題模型研究進展進行綜述，分析其與傳統模型的聯系、區別與優勢，并對其中的主要研究方向和進展進行歸納、分析與比較．此外，本文還介紹了主題模型常用公開數據集及評測指標．最后，總結了主題模型現有技術的特點，并分析與展望了基于深度學習的主題模型的未來發展趨勢。

近年來，人們對學習圖結構數據表示的興趣大增。基于標記數據的可用性，圖表示學習方法一般分為三大類。第一種是網絡嵌入(如淺層圖嵌入或圖自動編碼器)，它側重于學習關系結構的無監督表示。第二種是圖正則化神經網絡，它利用圖來增加半監督學習的正則化目標的神經網絡損失。第三種是圖神經網絡，目的是學習具有任意結構的離散拓撲上的可微函數。然而，盡管這些領域很受歡迎，但在統一這三種范式方面的工作卻少得驚人。在這里，我們的目標是彌合圖神經網絡、網絡嵌入和圖正則化模型之間的差距。我們提出了圖結構數據表示學習方法的一個綜合分類，旨在統一幾個不同的工作主體。具體來說，我們提出了一個圖編碼解碼器模型(GRAPHEDM)，它將目前流行的圖半監督學習算法(如GraphSage、Graph Convolutional Networks、Graph Attention Networks)和圖表示的非監督學習(如DeepWalk、node2vec等)歸納為一個統一的方法。為了說明這種方法的一般性，我們將30多個現有方法放入這個框架中。我們相信，這種統一的觀點既為理解這些方法背后的直覺提供了堅實的基礎，也使該領域的未來研究成為可能。

概述

學習復雜結構化數據的表示是一項具有挑戰性的任務。在過去的十年中，針對特定類型的結構化數據開發了許多成功的模型，包括定義在離散歐幾里德域上的數據。例如，序列數據，如文本或視頻，可以通過遞歸神經網絡建模，它可以捕捉序列信息，產生高效的表示，如機器翻譯和語音識別任務。還有卷積神經網絡(convolutional neural networks, CNNs)，它根據移位不變性等結構先驗參數化神經網絡，在圖像分類或語音識別等模式識別任務中取得了前所未有的表現。這些主要的成功僅限于具有簡單關系結構的特定類型的數據(例如，順序數據或遵循規則模式的數據)。

在許多設置中，數據幾乎不是規則的: 通常會出現復雜的關系結構，從該結構中提取信息是理解對象之間如何交互的關鍵。圖是一種通用的數據結構，它可以表示復雜的關系數據(由節點和邊組成)，并出現在多個領域，如社交網絡、計算化學[41]、生物學[105]、推薦系統[64]、半監督學習[39]等。對于圖結構的數據來說，將CNNs泛化為圖并非易事，定義具有強結構先驗的網絡是一項挑戰，因為結構可以是任意的，并且可以在不同的圖甚至同一圖中的不同節點之間發生顯著變化。特別是，像卷積這樣的操作不能直接應用于不規則的圖域。例如，在圖像中，每個像素具有相同的鄰域結構，允許在圖像中的多個位置應用相同的過濾器權重。然而，在圖中，我們不能定義節點的順序，因為每個節點可能具有不同的鄰域結構(圖1)。此外，歐幾里德卷積強烈依賴于幾何先驗(如移位不變性)，這些先驗不能推廣到非歐幾里德域(如平移可能甚至不能在非歐幾里德域上定義)。

這些挑戰導致了幾何深度學習(GDL)研究的發展，旨在將深度學習技術應用于非歐幾里德數據。特別是，考慮到圖在現實世界應用中的廣泛流行，人們對將機器學習方法應用于圖結構數據的興趣激增。其中，圖表示學習(GRL)方法旨在學習圖結構數據的低維連續向量表示，也稱為嵌入。

廣義上講，GRL可以分為兩類學習問題，非監督GRL和監督(或半監督)GRL。第一個系列的目標是學習保持輸入圖結構的低維歐幾里德表示。第二系列也學習低維歐幾里德表示，但為一個特定的下游預測任務，如節點或圖分類。與非監督設置不同，在非監督設置中輸入通常是圖結構，監督設置中的輸入通常由圖上定義的不同信號組成，通常稱為節點特征。此外，底層的離散圖域可以是固定的，這是直推學習設置(例如，預測一個大型社交網絡中的用戶屬性)，但也可以在歸納性學習設置中發生變化(例如，預測分子屬性，其中每個分子都是一個圖)。最后，請注意，雖然大多數有監督和無監督的方法學習歐幾里德向量空間中的表示，最近有興趣的非歐幾里德表示學習，其目的是學習非歐幾里德嵌入空間，如雙曲空間或球面空間。這項工作的主要動機是使用一個連續的嵌入空間，它類似于它試圖嵌入的輸入數據的底層離散結構(例如，雙曲空間是樹的連續版本[99])。

鑒于圖表示學習領域的發展速度令人印象深刻，我們認為在一個統一的、可理解的框架中總結和描述所有方法是很重要的。本次綜述的目的是為圖結構數據的表示學習方法提供一個統一的視圖，以便更好地理解在深度學習模型中利用圖結構的不同方法。

目前已有大量的圖表示學習綜述。首先，有一些研究覆蓋了淺層網絡嵌入和自動編碼技術，我們參考[18,24,46,51,122]這些方法的詳細概述。其次，Bronstein等人的[15]也給出了非歐幾里德數據(如圖或流形)的深度學習模型的廣泛概述。第三，最近的一些研究[8,116,124,126]涵蓋了將深度學習應用到圖數據的方法，包括圖數據神經網絡。這些調查大多集中在圖形表示學習的一個特定子領域，而沒有在每個子領域之間建立聯系。

在這項工作中，我們擴展了Hamilton等人提出的編碼-解碼器框架，并介紹了一個通用的框架，圖編碼解碼器模型(GRAPHEDM)，它允許我們將現有的工作分為四大類: (i)淺嵌入方法，(ii)自動編碼方法，(iii) 圖正則化方法，和(iv) 圖神經網絡(GNNs)。此外，我們還介紹了一個圖卷積框架(GCF)，專門用于描述基于卷積的GNN，該框架在廣泛的應用中實現了最先進的性能。這使我們能夠分析和比較各種GNN，從在Graph Fourier域中操作的方法到將self-attention作為鄰域聚合函數的方法[111]。我們希望這種近期工作的統一形式將幫助讀者深入了解圖的各種學習方法，從而推斷出相似性、差異性，并指出潛在的擴展和限制。盡管如此，我們對前幾次綜述的貢獻有三個方面

• 我們介紹了一個通用的框架，即GRAPHEDM，來描述一系列廣泛的有監督和無監督的方法，這些方法對圖形結構數據進行操作，即淺層嵌入方法、圖形正則化方法、圖形自動編碼方法和圖形神經網絡。

• 我們的綜述是第一次嘗試從同一角度統一和查看這些不同的工作線，我們提供了一個通用分類(圖3)來理解這些方法之間的差異和相似之處。特別是，這種分類封裝了30多個現有的GRL方法。在一個全面的分類中描述這些方法，可以讓我們了解這些方法究竟有何不同。

• 我們為GRL發布了一個開源庫，其中包括最先進的GRL方法和重要的圖形應用程序，包括節點分類和鏈接預測。我們的實現可以在//github.com/google/gcnn-survey-paper上找到。