亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

如何對不同設置下的序列數據建模是一個跨許多領域的重要機器學習問題，包括對時間序列數據、自然語言文本和事件流的預測。不同字段中的順序數據通常具有不同的特征。例如，自然語言文本可以被視為一個離散變量的序列，而傳感器網絡信號可以被視為一個連續向量空間中的多變量序列。為了在各種各樣的現實世界領域中開發成功的神經網絡模型，我們需要根據數據和問題的性質定制架構和算法。本文設計了新穎高效的神經網絡解決方案，用于序列建模和應用。具體來說，這些貢獻可以分為四部分。

第一部分重點研究了多變量序列數據中變量之間的相關性，如多傳感器的時間序列，并提出了新的算法，即深度可分圖卷積網絡(DSGC)(第二章)[60]和分解遞歸神經網絡(FRNN)(第三章)[63]，以利用相關模式，提高預測精度。

第二部分側重于將人類先驗知識用于時序數據依賴模式的時間建模。具體地說，我們提出了一種新的方法，命名為長期和短期時間序列網絡(LSTNet)(第4章)[59]，它被證明是特別有效的捕獲各種周期模式在不同的應用。

第三部分著重于序列分類任務中Transformers 的高效算法。具體來說，通過識別常用的Transformer架構中的計算冗余，并提出一種新的替代方案，即漏斗Transformers (第5章)[27]，我們實現了更好的計算與精度之間的權衡。

第四部分側重于事件之間時間關系的建模/預測，其中的主要挑戰是從稀疏標記的數據中有效學習。我們通過結合高級數據增強、半監督學習和人類先驗知識的引入來應對這一挑戰(第6章)。因此，我們大大提高了這項任務的最先進性能。

近年來，在Instagram、Podcast、Clubhouse、YouTube等各種平臺上產生和發布了大量的多媒體數據。這一現象啟發了大規模多媒體分析的研究工作，包括分析方法的基礎，以及一些具體的下游應用(如識別、檢索和信息提取)。特別是多媒體的表示學習是其中最重要的研究方向之一。一個良好的多媒體數據實例特征表示具有可解釋性和通用性，可以提高下游任務的性能和效率。 由于多媒體內容的豐富性和噪聲性，對其進行良好的表示具有挑戰性。例如，在語音處理任務中，人類的話語包含語言信息，以及說話人的身份、說話風格和背景噪聲等其他因素。在這種情況下，我們需要一種表示類型，它從所有這些因素中捕獲信息，并為下游應用程序恢復有用的因素。大多數主流技術利用特征向量來表示訓練數據集中的每個實例，并通過進行預訓練任務來優化特征提取器。然而，基于向量的表示方法不足以保持多媒體數據的豐富度和處理噪聲。此外，常見的預訓練程序，如計算機視覺研究領域的ImageNet分類任務，只關注單一類型的鑒別信息，對于某些應用可能是不夠的。因此，在本文中，我探索了兩個研究方向來解決這些問題。 在本文的第一部分，我提出了兩種新的多媒體內容表示類型:概率分布和線性子空間。與基于向量的表示方法相比，這兩種方法都能較好地處理多媒體的豐富度和噪聲。為了在下游任務中利用這兩種表示，設計特定的算法和訓練策略是必要的。在這部分論文中，我介紹了將分布和子空間表示與深度神經網絡架構相結合的方法，這些方法可以端到端地進行優化。在下游任務上的實驗結果表明，與主流的向量表示方法相比，本文提出的兩種表示方法具有更好的性能。 在本文的第二部分，我研究了風格和內容解糾纏技術，它明確地保留了表征學習過程中多媒體內容中的不同因素。解糾纏表示提供了更好的可解釋性，并允許在數據合成場景中操縱隱藏因素。基于這一動機，我提出了兩種方法來有效地分離多媒體數據中的隱藏因素。第一種方法將風格和內容之間的關系建模為隱藏特征空間中的簡單矩陣操作。第二種方法通過制定對抗訓練準則來最小化兩個隱藏因素之間的互信息。在數據合成/生成任務的定性和定量實驗中，評價了兩種方法的優勢。此外，我進一步論證了風格和內容解糾纏技術的適用性，通過構建一個預訓練框架與生成模型。具體來說，生成模型產生的合成數據可以支持語音識別、人的重新識別等下游任務的監督訓練過程。此外，解纏生成過程將數據擴充的思想從原始數據空間擴展到可解釋的表示空間，允許我們在下游任務中納入更多的先驗知識。

機器學習方法已經廣泛應用于藥物發現領域，使得更強大和高效的模型成為可能。在深度模型出現之前，建模分子在很大程度上是由專家知識驅動的;為了表現分子結構的復雜性，這些手工設計的規則被證明是不夠的。深度學習模型是強大的，因為它們可以學習問題的重要統計特征——但只有正確的歸納偏差。我們在兩個分子問題的背景下解決這個重要的問題:表征和生成。深度學習的典型成功在于它能夠將輸入域映射到有意義的表示空間。這對于分子問題尤其尖銳，分子之間的“正確”關系微妙而復雜。本論文的第一部分將重點討論分子表征，特別是性質和反應預測。在這里，我們探索了一種用于分子表示的Transformer式架構，提供了將這些模型應用于圖形結構對象的新工具。拋開傳統的圖神經網絡范式，我們展示了分子表示原型網絡的有效性，它允許我們對分子的學習性質原型進行推理。最后，我們在改進反應預測的背景下研究分子表示。本論文的第二部分將集中在分子生成，這是至關重要的藥物發現作為一種手段，提出有前途的藥物候選人。我們開發了一種新的多性質分子生成方法，通過首先學習分子片段的分布詞匯。然后，利用這個詞匯，我們調查了化學空間的有效探索方法。

//dspace.mit.edu/handle/1721.1/143362

機器學習已經迅速改變了藥物發現的傳統渠道，為過程的每一步提供了新的工具。許多傳統上需要廣泛、專業領域知識的問題已經通過深度學習工具解決，使它們更高效、更廉價。先前的化學信息學方法使用許多手工設計的規則來建模小分子。這些技術被用于解決諸如性質預測之類的問題，其中的任務是預測分子的性質。然而，試圖解決這些表示問題的傳統方法由于其不靈活的特性而缺乏良好的泛化能力。深度學習模型的變革性方面在于模型直接從數據中學習和提取重要特征的能力。然而，這只有在正確的結構偏差和模型基礎上的建模假設下才可能實現。在分子問題上天真地應用深度方法會限制模型的能力或有用性，阻礙它們的推廣能力和在實踐中的有用性。因此，利用正確的歸納偏差的重要性不能被低估。

在深度學習方法出現之前，分子建模需要繁重的工程和固定的表示，通常被稱為定量構效關系(QSAR)方法。在這些方法中，指紋技術是非常受歡迎的，大致可以分為基于結構的[30]、拓撲[1]、循環[8]和藥效團指紋等幾種類型[91]。其中一些指紋(如基于結構的MACCS[30]指紋)是高度特定的表示，由一組固定的預定義結構的指示函數組成。其他的指紋，拓撲的和圓形的，其中包括摩根指紋更靈活。這些指紋通過枚舉路徑或環形鄰域來捕獲局部拓撲。然而，問題仍然存在于生成方法的確定性本質中:如果這些預定義規則沒有為任務捕獲正確的表示，它們將不能很好地工作。例如，對于許多小分子問題來說，性質懸崖(property cliff)仍然是一個具有挑戰性的問題，這是一種類似分子表現出不同性質的現象。這個問題對于分子指紋尤其尖銳，因為特征是固定的。然而，使用深度模型也不能解決這個問題，因為深度模型很容易與數據過度擬合，并且提供較差的泛化。

因此，我們的深度學習模型納入正確類型的結構偏差是至關重要的。圖神經網絡通過迭代聚合方案進行操作，在每一步，節點從其鄰居聚合信息。依次，一個節點應該包含越來越多的關于更大的鄰域的信息。節點表示最終聚合為表示圖的單個向量。雖然這種簡單的范式有時是有效的，但可能并不總是包含正確的分子任務類型的偏見。例如，當考慮分子的特性時，這種局部鄰域聚集可能無法捕捉到很重要的遠程依賴關系。更重要的是，也許在二維分子圖上的聚集并不適合理想的分子表示，我們應該觀察三維結構。對于分子的深度模型的發展有許多考慮，但它們需要正確的結構才能有效。指紋表示很簡單，但不靈活，經常涉及很多人類設計的規則。另一方面，深度模型很容易過擬合，無法捕捉正確的結構表示。

編譯 | 陶雯 審稿 | 楊慧丹

本文介紹由密歇根州立大學和Agios制藥公司合作發表于KDD 2021上的研究工作。作者研究了生物醫學領域中的圖對比學習，提出了一個名為MoCL的新框架，它利用局部和全局層次的領域知識來輔助表征學習。局部層次的領域知識指導增強過程，可以在不改變圖語義的情況下引入變化。全局知識對整個數據集中的圖之間的相似信息進行編碼，有助于學習語義更豐富的表示。作者在各種分子數據集上對MoCL進行了評估，結果表明MoCL達到了最先進的性能。

1 簡介

圖神經網絡（GNN）已被證明在與圖相關的任務上具有最先進的性能。最近它還經常被用于生物醫學領域，解決與藥物相關的問題。然而，與大多數深度學習網絡一樣，它需要大量有標簽數據進行訓練，而現實世界中特定任務的標簽通常數量有限，因此關于GNN的預訓練方案近期得到了積極探索。然而，與圖像不同，圖對比學習有其獨特的挑戰。首先，圖的結構信息和語義在不同領域（例如社交網絡與分子圖）之間存在顯著差異，因此很難設計出適用于所有場景的通用增強方案。第二，目前大多數圖對比學習框架忽略了整個數據的全局結構，比如結構相似的兩個圖在嵌入空間應該更接近。第三，對比方案不是唯一的，對比可以發生在節點-圖，節點-節點，圖-圖之間。

除了這些獨特的圖挑戰，對比學習本身也存在一些尚未解決的問題。例如，在高維情況下準確估計互信息是困難的。互信息最大化與對比學習之間的關系尚不明確。

因此，本文作者的目標是在生物醫學領域解決上述挑戰。作者的假設是，通過向增強和對比方案中注入領域知識，可以學習更好的表示。作者建議利用局部和全局兩個層次的領域知識來輔助分子圖的對比學習。作者提出了一種新的增強方案，稱為子結構替換，其中分子中的有效子結構被一個生物電子等排體替換，該生物電子等排體在不太改變分子性質的情況下引入變化。替換規則來源于領域資源，作者將其視為局部層次的領域知識。全局層次領域知識對圖之間的全局相似性進行編碼。作者建議利用這些信息通過雙對比目標學習更豐富的表征。本文是第一個嘗試利用領域知識來輔助對比學習的工作，

作者的貢獻如下：

• 提出了一種基于局部層次領域知識的分子圖增強方案，使得圖的語義在增強過程中不發生變化。
• 利用分子圖之間的相似性信息，通過添加全局對比損失，將數據的全局結構編碼到圖表示中。
• 提供了學習目標與度量學習中的三重損失有關的理論依據，說明了整個框架的有效性。
• 在各種分子數據集上對MoCL進行評估，并證明其優于最先進的方法。

2 方法

2.1 對比學習框架 圖1為MoCL的總體框架。首先，從局部領域知識生成兩個增強視圖。然后，它們與原始視圖（藍色）一起輸入GNN編碼器和投影頭。局部層次對比最大化了兩個增強視圖之間的互信息。全局層次的對比最大化了兩個相似圖之間的互信息，其中相似信息來自全局層次的領域知識。

圖1 MoCL的總體框架

2.2 局部層次領域知識 大多數現有方法在增強過程中可能會改變分子圖的語義（圖2a,b,c,d）。在一般的增強中，只有屬性掩蔽（圖2d）不違反生物學假設，因為它不會改變分子，它只掩蔽部分原子和邊屬性。

因此作者注入領域知識來輔助增強過程。作者提出了子結構替換，其中分子中的有效子結構被一個生物電子等排體取代，該生物電子等排體產生一個具有與原始分子相似的物理或化學性質的新分子（圖2e）。作者從領域資源中收集了218條規則，每個規則由一個源子結構和一個目標子結構組成，并增加了12個額外的規則從一個分子中減去和添加碳基團。因此MoCL共包含230條規則，用于生成具有相似性質的分子變體。

圖2 增強比較

2.3 全局層次領域知識 最大化對應視圖之間的互信息可以學習變換不變表示，然而它可能會忽略數據的全局語義。例如，對于一些具有類似圖結構或語義的圖，在嵌入空間中應該更接近。對于分子圖，這樣的信息可以從多個來源獲得。對于一般的圖結構，擴展連通性指紋（ECFP）對分子子結構進行編碼，并被廣泛用于計算分子圖之間的結構相似性。作者使用ECFP計算分子圖之間的相似性，提出兩種策略將全局語義納入學習框架，一種策略是將其用作直接監督，第二種策略是利用一個對比目標，在這個目標中相似的兩個圖具有更高的互信息。

3 實驗

3.1 局部層次領域知識

圖3顯示了在linear protocol下所有數據集的不同增強組合的結果。每個單元格表示從頭訓練的GNN與用不同的增強組合方法訓練的模型在linear protocol下的性能提升。藍色代表負值，紅色代表正值。MoCL-DK得到的表示加上線性分類器產生的預測準確率與GNN效果（bace、bbbp、sider）相當，甚至比它更好（clintox，mutag）。可以看到包含MoCL-DK的行和列的值通常更高，因此MoCL-DK與其它增強方法相結合幾乎總是能產生更好的結果。屬性掩蔽和MoCL-DK一般在所有場景中都有效，將它們結合起來通常會有更好的性能。這驗證了作者之前的假設，即MoCL-DK和屬性掩蔽不違反生物學假設，因此比其它增強效果更好。

圖3 linear evaluation protocol下的增強組合 表1展示了分別在linear protocol和semi-supervised protocol下的實驗結果。與其它用到數據增強和對比學習的方法比較，MoCL的性能在大部分數據集上都是最佳的。

表1 各種方法的平均AUC

本文提出的增強MoCL-DK可以多次應用，生成更復雜的視圖。作者嘗試了一系列不同的增強強度，強度指的是增強幾次（例如替換后再替換一次，就是增強兩次）。圖4比較了不同增強強度情況下的效果。對于大多數數據集，隨著增強次數的增多，其性能先上升后下降，MoCL-DK3通常能取得更好的結果。

圖4 MoCL-Local不同增強強度的平均AUC

3.2 全局層次領域知識 圖5展示了加入全局領域知識后不同增強方法的性能提升。可以看到，全局信息通常會提升所有的增強方法的性能。與其它增強方案相比，所提出的領域增強（MoCL-DK1和MoCL-DK3）的提升要高得多。

圖5 加入全局領域知識后不同增強方法的性能提升 3.3 敏感度分析 圖6顯示了所提出的方法在不同超參數組合下的性能曲面。可以看到，對于全局損失，使用相對較小的鄰域大小(不是太小)和較大的權重(不是太大)可以獲得最佳結果。

圖6 在不同超參數組合下的平均AUC

4 總結

在這項工作中，作者利用多層次的領域知識來輔助分子圖的對比表征學習。局部領域知識支持新的增強方案，全局領域知識將數據的全局結構整合到學習過程中。作者證明了這兩種知識都能提高學習表征的質量。 參考資料 論文鏈接 //dl.acm.org/doi/10.1145/3447548.3467186

在一個特定的數據集上訓練一個強大的神經預測器執行一項任務的主流NLP范式取得了在各種應用上的成功(如:情感分類、基于廣度預測的問答或機器翻譯)。然而，它建立在數據分布是平穩的假設之上，即。在訓練和測試時，數據都是從一個固定的分布中取樣的。這種訓練方式與我們人類在不斷變化的信息流中學習和操作的方式不一致。此外，它不適合于真實世界的用例，在這些用例中，數據分布預計會在模型的生命周期中發生變化。

本文的第一個目標是描述這種偏移在自然語言處理環境中可能采取的不同形式，并提出基準和評價指標來衡量它對當前深度學習體系結構的影響。然后，我們繼續采取步驟，以減輕分布轉移對NLP模型的影響。為此，我們開發了基于分布魯棒優化框架的參數化重構方法。從經驗上講，我們證明了這些方法產生了更魯棒的模型，正如在選擇的現實問題上所證明的那樣。在本文的第三部分和最后一部分，我們探索了有效地適應現有模型的新領域或任務的方法。我們對這個主題的貢獻來自于信息幾何學的靈感，獲得了一個新的梯度更新規則，緩解了適應過程中災難性的遺忘問題。

我們從評估開始，因為分布轉移特別難以描述和測量，特別是在自然語言方面。這部分是由于數據缺乏規范的度量結構。換句話說，如何有效地衡量兩個句子之間的語義相似度還不清楚，因此沒有直接的方法來衡量兩個樣本之間的差異，更不用說兩種分布了。因此，作為解決分布偏移的第一步，我們提出了一個新的基準(第3章)和評估指標(第4章)，分別評估域偏移和對抗擾動的魯棒性。有了這些工具在手，我們開始構建魯棒的模型，這些模型經過訓練，即使在沒有關于轉移本質的明確信息的情況下，對分布轉移也不那么敏感。這是通過利用訓練分布中的數據多樣性來實現的，以確保在訓練數據(子群體)中存在的各種領域上的統一性能。具體來說，我們制定了一個分布魯棒優化框架的參數化版本，該框架允許訓練模型對子群體轉移更為穩健(第5章和第6章)。最后，在靜態環境中學習從根本上是次優的:我們不能期望我們的模型在每一個可能的未來環境中都表現良好，我們必須能夠使它們適應我們遇到的任何新情況。因此，我們研究了一種機制，通過這種機制，我們能夠根據新的證據微調訓練模型，而不會忘記之前獲得的知識(第7章)。

//www.zhuanzhi.ai/paper/c5e7a9742d6a6313d63c5976499166dc

在觀看視頻時，視覺事件的發生往往伴隨著聲音事件，如唇動的聲音，樂器演奏的音樂。視聽事件之間存在著一種潛在的相關性，通過解決視聽同步的代理任務，可以將其作為自監督信息來訓練神經網絡。在本文中，我們提出了一種新的帶有共同注意力機制的自監督框架來學習無標記視頻中的通用跨模態表示，并進一步使下游任務受益。具體而言，我們探討了三個不同的共注意模塊，以關注與聲音相關的區分視覺區域，并介紹它們之間的相互作用。實驗表明，與現有方法相比，我們的模型在參數較少的情況下，取得了較好的效果。為了進一步評估我們方法的可推廣性和可遷移性，我們將預訓練的模型應用于兩個下游任務，即聲源定位和動作識別。大量的實驗表明，我們的模型可以提供與其他自監督方法競爭的結果，也表明我們的方法可以處理具有挑戰性的場景包含多個聲源。

//arxiv.org/abs/2008.05789

使用生成模型的無監督學習具有發現3D場景豐富表示的潛力。這種神經場景表示可能隨后支持各種下游任務，從機器人技術到計算機圖形再到醫學成像。然而，現有的方法忽略了場景最基本的屬性之一:三維結構。在這項工作中，我們使神經場景表征與一個感應偏差的三維結構的情況。我們證明了這種歸納偏差如何使無監督的發現幾何和外觀，只給定的二維圖像。通過學習一組這樣的三維結構感知神經表征的分布，我們可以執行聯合重建的三維形狀和外觀只給出一個單一的二維觀察。我們表明，在這個過程中學習到的特征使整個類對象的三維語義分割成為可能，只訓練了30個帶標記的例子，證明了三維形狀、外觀和語義分割之間的緊密聯系。最后，我們討論了場景表示學習在計算機視覺本身中的本質和潛在作用，并討論了未來工作的前景。