亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目： Graph convolutional networks for computational drug development and discovery

摘要：

盡管在過去的十年中，深度學習在各個領域都取得了令人矚目的成功，但其在分子信息學和藥物發現中的應用仍然受到限制。在將深層架構適應結構化數據方面的最新進展為藥物研究開辟了新的范例。 在這項調查中，我們對圖卷積網絡的新興領域及其在藥物發現和分子信息學中的應用進行了系統的綜述。通常，我們對圖卷積網絡為何以及如何能夠幫助完成與藥物有關的任務感興趣。文中通過四個角度闡述了現有的應用程序：分子性質和活性預測，相互作用預測，合成預測和藥物設計。還簡要介紹了圖卷積網絡背后的理論基礎，并說明了基于不同公式的各種體系結構。然后，總結了藥物相關問題中的代表性應用，并討論將圖卷積網絡應用于藥物發現的當前挑戰和未來可能性。

題目： M2GRL: A Multi-task Multi-view Graph Representation Learning Framework for Web-scale Recommender Systems

摘要： 將圖表示學習與多視圖數據(邊信息)相結合進行推薦是當前行業的發展趨勢。現有的方法大多可歸納為多視圖表示融合;它們首先構建一個圖，然后將多視圖數據集成到圖中每個節點的一個緊湊表示中。然而，這些方法在工程和算法方面都引起了關注:1)工業中的多視圖數據豐富且信息量大，可能超過單個矢量的能力;2)由于多視圖數據往往來自不同的分布，可能會引入歸納偏差。在本文中，我們使用多視圖表示對齊方法來解決這個問題。特別地，我們提出了一個多任務多視圖圖表示學習框架(M2GRL)，用于從多視圖圖中學習節點表示。M2GRL為每個單視圖數據構造一個圖，從多個圖中學習多個獨立的表達式，并執行與模型跨視圖關系的對齊。M2GRL選擇了多任務學習范式來聯合學習視圖內表示和跨視圖關系。M2GRL運用同方差不確定性自適應調整訓練過程中任務的減重。我們在淘寶上部署了M2GRL，并對它進行了570億例的培訓。根據離線度量和在線A/B測試，M2GRL顯著優于其他最先進的算法。在淘寶上對多樣性推薦的進一步探索表明，利用M2GRL產生的多重表示是有效的，我們認為這是一個很有前途的方向，為各種不同重點的行業推薦任務。

使用生成模型的無監督學習具有發現3D場景豐富表示的潛力。這種神經場景表示可能隨后支持各種下游任務，從機器人技術到計算機圖形再到醫學成像。然而，現有的方法忽略了場景最基本的屬性之一:三維結構。在這項工作中，我們使神經場景表征與一個感應偏差的三維結構的情況。我們證明了這種歸納偏差如何使無監督的發現幾何和外觀，只給定的二維圖像。通過學習一組這樣的三維結構感知神經表征的分布，我們可以執行聯合重建的三維形狀和外觀只給出一個單一的二維觀察。我們表明，在這個過程中學習到的特征使整個類對象的三維語義分割成為可能，只訓練了30個帶標記的例子，證明了三維形狀、外觀和語義分割之間的緊密聯系。最后，我們討論了場景表示學習在計算機視覺本身中的本質和潛在作用，并討論了未來工作的前景。

最近發布的GPT-3讓我對NLP中的零學習和小樣本的狀態產生了興趣。雖然大多數的零樣本學習研究集中在計算機視覺，也有一些有趣的工作在NLP領域。

我將會寫一系列的博文來涵蓋現有的關于NLP零樣本學習的研究。在這第一篇文章中，我將解釋Pushp等人的論文“一次訓練，到處測試:文本分類的零樣本學習”。本文從2017年12月開始，首次提出了文本分類的零樣本學習范式。

什么是零樣本學習?

零樣本學習是檢測模型在訓練中從未見過的類的能力。它類似于我們人類在沒有明確監督的情況下歸納和識別新事物的能力。

例如，我們想要做情感分類和新聞分類。通常，我們將為每個數據集訓練/微調一個新模型。相比之下，零樣本學習，你可以直接執行任務，如情緒和新聞分類，沒有任何特定的任務訓練。

一次訓練，隨處測試

本文提出了一種簡單的零樣本分類方法。他們沒有將文本分類為X類，而是將任務重新組織為二元分類，以確定文本和類是否相關。

//amitness.com/2020/05/zero-shot-text-classification/

題目： CURL: Contrastive Unsupervised Representations for Reinforcement Learning

摘要：

我們提出了CURL:用于強化學習的對比無監督表示法。CURL使用對比學習從原始像素中提取高級特征，并在提取的特征之上執行off-policy控制。在DeepMind控制套件和Atari游戲中，在100K交互步驟基準測試中，CURL在復雜任務上的表現優于先前基于模型和非模型的基于像素的方法，分別提高了2.8倍和1.6倍的性能。在DeepMind控制套件中，CURL是第一個基于圖像的算法，它的效率和性能幾乎與使用基于狀態的特性的方法不相上下。

題目： Gradient Surgery for Multi-Task Learning

摘要： 雖然深度學習和深度強化學習（RL）系統在圖像分類、游戲和機器人控制等領域取得了令人印象深刻的成果，但數據效率仍然是一個重大挑戰。多任務學習是一種很有前途的跨任務共享結構的學習方法。然而，多任務設置帶來了許多優化挑戰，與獨立學習任務相比，很難實現大的效率提升。與單任務學習相比，多任務學習之所以具有如此大的挑戰性，其原因還不完全清楚。在這項工作中，我們確定了多任務優化環境中導致有害梯度干擾的三個條件，并開發了一種簡單而通用的方法來避免任務梯度之間的這種干擾。我們提出一種梯度手術的形式，將一個任務的梯度投影到任何其他具有沖突梯度的任務的梯度的法平面上。在一系列具有挑戰性的多任務監督和多任務RL問題上，該方法在效率和性能上都有顯著提高。此外，它與模型無關，可以與先前提出的多任務體系結構相結合以提高性能。

作者簡介： Tianhe Yu，加州大學伯克利分校研究助理。官方主頁：//tianheyu927.github.io/等

題目： Group Representation Theory for Knowledge Graph Embedding

摘要： 最近，知識圖譜嵌入已經成為一種流行的建模和推斷缺失鏈接的方法。本文提出了一種知識圖譜嵌入的群論觀點，將以往的方法與不同的群作用聯系起來。此外，利用群表示理論中的Schur引理，我們證明了最新的嵌入方法RotatE具有從任意有限阿貝爾群建立關系的能力

作者簡介： Chen Cai，俄亥俄州立大學計算機科學與工程系博士。他的研究興趣在于圖表示學習和拓撲數據分析。

題目： A Survey on Distributed Machine Learning

簡介： 在過去十年中，對人工智能的需求已顯著增長，并且這種增長得益于機器學習技術的進步以及利用硬件加速的能力，但是，為了提高預測質量并在復雜的應用程序中提供可行的機器學習解決方案，需要大量的訓練數據。盡管小型機器學習模型可以使用一定數量的數據進行訓練，但用于訓練較大模型（例如神經網絡）的輸入與參數數量成指數增長。由于處理訓練數據的需求已經超過了計算機器的計算能力的增長，因此急需在多個機器之間分配機器學習工作量，并將集中式的精力分配到分配的系統上。這些分布式系統提出了新的挑戰，最重要的是訓練過程的科學并行化和相關模型的創建。本文通過概述傳統的（集中的）機器學習方法，探討了分布式機器學習的挑戰和機遇，從而對當前的最新技術進行了廣泛的概述，并對現有的技術進行研究。

題目： AdversarialRepresentationActiveLearning

簡介： 主動學習的目的是通過查詢將由Oracle標記的信息最多的樣本來開發標簽有效的算法。 設計需要較少標簽的有效培訓方法是一個重要的研究方向，它可以更有效地利用計算和人力資源來進行訓練深度神經網絡。 在這項工作中，我們演示了如何利用深度生成模型中的最新進展，在使用盡可能少的標簽來達到最高分類精度方面，勝過最新技術。 與以前的方法不同，我們的方法不僅使用標記圖像來訓練分類器，而且還使用未標記圖像和生成的圖像來共同訓練整個模型。

論文題目： A Structural Graph Representation Learning Framework

論文摘要： 許多基于圖的機器學習任務的成功在很大程度上取決于從圖數據中學習到的適當表示。大多數工作都集中在于學習保留鄰近性的節點嵌入，而不是保留節點之間結構相似性的基于結構的嵌入。這些方法無法捕獲對基于結構的應用程序(如web日志中的visitor stitching)至關重要的高階結構依賴和連接模式。在這項工作中，我們闡述了高階網絡表示學習，并提出了一個稱為HONE的通用框架，用于通過節點鄰域中的子圖模式(network motifs, graphlet orbits/positions)從網絡中學習這種結構性節點嵌入。HONE引入了一種通用的diffusion機制和一種節省空間的方法，該方法避免了使用k-step線性算子來顯式構造k-step motif-based矩陣。此外，HONE被證明是快速和有效的，最壞情況下的時間復雜度幾乎是線性的。實驗結果表明，該算法能有效地處理大量的網絡日志數據，包括鏈接預測和visitor stitching。

作者簡介：

Ryan A. Rossi，目前在Adobe Research工作，研究領域是機器學習；涉及社會和物理現象中的大型復雜關系（網絡/圖形）數據的理論、算法和應用。在普渡大學獲得了計算機科學博士和碩士學位。

Nesreen K. Ahmed，英特爾實驗室的高級研究員。我在普渡大學計算機科學系獲得博士學位，在普渡大學獲得統計學和計算機科學碩士學位。研究方向是機器學習和數據挖掘，涵蓋了大規模圖挖掘、統計機器學習的理論和算法，以及它們在社會和信息網絡中的應用。