亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

深度學習能自動從大樣本數據中學習獲得優良的特征表達,有效提升各種機器學習任務的性能,已廣泛應用于信號處理、計算機視覺和自然語言處理等諸多領域。基于深度學習的醫學影像智能計算是目前智慧醫療領域的研究熱點,其中深度學習方法已經應用于醫學影像處理、分析的全流程。由于醫學影像內在的特殊性、復雜性,特別是考慮到醫學影像領域普遍存在的小樣本問題,相關學習任務和應用場景對深度學習方法提出了新要求。本文以臨床常用的X射線、超聲、計算機斷層掃描和磁共振等4種影像為例,對深度學習在醫學影像中的應用現狀進行綜述, 特別面向圖像重建、病灶檢測、圖像分割、圖像配準和計算機輔助診斷這5大任務的主要深度學習方法的進展進行介紹,并對發展趨勢進行展望。

//www.cjig.cn/jig/ch/reader/view_abstract.aspx?edit_id=20200923131243001&flag=2&file_no=202006020000002&journal_id=jig

賦予機器以感知三維世界的能力，就像我們人類一樣，是人工智能領域一個基本且長期存在的主題。給定不同類型的視覺輸入，如二維/三維傳感器獲取的圖像或點云，一個重要的目標是理解三維環境的幾何結構和語義。傳統的方法通常利用手工特征來估計物體或場景的形狀和語義。然而，他們很難推廣到新的對象和場景，并努力克服關鍵問題造成的視覺遮擋。相比之下，我們的目標是理解場景和其中的對象，通過學習一般和魯棒的表示使用深度神經網絡，訓練在大規模的真實世界3D數據。為了實現這些目標，本文從單視圖或多視圖的物體級三維形狀估計到場景級語義理解三個方面做出了核心貢獻。

在第3章中，我們從一張圖像開始估計一個物體的完整三維形狀。利用幾何細節恢復密集的三維圖形，提出一種強大的編碼器解碼器結構，并結合對抗式學習，從大型三維對象庫中學習可行的幾何先驗。在第4章中，我們建立了一個更通用的框架來從任意數量的圖像中精確地估計物體的三維形狀。通過引入一種新的基于注意力的聚合模塊和兩階段的訓練算法，我們的框架能夠集成可變數量的輸入視圖，預測穩健且一致的物體三維形狀。在第5章中，我們將我們的研究擴展到三維場景，這通常是一個復雜的個體對象的集合。現實世界的3D場景，例如點云，通常是雜亂的，無結構的，閉塞的和不完整的。在借鑒以往基于點的網絡工作的基礎上，我們引入了一種全新的端到端管道來同時識別、檢測和分割三維點云中的所有對象。

總的來說，本文開發了一系列新穎的數據驅動算法，讓機器感知我們真實的3D環境，可以說是在推動人工智能和機器理解的邊界。

//ora.ox.ac.uk/objects/uuid:5f9cd30d-0ee7-412d-ba49-44f5fd76bf28

數據科學是設計從大量數據中提取知識的算法和管道。時間序列分析是數據科學的一個領域，它感興趣的是分析按時間順序排列的數值序列。時間序列特別有趣，因為它讓我們能夠可視化和理解一個過程在一段時間內的演變。他們的分析可以揭示數據之間的趨勢、關系和相似性。存在大量以時間序列形式包含數據的領域:醫療保健(心電圖、血糖等)、活動識別、遙感、金融(股票市場價格)、工業(傳感器)等。

在數據挖掘中，分類是一項受監督的任務，它涉及從組織到類中的帶標簽的數據中學習模型，以便預測新實例的正確標簽。時間序列分類包括構造用于自動標注時間序列數據的算法。例如，使用健康患者或心臟病患者的一組標記的心電圖，目標是訓練一個模型，能夠預測新的心電圖是否包含病理。時間序列數據的時序方面需要算法的發展，這些算法能夠利用這種時間特性，從而使傳統表格數據現有的現成機器學習模型在解決底層任務時處于次優狀態。

在這種背景下，近年來，深度學習已經成為解決監督分類任務的最有效方法之一，特別是在計算機視覺領域。本論文的主要目的是研究和發展專門為分類時間序列數據而構建的深度神經網絡。因此，我們進行了第一次大規模的實驗研究，這使我們能夠比較現有的深度學習方法，并將它們與其他基于非深度學習的先進方法進行比較。隨后，我們在這一領域做出了大量的貢獻，特別是在遷移學習、數據增強、集成和對抗性攻擊的背景下。最后，我們還提出了一種新的架構，基于著名的Inception 網絡(谷歌)，它是目前最有效的架構之一。

我們在包含超過100個數據集的基準測試上進行的實驗使我們能夠驗證我們的貢獻的性能。最后，我們還展示了深度學習方法在外科數據科學領域的相關性，我們提出了一種可解釋的方法，以便從運動學多變量時間序列數據評估外科技能。

深度學習序列分類概述

在過去的二十年中，TSC被認為是數據挖掘中最具挑戰性的問題之一(Yang and Wu, 2006; Esling and Agon, 2012)。隨著時間數據可用性的增加(Silva et al.，2018)，自2015年以來已有數百種TSC算法被提出(Bagnall et al.，2017)。由于時間序列數據具有自然的時間順序，幾乎在每一個需要某種人類認知過程的任務中都存在時間序列數據(Langkvist, Karlsson, and Loutfi, 2014)。事實上，任何使用考慮到排序概念的已注冊數據的分類問題都可以被視為TSC問題(Cristian Borges Gamboa, 2017)。時間序列在許多實際應用中都遇到過，包括醫療保健(Gogolou等，2018)和人類活動識別(Wang et al.，2018;到聲學場景分類(Nwe, Dat, and Ma, 2017)和網絡安全(Susto, Cenedese, and Terzi, 2018)。此外，UCR/UEA檔案中數據集類型的多樣性(Dau等，2019;Bagnall et al，2017)(最大的時間序列數據集儲存庫)展示了TSC問題的不同應用。

表示學習（representation learning）, 又稱表征學習，是指將輸入數據轉化成 適用于機器學習形式的過程。通常地，機器學習的性能依賴于對數據表示的選 擇，一個好的表示可以使得模型對輸入數據進行更好的理解。近年來，神經網絡 的興起，使得我們可以自動地對輸入數據進行特征抽取。這極大推動了表示學習 的發展，并給我們帶來了進一步探究的可能性。

一般地，表示學習的研究可以按照不同角度進行劃分：從學習方式上，可以 分為有監督學習和無監督學習；從輸入數據模態上，可以分為文本表示、圖像表 示以及語音表示；從共享獨立性上，可以分為共享表示和私有表示。在自然語言 處理中，使用深度學習技術（即深度神經網絡）對文本進行表示學習已經成為一 個很有價值的研究方向。本文工作圍繞著以下問題展開：1）對于不同粒度的文 本（詞語、句子、句對），如何設計合理的結構，使得模型可以學習到適合最終任 務的表示？深度學習的到來使得自然語言處理中的研究工作由原來的特征工程 (feature engineering) 過渡到了現在的結構工程 (architecture engineering) ，而對于 文本的表示學習，首先要解決的最基本問題就是尋找合適的歸納偏置 (inductive bias)，使得模型可以更好地對輸入文本進行編碼。而本文分別針對不同粒度的文 本信號，進行相應的網絡結構探索，希望找到更適合下游任務的結構偏置。2）如 何進行針對性的遷移學習？有針對性地進行遷移是指我們要對遷移的知識“按 需分配”，這就要求我們學習的知識應該具備可遷移性，此外，我們還要對已有 的知識進行可理解分析，從而可以分離我們真正需要的知識，最終實現知識的定 向遷移。對于以上兩個亟待解決的問題，本文通過兩個方面，九個章節進行遞進 式探討，其貢獻總結如下：

一方面，對于不同粒度文本的表示學習，本文分別探索了最適合下游任務的 歸納偏置，并且利用這些歸納偏置設計新的模型，這些模型在主流的數據集上都 取得了當時最好的效果。

• 1. 詞語: 詞語表示學習的研究是深度神經網絡技術最先觸及的領域。經典的 基于神經網絡的分布式語義表示學習方法可以將任意詞映射到一個低維的 向量空間，然而這種表示往往與上下文獨立，無法處理一詞多義的現象。針 對這個問題，我們提出了融入 “主題” 信息的神經張量詞語表示學習模型， 該模型最大的特點是可以學習到與上下文相關的詞表示，從而緩解一詞多 義現象帶來的語義消歧問題。
• 2. 句子：基于深度神經網絡的句子表示學習是一個重要的研究任務。在句子 建模的任務里，我們的研究圍繞著三個問題展開：如何建模包含習語的句 子？如何解決語義合成的多樣性與函數單一性導致的網絡表示能力不足的 問題？如何動態學習句子的結構而不是預先指定？針對以上問題，我們分 別提出了基于樹結構的自適應語義合成網絡、動態語義合成網絡、和基于 圖的語境化網絡。這些模型分別引入了不同的并且適用于當前任務的結構 偏置。
• 3. 句對：句對的表示學習在自然語言處理中有很廣泛的應用場景，如語義匹 配，自動問答等。解決這個任務的關鍵在于如何建模兩個句子之間復雜的 交互關系。這里我們提出了一種基于多維長短時記憶網絡的學習框架，可 以建立兩個句子之間強交互關系。另一方面，我們提出學習具有特殊性質的文本表示，這為我們實現針對性遷 移做了鋪墊。具體說來，我們通過利用對抗學習（adversarial learning）以及元學 習（meta learning）方式，探索了如何學習具有可遷移性、可分離性，可理解性 的文本表示。
• 1. 可遷移性：深度學習技術不僅可以自動提取出有用的特征，它的另一個迷 人之處在于可以對已經學習好的特征進行遷移學習。本文以循環神經網絡 為原型，提出了三種適用于文本序列可遷移性學習的框架。
• 2. 可分解性：一個好的表示應該可以結構化，并且按照功能屬性進行分離，這 樣我們才能更好地進行遷移使用。本文中，為了將不同任務之間共享和私有的特征實現分離，我們將對抗學習的思想引入到多任務學習中，該模型 可以實現對共享空間的凈化，實現共享-私有特征的正交分離。
• 3. 可理解性：很多時候，深度模型取得好結果是以犧牲我們對模型的理解能 力為代價的。那么對于學習到的表示，如何對學習的知識進行可理解分析？本文通過動態建立圖神經網絡實現了一種可理解模型的學習。

關鍵詞：深度學習；語義表示學習；自然語言處理；歸納偏置；知識遷移

使用生成模型的無監督學習具有發現3D場景豐富表示的潛力。這種神經場景表示可能隨后支持各種下游任務，從機器人技術到計算機圖形再到醫學成像。然而，現有的方法忽略了場景最基本的屬性之一:三維結構。在這項工作中，我們使神經場景表征與一個感應偏差的三維結構的情況。我們證明了這種歸納偏差如何使無監督的發現幾何和外觀，只給定的二維圖像。通過學習一組這樣的三維結構感知神經表征的分布，我們可以執行聯合重建的三維形狀和外觀只給出一個單一的二維觀察。我們表明，在這個過程中學習到的特征使整個類對象的三維語義分割成為可能，只訓練了30個帶標記的例子，證明了三維形狀、外觀和語義分割之間的緊密聯系。最后，我們討論了場景表示學習在計算機視覺本身中的本質和潛在作用，并討論了未來工作的前景。

語義圖像分割任務包括將圖像的每個像素分類為一個實例，其中每個實例對應一個類。這個任務是場景理解或更好地解釋圖像的全局上下文概念的一部分。在醫學圖像分析領域，圖像分割可用于圖像引導干預、放療或改進的放射診斷。本綜述將基于深度學習的醫學和非醫學圖像分割解決方案分為六大組:深度架構、基于數據合成、基于損失函數、排序模型、弱監督和多任務方法，并對每一組的貢獻進行全面綜述。然后，針對每一組，我們分析了每一組的不同，并討論了當前方法的局限性和未來語義圖像分割的研究方向。

雖然像CNNs這樣的深度學習模型在醫學圖像分析方面取得了很大的成功，但是小型的醫學數據集仍然是這一領域的主要瓶頸。為了解決這個問題，研究人員開始尋找現有醫療數據集之外的外部信息。傳統的方法通常利用來自自然圖像的信息。最近的研究利用了來自醫生的領域知識，通過讓網絡模仿他們如何被訓練，模仿他們的診斷模式，或者專注于他們特別關注的特征或領域。本文綜述了將醫學領域知識引入疾病診斷、病變、器官及異常檢測、病變及器官分割等深度學習模型的研究進展。針對不同類型的任務，我們系統地對所使用的不同類型的醫學領域知識進行了分類，并給出了相應的整合方法。最后，我們總結了挑戰、未解決的問題和未來研究的方向。

【導讀】辭九迎零，我們迎來2020，到下一個十年。在2019年機器學習領域繼續快速發展，元學習、遷移學習、小樣本學習、深度學習理論等取得很多進展。在此，專知小編整理這一年這些研究熱點主題的綜述進展，共十篇，了解當下，方能向前。

1、A guide to deep learning in healthcare（醫療深度學習技術指南）

斯坦福&谷歌Jeff Dean最新Nature論文：醫療深度學習技術指南（29頁綜述）

Google 斯坦福 Nature Medicine

作者：Andre Esteva, Alexandre Robicquet, Bharath Ramsundar, Volodymyr Kuleshov, Mark DePristo, Katherine Chou, Claire Cui, Greg Corrado, Sebastian Thrun & Jeff Dean

摘要：我們介紹了醫療保健的深度學習技術，重點討論了計算機視覺、自然語言處理、強化學習和廣義方法的深度學習。我們將描述這些計算技術如何影響醫學的幾個關鍵領域，并探討如何構建端到端系統。我們對計算機視覺的討論主要集中在醫學成像上，我們描述了自然語言處理在電子健康記錄數據等領域的應用。同樣，在機器人輔助手術的背景下討論了強化學習，并綜述了基因組學的廣義深度學習方法。

網址：

//www.nature.com/articles/s41591-018-0316-z

2、Multimodal Machine Learning: A Survey and Taxonomy（多模態機器學習）

人工智能頂刊TPAMI2019最新《多模態機器學習綜述》

CMU TPAMI

作者：Tadas Baltru?aitis,Chaitanya Ahuja,Louis-Philippe Morency

摘要：我們對世界的體驗是多模態的 - 我們看到物體，聽到聲音，感覺質地，聞到異味和味道。情態是指某種事物發生或經歷的方式，并且當研究問題包括多種這樣的形式時，研究問題被描述為多模式。為了使人工智能在理解我們周圍的世界方面取得進展，它需要能夠將這種多模態信號一起解釋。多模態機器學習旨在構建可以處理和關聯來自多種模態的信息的模型。這是一個充滿活力的多學科領域，具有越來越重要的意義和非凡的潛力。本文不是關注特定的多模態應用，而是研究多模態機器學習本身的最新進展。我們超越了典型的早期和晚期融合分類，并確定了多模式機器學習所面臨的更廣泛的挑戰，即：表示，翻譯，對齊，融合和共同學習。這種新的分類法將使研究人員能夠更好地了解該領域的狀況，并確定未來研究的方向。

網址：

3、Few-shot Learning: A Survey（小樣本學習）

《小樣本學習(Few-shot learning)》最新41頁綜述論文，來自港科大和第四范式

香港科大 第四范式

作者：Yaqing Wang,Quanming Yao

摘要：“機器會思考嗎”和“機器能做人類做的事情嗎”是推動人工智能發展的任務。盡管最近的人工智能在許多數據密集型應用中取得了成功，但它仍然缺乏從有限的數據示例學習和對新任務的快速泛化的能力。為了解決這個問題，我們必須求助于機器學習，它支持人工智能的科學研究。特別地，在這種情況下，有一個機器學習問題稱為小樣本學習(Few-Shot Learning，FSL)。該方法利用先驗知識，可以快速地推廣到有限監督經驗的新任務中，通過推廣和類比，模擬人類從少數例子中獲取知識的能力。它被視為真正人工智能，是一種減少繁重的數據收集和計算成本高昂的培訓的方法，也是罕見案例學習有效方式。隨著FSL研究的廣泛開展，我們對其進行了全面的綜述。我們首先給出了FSL的正式定義。然后指出了FSL的核心問題，將問題從“如何解決FSL”轉變為“如何處理核心問題”。因此，從FSL誕生到最近發表的作品都被歸為一個統一的類別，并對不同類別的優缺點進行了深入的討論。最后，我們從問題設置、技術、應用和理論等方面展望了FSL未來可能的發展方向，希望為初學者和有經驗的研究者提供一些見解。

網址：

4、meta Learning: A Survey（元學習）

元學習(Meta-Learning) 綜述及五篇頂會論文推薦

作者：Joaquin Vanschoren

摘要：元學習，或學習學習，是一門系統地觀察不同機器學習方法如何在廣泛的學習任務中執行的科學，然后從這種經驗或元數據中學習，以比其他方法更快的速度學習新任務。這不僅極大地加快和改進了機器學習管道或神經體系結構的設計，還允許我們用以數據驅動方式學習的新方法取代手工設計的算法。在本文中，我們將概述這一迷人且不斷發展的領域的最新進展。

網址：

5、A Comprehensive Survey on Transfer Learning（遷移學習）

中科院發布最新遷移學習綜述論文，帶你全面了解40種遷移學習方法

作者：Fuzhen Zhuang, Zhiyuan Qi, Keyu Duan, Dongbo Xi, Yongchun Zhu, Hengshu Zhu, Senior Member, IEEE, Hui Xiong, Senior Member, IEEE, and Qing He

摘要：遷移學習的目的是通過遷移包含在不同但相關的源域中的知識來提高目標學習者在目標域上的學習表現。這樣，可以減少對大量目標域數據的依賴，以構建目標學習者。由于其廣泛的應用前景，遷移學習已經成為機器學習中一個熱門和有前途的領域。雖然已經有一些關于遷移學習的有價值的和令人印象深刻的綜述，但這些綜述介紹的方法相對孤立，缺乏遷移學習的最新進展。隨著遷移學習領域的迅速擴大，對相關研究進行全面的回顧既有必要也有挑戰。本文試圖將已有的遷移學習研究進行梳理使其系統化，并對遷移學習的機制和策略進行全面的歸納和解讀，幫助讀者更好地了解當前的研究現狀和思路。與以往的文章不同，本文從數據和模型的角度對40多種具有代表性的遷移學習方法進行了綜述。還簡要介紹了遷移學習的應用。為了展示不同遷移學習模型的性能，我們使用了20種有代表性的遷移學習模型進行實驗。這些模型是在三個不同的數據集上執行的，即Amazon Reviews，Reuters-21578和Office-31。實驗結果表明，在實際應用中選擇合適的遷移學習模型是非常重要的。。

網址：

6、Multimodal Intelligence: Representation Learning, Information Fusion, and Applications（多模態智能論文綜述：表示學習，信息融合與應用） 【IEEE Fellow何曉東&鄧力】多模態智能論文綜述：表示學習，信息融合與應用，259篇文獻帶你了解AI熱點技術

京東

作者：Chao Zhang,Zichao Yang,Xiaodong He,Li Deng

【摘要】自2010年以來，深度學習已經使語音識別、圖像識別和自然語言處理發生了革命性的變化，每種方法在輸入信號中都只涉及一種模態。然而，人工智能的許多應用涉及到多種模態。因此，研究跨多種模態的建模和學習的更困難和更復雜的問題具有廣泛的意義。本文對多模態智能的模型和學習方法進行了技術綜述。視覺與自然語言的結合已成為計算機視覺和自然語言處理研究的一個重要領域。本文從學習多模態表示、多模態信號在不同層次上的融合以及多模態應用三個新角度對多模態深度學習的最新研究成果進行了綜合分析。在多模態表示學習中，我們回顧了嵌入的關鍵概念，將多模態信號統一到同一個向量空間中，從而實現了多模態信號的交叉處理。我們還回顧了許多類型的嵌入的性質，構造和學習的一般下游任務。在多模態融合方面，本文著重介紹了用于集成單模態信號表示的特殊結構。在應用方面，涵蓋了當前文獻中廣泛關注的選定領域，包括標題生成、文本到圖像生成和可視化問題回答。我們相信這項綜述可促進未來多模態智能的研究。

網址：

7、Object Detection in 20 Years: A Survey（目標檢測）

密歇根大學40頁《20年目標檢測綜述》最新論文，帶你全面了解目標檢測方法

作者：Zhengxia Zou (1), Zhenwei Shi (2), Yuhong Guo (3 and 4), Jieping Ye

摘要：目標檢測作為計算機視覺中最基本、最具挑戰性的問題之一，近年來受到了廣泛的關注。它在過去二十年的發展可以說是計算機視覺歷史的縮影。如果我們把今天的目標檢測看作是深度學習力量下的一種技術美學，那么讓時光倒流20年，我們將見證冷兵器時代的智慧。本文從目標檢測技術發展的角度，對近四分之一世紀(20世紀90年代至2019年)的400余篇論文進行了廣泛的回顧。本文涵蓋了許多主題，包括歷史上的里程碑檢測器、檢測數據集、度量、檢測系統的基本構建模塊、加速技術以及最新的檢測方法。本文還綜述了行人檢測、人臉檢測、文本檢測等重要的檢測應用，并對其面臨的挑戰以及近年來的技術進步進行了深入分析。

網址：

8、A Survey of Techniques for Constructing Chinese Knowledge Graphs and Their Applications（中文知識圖譜）

作者：Tianxing Wu, Guilin Qi ,*, Cheng Li and Meng Wang

摘要：隨著智能技術的不斷發展，作為人工智能支柱的知識圖譜以其強大的知識表示和推理能力受到了學術界和產業界的廣泛關注。近年來，知識圖譜在語義搜索、問答、知識管理等領域得到了廣泛的應用。構建中文知識圖譜的技術也在迅速發展，不同的中文知識圖譜以支持不同的應用。同時，我國在知識圖譜開發方面積累的經驗對非英語知識圖譜的開發也有很好的借鑒意義。本文旨在介紹中文知識圖譜的構建技術及其應用，然后介紹了典型的中文知識圖譜，此外我們介紹了構建中文知識圖譜的技術細節，并介紹了了中文知識圖譜的幾種應用。

網址：

9、Advances and Open Problems in Federated Learning（聯邦學習）

【重磅】聯邦學習FL進展與開放問題萬字綜述論文，58位學者25家機構聯合出品，105頁pdf438篇文獻

摘要：聯邦學習(FL)是一種機器學習設置，在這種設置中，許多客戶(例如移動設備或整個組織)在中央服務器(例如服務提供商)的協調下協作地訓練模型，同時保持訓練數據分散。FL體現了集中數據收集和最小化的原則，可以減輕由于傳統的、集中的機器學習和數據科學方法所帶來的許多系統隱私風險和成本。在FL研究爆炸性增長的推動下，本文討論了近年來的進展，并提出了大量的開放問題和挑戰。

網址：

10、Optimization for deep learning: theory and algorithms（深度學習優化理論算法）

【2019年末硬貨】深度學習的最優化:理論和算法綜述論文，60頁pdf257篇文獻

摘要：什么時候以及為什么能夠成功地訓練神經網絡?本文概述了神經網絡的優化算法和訓練理論。首先，我們討論了梯度爆炸/消失問題和更一般的不期望譜問題，然后討論了實際的解決方案，包括仔細的初始化和歸一化方法。其次，我們回顧了用于訓練神經網絡的一般優化方法，如SGD、自適應梯度方法和分布式方法，以及這些算法的現有理論結果。第三，我們回顧了現有的關于神經網絡訓練的全局問題的研究，包括局部極值的結果、模式連接、彩票假設和無限寬度分析。

網址：