亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

雖然像CNNs這樣的深度學習模型在醫學圖像分析方面取得了很大的成功，但是小型的醫學數據集仍然是這一領域的主要瓶頸。為了解決這個問題，研究人員開始尋找現有醫療數據集之外的外部信息。傳統的方法通常利用來自自然圖像的信息。最近的研究利用了來自醫生的領域知識，通過讓網絡模仿他們如何被訓練，模仿他們的診斷模式，或者專注于他們特別關注的特征或領域。本文綜述了將醫學領域知識引入疾病診斷、病變、器官及異常檢測、病變及器官分割等深度學習模型的研究進展。針對不同類型的任務，我們系統地對所使用的不同類型的醫學領域知識進行了分類，并給出了相應的整合方法。最后，我們總結了挑戰、未解決的問題和未來研究的方向。

摘要： 大數據時代,數據呈現維度高、數據量大和增長快等特點。如何有效利用其中蘊含的有價值信息,以實現數據的智能化處理,已成為當前理論和應用的研究熱點。針對現實普遍存在的多義性對象,數據多標簽被提出并被廣泛應用于數據智能化組織。近年來,深度學習在數據特征提取方面呈現出高速、高精度等優異性,使基于深度學習的多標簽生成得到廣泛關注。文中分五大類別總結了最新研究成果,并進一步從數據、關系類型、應用場景、適應性及實驗性能方面對其進行對比和分析,最后探討了多標簽生成面臨的挑戰和未來的研究方向。

隨著機器學習、圖形處理技術和醫學成像數據的迅速發展，機器學習模型在醫學領域的使用也迅速增加。基于卷積神經網絡(CNN)架構的快速發展加劇了這一問題，醫學成像社區采用這種架構來幫助臨床醫生進行疾病診斷。自2012年AlexNet取得巨大成功以來，CNNs越來越多地被用于醫學圖像分析，以提高臨床醫生的工作效率。近年來，三維(3D) CNNs已被用于醫學圖像分析。在這篇文章中，我們追溯了3D CNN的發展歷史，從它的機器學習的根源，簡單的數學描述3D CNN和醫學圖像在輸入到3D CNNs之前的預處理步驟。我們回顧了在不同醫學領域，如分類、分割、檢測和定位，使用三維CNNs(及其變體)進行三維醫學成像分析的重要研究。最后，我們討論了在醫學成像領域使用3D CNNs的挑戰(以及使用深度學習模型)和該領域可能的未來趨勢。

分布式向量表示或嵌入將可變長度的文本映射到密集的固定長度的向量，并捕獲可以轉移到下游任務的先驗知識。盡管嵌入式已經成為基于深度學習的NLP任務中一般和臨床領域中文本表示的事實上的標準，但是還沒有一篇調查論文對嵌入式在臨床自然語言處理中的應用進行詳細的回顧。在這篇調查論文中，我們討論了各種醫學語料庫及其特點、醫學規范，并對流行的嵌入式模型進行了簡要的概述和比較。我們對臨床包埋進行分類，并詳細討論每種包埋類型。我們討論了各種評估方法，并提出了可能的解決方案，以應對臨床嵌入治療中的各種挑戰。最后，我們總結了一些未來的方向，將推進臨床嵌入式研究。

【導讀】辭九迎零，我們迎來2020，到下一個十年。在2019年機器學習領域繼續快速發展，元學習、遷移學習、小樣本學習、深度學習理論等取得很多進展。在此，專知小編整理這一年這些研究熱點主題的綜述進展，共十篇，了解當下，方能向前。

1、A guide to deep learning in healthcare（醫療深度學習技術指南）

斯坦福&谷歌Jeff Dean最新Nature論文：醫療深度學習技術指南（29頁綜述）

Google 斯坦福 Nature Medicine

作者：Andre Esteva, Alexandre Robicquet, Bharath Ramsundar, Volodymyr Kuleshov, Mark DePristo, Katherine Chou, Claire Cui, Greg Corrado, Sebastian Thrun & Jeff Dean

摘要：我們介紹了醫療保健的深度學習技術，重點討論了計算機視覺、自然語言處理、強化學習和廣義方法的深度學習。我們將描述這些計算技術如何影響醫學的幾個關鍵領域，并探討如何構建端到端系統。我們對計算機視覺的討論主要集中在醫學成像上，我們描述了自然語言處理在電子健康記錄數據等領域的應用。同樣，在機器人輔助手術的背景下討論了強化學習，并綜述了基因組學的廣義深度學習方法。

網址：

//www.nature.com/articles/s41591-018-0316-z

2、Multimodal Machine Learning: A Survey and Taxonomy（多模態機器學習）

人工智能頂刊TPAMI2019最新《多模態機器學習綜述》

CMU TPAMI

作者：Tadas Baltru?aitis,Chaitanya Ahuja,Louis-Philippe Morency

摘要：我們對世界的體驗是多模態的 - 我們看到物體，聽到聲音，感覺質地，聞到異味和味道。情態是指某種事物發生或經歷的方式，并且當研究問題包括多種這樣的形式時，研究問題被描述為多模式。為了使人工智能在理解我們周圍的世界方面取得進展，它需要能夠將這種多模態信號一起解釋。多模態機器學習旨在構建可以處理和關聯來自多種模態的信息的模型。這是一個充滿活力的多學科領域，具有越來越重要的意義和非凡的潛力。本文不是關注特定的多模態應用，而是研究多模態機器學習本身的最新進展。我們超越了典型的早期和晚期融合分類，并確定了多模式機器學習所面臨的更廣泛的挑戰，即：表示，翻譯，對齊，融合和共同學習。這種新的分類法將使研究人員能夠更好地了解該領域的狀況，并確定未來研究的方向。

網址：

3、Few-shot Learning: A Survey（小樣本學習）

《小樣本學習(Few-shot learning)》最新41頁綜述論文，來自港科大和第四范式

香港科大 第四范式

作者：Yaqing Wang,Quanming Yao

摘要：“機器會思考嗎”和“機器能做人類做的事情嗎”是推動人工智能發展的任務。盡管最近的人工智能在許多數據密集型應用中取得了成功，但它仍然缺乏從有限的數據示例學習和對新任務的快速泛化的能力。為了解決這個問題，我們必須求助于機器學習，它支持人工智能的科學研究。特別地，在這種情況下，有一個機器學習問題稱為小樣本學習(Few-Shot Learning，FSL)。該方法利用先驗知識，可以快速地推廣到有限監督經驗的新任務中，通過推廣和類比，模擬人類從少數例子中獲取知識的能力。它被視為真正人工智能，是一種減少繁重的數據收集和計算成本高昂的培訓的方法，也是罕見案例學習有效方式。隨著FSL研究的廣泛開展，我們對其進行了全面的綜述。我們首先給出了FSL的正式定義。然后指出了FSL的核心問題，將問題從“如何解決FSL”轉變為“如何處理核心問題”。因此，從FSL誕生到最近發表的作品都被歸為一個統一的類別，并對不同類別的優缺點進行了深入的討論。最后，我們從問題設置、技術、應用和理論等方面展望了FSL未來可能的發展方向，希望為初學者和有經驗的研究者提供一些見解。

網址：

4、meta Learning: A Survey（元學習）

元學習(Meta-Learning) 綜述及五篇頂會論文推薦

作者：Joaquin Vanschoren

摘要：元學習，或學習學習，是一門系統地觀察不同機器學習方法如何在廣泛的學習任務中執行的科學，然后從這種經驗或元數據中學習，以比其他方法更快的速度學習新任務。這不僅極大地加快和改進了機器學習管道或神經體系結構的設計，還允許我們用以數據驅動方式學習的新方法取代手工設計的算法。在本文中，我們將概述這一迷人且不斷發展的領域的最新進展。

網址：

5、A Comprehensive Survey on Transfer Learning（遷移學習）

中科院發布最新遷移學習綜述論文，帶你全面了解40種遷移學習方法

作者：Fuzhen Zhuang, Zhiyuan Qi, Keyu Duan, Dongbo Xi, Yongchun Zhu, Hengshu Zhu, Senior Member, IEEE, Hui Xiong, Senior Member, IEEE, and Qing He

摘要：遷移學習的目的是通過遷移包含在不同但相關的源域中的知識來提高目標學習者在目標域上的學習表現。這樣，可以減少對大量目標域數據的依賴，以構建目標學習者。由于其廣泛的應用前景，遷移學習已經成為機器學習中一個熱門和有前途的領域。雖然已經有一些關于遷移學習的有價值的和令人印象深刻的綜述，但這些綜述介紹的方法相對孤立，缺乏遷移學習的最新進展。隨著遷移學習領域的迅速擴大，對相關研究進行全面的回顧既有必要也有挑戰。本文試圖將已有的遷移學習研究進行梳理使其系統化，并對遷移學習的機制和策略進行全面的歸納和解讀，幫助讀者更好地了解當前的研究現狀和思路。與以往的文章不同，本文從數據和模型的角度對40多種具有代表性的遷移學習方法進行了綜述。還簡要介紹了遷移學習的應用。為了展示不同遷移學習模型的性能，我們使用了20種有代表性的遷移學習模型進行實驗。這些模型是在三個不同的數據集上執行的，即Amazon Reviews，Reuters-21578和Office-31。實驗結果表明，在實際應用中選擇合適的遷移學習模型是非常重要的。。

網址：

6、Multimodal Intelligence: Representation Learning, Information Fusion, and Applications（多模態智能論文綜述：表示學習，信息融合與應用） 【IEEE Fellow何曉東&鄧力】多模態智能論文綜述：表示學習，信息融合與應用，259篇文獻帶你了解AI熱點技術

京東

作者：Chao Zhang,Zichao Yang,Xiaodong He,Li Deng

【摘要】自2010年以來，深度學習已經使語音識別、圖像識別和自然語言處理發生了革命性的變化，每種方法在輸入信號中都只涉及一種模態。然而，人工智能的許多應用涉及到多種模態。因此，研究跨多種模態的建模和學習的更困難和更復雜的問題具有廣泛的意義。本文對多模態智能的模型和學習方法進行了技術綜述。視覺與自然語言的結合已成為計算機視覺和自然語言處理研究的一個重要領域。本文從學習多模態表示、多模態信號在不同層次上的融合以及多模態應用三個新角度對多模態深度學習的最新研究成果進行了綜合分析。在多模態表示學習中，我們回顧了嵌入的關鍵概念，將多模態信號統一到同一個向量空間中，從而實現了多模態信號的交叉處理。我們還回顧了許多類型的嵌入的性質，構造和學習的一般下游任務。在多模態融合方面，本文著重介紹了用于集成單模態信號表示的特殊結構。在應用方面，涵蓋了當前文獻中廣泛關注的選定領域，包括標題生成、文本到圖像生成和可視化問題回答。我們相信這項綜述可促進未來多模態智能的研究。

網址：

7、Object Detection in 20 Years: A Survey（目標檢測）

密歇根大學40頁《20年目標檢測綜述》最新論文，帶你全面了解目標檢測方法

作者：Zhengxia Zou (1), Zhenwei Shi (2), Yuhong Guo (3 and 4), Jieping Ye

摘要：目標檢測作為計算機視覺中最基本、最具挑戰性的問題之一，近年來受到了廣泛的關注。它在過去二十年的發展可以說是計算機視覺歷史的縮影。如果我們把今天的目標檢測看作是深度學習力量下的一種技術美學，那么讓時光倒流20年，我們將見證冷兵器時代的智慧。本文從目標檢測技術發展的角度，對近四分之一世紀(20世紀90年代至2019年)的400余篇論文進行了廣泛的回顧。本文涵蓋了許多主題，包括歷史上的里程碑檢測器、檢測數據集、度量、檢測系統的基本構建模塊、加速技術以及最新的檢測方法。本文還綜述了行人檢測、人臉檢測、文本檢測等重要的檢測應用，并對其面臨的挑戰以及近年來的技術進步進行了深入分析。

網址：

8、A Survey of Techniques for Constructing Chinese Knowledge Graphs and Their Applications（中文知識圖譜）

作者：Tianxing Wu, Guilin Qi ,*, Cheng Li and Meng Wang

摘要：隨著智能技術的不斷發展，作為人工智能支柱的知識圖譜以其強大的知識表示和推理能力受到了學術界和產業界的廣泛關注。近年來，知識圖譜在語義搜索、問答、知識管理等領域得到了廣泛的應用。構建中文知識圖譜的技術也在迅速發展，不同的中文知識圖譜以支持不同的應用。同時，我國在知識圖譜開發方面積累的經驗對非英語知識圖譜的開發也有很好的借鑒意義。本文旨在介紹中文知識圖譜的構建技術及其應用，然后介紹了典型的中文知識圖譜，此外我們介紹了構建中文知識圖譜的技術細節，并介紹了了中文知識圖譜的幾種應用。

網址：

9、Advances and Open Problems in Federated Learning（聯邦學習）

【重磅】聯邦學習FL進展與開放問題萬字綜述論文，58位學者25家機構聯合出品，105頁pdf438篇文獻

摘要：聯邦學習(FL)是一種機器學習設置，在這種設置中，許多客戶(例如移動設備或整個組織)在中央服務器(例如服務提供商)的協調下協作地訓練模型，同時保持訓練數據分散。FL體現了集中數據收集和最小化的原則，可以減輕由于傳統的、集中的機器學習和數據科學方法所帶來的許多系統隱私風險和成本。在FL研究爆炸性增長的推動下，本文討論了近年來的進展，并提出了大量的開放問題和挑戰。

網址：

10、Optimization for deep learning: theory and algorithms（深度學習優化理論算法）

【2019年末硬貨】深度學習的最優化:理論和算法綜述論文，60頁pdf257篇文獻

摘要：什么時候以及為什么能夠成功地訓練神經網絡?本文概述了神經網絡的優化算法和訓練理論。首先，我們討論了梯度爆炸/消失問題和更一般的不期望譜問題，然后討論了實際的解決方案，包括仔細的初始化和歸一化方法。其次，我們回顧了用于訓練神經網絡的一般優化方法，如SGD、自適應梯度方法和分布式方法，以及這些算法的現有理論結果。第三，我們回顧了現有的關于神經網絡訓練的全局問題的研究，包括局部極值的結果、模式連接、彩票假設和無限寬度分析。

網址：

【導讀】分布式機器學習Distributed Machine Learning是學術界和工業界關注的焦點。最近來自荷蘭的幾位研究人員撰寫了關于分布式機器學習的綜述，共33頁pdf和172篇文獻，概述了分布式機器學習相對于傳統(集中式)機器學習的挑戰和機遇，討論了用于分布式機器學習的技術，并對可用的系統進行了概述，從而全面概述了該領域的最新進展。

?論文地址： //www.zhuanzhi.ai/paper/161029da3ed8b6027a1199c026df7d07 ?

摘要 在過去的十年里，對人工智能的需求顯著增長，而機器學習技術的進步和利用硬件加速的能力推動了這種增長。然而，為了提高預測的質量并使機器學習解決方案在更復雜的應用中可行，需要大量的訓練數據。雖然小的機器學習模型可以用少量的數據進行訓練，但訓練大模型(如神經網絡)的輸入隨著參數的數量呈指數增長。由于處理訓練數據的需求已經超過了計算機器計算能力的增長，因此需要將機器學習的工作負載分布到多臺機器上，并將集中式的學習任務轉換為分布式系統。這些分布式系統提出了新的挑戰，首先是訓練過程的有效并行化和一致模型的創建。本文概述了分布式機器學習相對于傳統(集中式)機器學習的挑戰和機遇，討論了用于分布式機器學習的技術，并對可用的系統進行了概述，從而全面概述了該領域的最新進展。

1. 引言

近年來，新技術的快速發展導致了數據采集的空前增長。機器學習(ML)算法正越來越多地用于分析數據集和構建決策系統，因為問題的復雜性，算法解決方案是不可行的。例如控制自動駕駛汽車[23]，識別語音[8]，或者預測消費者行為[82]。

在某些情況下，訓練模型的長時間運行會引導解決方案設計者使用分布式系統來增加并行性和I/O帶寬總量，因為復雜應用程序所需的訓練數據很容易達到tb級的[29]。在其他情況下，當數據本身就是分布式的，或者數據太大而不能存儲在一臺機器上時，集中式解決方案甚至都不是一個選項。例如，大型企業對存儲在不同位置的[19]的數據進行事務處理，或者對大到無法移動和集中的天文數據進行事務處理[125]。

為了使這些類型的數據集可作為機器學習問題的訓練數據，必須選擇和實現能夠并行計算、數據分布和故障恢復能力的算法。在這一領域進行了豐富多樣的研究生態系統，我們將在本文中對其進行分類和討論。與之前關于分布式機器學習([120][124])或相關領域的調查([153][87][122][171][144])相比，我們對該問題應用了一個整體的觀點，并從分布式系統的角度討論了最先進的機器學習的實踐方面。

第2節深入討論了機器學習的系統挑戰，以及如何采用高性能計算(HPC)的思想來加速和提高可擴展性。第3節描述了分布式機器學習的參考體系結構，涵蓋了從算法到網絡通信模式的整個堆棧，這些模式可用于在各個節點之間交換狀態。第4節介紹了最廣泛使用的系統和庫的生態系統及其底層設計。最后，第5節討論了分布式機器學習的主要挑戰

2. 機器學習——高性能計算的挑戰?

近年來，機器學習技術在越來越復雜的應用中得到了廣泛應用。雖然出現了各種相互競爭的方法和算法，但所使用的數據表示在結構上驚人地相似。機器學習工作負載中的大多數計算都是關于向量、矩陣或張量的基本轉換——這是線性代數中眾所周知的問題。優化這些操作的需求是高性能計算社區數十年來一個非常活躍的研究領域。因此，一些來自HPC社區的技術和庫(如BLAS[89]或MPI[62])已經被機器學習社區成功地采用并集成到系統中。與此同時，HPC社區已經發現機器學習是一種新興的高價值工作負載，并開始將HPC方法應用于它們。Coates等人，[38]能夠在短短三天內，在他們的商用現貨高性能計算(COTS HPC)系統上訓練出一個10億個參數網絡。You等人[166]在Intel的Knights Landing(一種為高性能計算應用而設計的芯片)上優化了神經網絡的訓練。Kurth等人[84]證明了像提取天氣模式這樣的深度學習問題如何在大型并行高性能計算系統上進行優化和快速擴展。Yan等人[163]利用借鑒于HPC的輕量級概要分析等技術對工作負載需求進行建模，解決了在云計算基礎設施上調度深度神經網絡應用程序的挑戰。Li等人[91]研究了深度神經網絡在加速器上運行時對硬件錯誤的彈性特性，加速器通常部署在主要的高性能計算系統中。

與其他大規模計算挑戰一樣，加速工作負載有兩種基本的、互補的方法:向單個機器添加更多資源(垂直擴展或向上擴展)和向系統添加更多節點(水平擴展或向外擴展)。

3. 一個分布式機器學習的參考架構

圖1 機器學習的概述。在訓練階段，利用訓練數據和調整超參數對ML模型進行優化。然后利用訓練后的模型對輸入系統的新數據進行預測。

圖2 分布式機器學習中的并行性。數據并行性在di上訓練同一個模型的多個實例!模型并行性將單個模型的并行路徑分布到多個節點。

機器學習算法

機器學習算法學習根據數據做出決策或預測。我們根據以下三個特征對當前的ML算法進行了分類:

反饋、在學習過程中給算法的反饋類型

目的、期望的算法最終結果

方法、給出反饋時模型演化的本質

反饋 訓練算法需要反饋，這樣才能逐步提高模型的質量。反饋有幾種不同類型[165]:

包括 監督學習、無監督學習、半監督學習與強化學習

目的 機器學習算法可用于各種各樣的目的，如對圖像進行分類或預測事件的概率。它們通常用于以下任務[85]: 異常檢測、分類、聚類、降維、表示學習、回歸

每一個有效的ML算法都需要一種方法來迫使算法根據新的輸入數據進行改進，從而提高其準確性。通過算法的學習方式，我們識別出了不同的ML方法組: 演化算法、隨機梯度下降、支持向量機、感知器、神經網絡、規則機器學習、主題模型、矩陣分解。

圖3所示：基于分布程度的分布式機器學習拓撲

4. 分布式機器學習生態系統

圖4所示。分布式機器學習生態系統。通用分布式框架和單機ML系統和庫都在向分布式機器學習靠攏。云是ML的一種新的交付模型。

5 結論和當前的挑戰

分布式機器學習是一個蓬勃發展的生態系統，它在體系結構、算法、性能和效率方面都有各種各樣的解決方案。為了使分布式機器學習在第一時間成為可行的，必須克服一些基本的挑戰，例如，建立一種機制，使數據處理并行化，同時將結果組合成一個單一的一致模型。現在有工業級系統,針對日益增長的欲望與機器學習解決更復雜的問題,分布式機器學習越來越普遍和單機解決方案例外,類似于數據處理一般發展在過去的十年。然而，對于分布式機器學習的長期成功來說，仍然存在許多挑戰：性能、容錯、隱私、可移植性等。

Deep Learning based Recommender System: A Survey and New Perspectives

隨著在線信息量的不斷增長，推薦系統已成為克服此類信息過載的有效策略。鑒于其在許多網絡應用中的廣泛采用，以及其改善與過度選擇相關的許多問題的潛在影響，推薦系統的實用性不容小覷。近年來，深度學習在計算機視覺和自然語言處理等許多研究領域引起了相當大的興趣，不僅歸功于出色的表現，而且還具有從頭開始學習特征表征的吸引人的特性。深度學習的影響也很普遍，最近證明了它在應用于信息檢索和推薦系統研究時的有效性。顯然，推薦系統中的深度學習領域正在蓬勃發展。本文旨在全面回顧最近基于深度學習的推薦系統的研究工作。更具體地說，我們提供并設計了基于深度學習的推薦模型的分類，并提供了最新技術的綜合摘要。最后，我們擴展了當前的趨勢，并提供了有關該領域新的令人興奮的發展的新觀點。

題目：High-performance medicine: the convergence of human and artificial intelligence

摘要： 人工智能的使用，尤其是深度學習子類型的使用。在醫學上，人工智能在三個層面產生影響：對臨床醫生而言，主要是通過快速，準確的圖像解釋；通過改善工作流程和減少醫療錯誤的潛力來改善衛生系統；對于患者而言，使他們能夠處理自己的數據以促進健康。本文將討論當前的局限性，包括偏見，隱私和安全性以及缺乏透明度，以及這些應用程序的未來發展方向。隨著時間的推移，準確性，生產力和工作流程的顯著改善可能會實現，但是否會用于改善患者與醫生之間的關系仍有待觀察。

作者介紹： Topol博士在Modern Healthcare 2012年的民意調查中被選為美國最具影響力的內科醫生執行官，致力于基因組和無線數字創新技術，以重塑醫學的未來。他是加利福尼亞州拉霍亞市斯克里普斯市的一名實踐心臟病專家，并因克利夫蘭診所作為心臟保健領先中心的地位而廣受贊譽。在那里，他開了一所醫學院，領導了世界范圍內的臨床試驗，以改善心臟病的治療，并率先發現了增加心臟病發作易感性的基因。