簡介:
當AI在著名的AlphaGo游戲中擊敗人類時,深度學習(DL)一戰成名,深度學習訓練和學習方法已被廣泛認可為“人性化”的機器。 企業AI平臺中的許多高級自動化功能是由機器學習(ML)和深度學習技術的快速增長而引起的。 深度學習的下一步是什么?
2019年的深度學習深入探討了DL在AI的許多方面(無論是NLP還是計算機視覺應用程序)“無處不在”。 逐步地,啟用了AI和DL的自動化系統,工具和解決方案正在滲透并接管所有業務部門-從營銷到客戶體驗,從虛擬現實到自然語言處理(NLP)-到處都有數字化影響。
深度學習的端到端加密引發了公眾對個人數據絕對隱私的需求的爭議。這種消費者需求與Facebook當前的AI研究工作產生直接沖突。 Facebook的AI研究人員需要“大量收集”個人數據來訓練學習算法。
Facebook意識到端到端加密的烏托邦概念確實是一個在研究世界中從大量個人數據中尋求答案的神話。為了將來的努力,研究人員現在正在認真考慮針對單個設備上的“數據”訓練算法,而不是大量收集個人數據。在這種情況下,Facebook工程師將直接在用戶手機上安裝內容審核算法,以繞過違反數據隱私的行為。
在一個有爭議的帖子中,該KD Nugget帖子的作者預測深度學習可能不是AI的未來。根據作者的說法,其背后的原因是,將來許多DL方法不僅會變得不合法,而且將變得完全非法。該帖子還暗示,未來的移動應用很可能沒有DL。
啟用DL的解決方案的另一個嚴重局限性在于,學習算法仍無法提供選擇的詳細原因,這可能會激起用戶盲目接受AI工具提供的決策。
《深度學習的未來預測》表明,在未來5至10年中,DL將通過每個軟件開發平臺實現民主化。 DL工具將成為開發人員工具包的標準組成部分。 納入標準DL庫的可重用DL組件將具有其先前模型的訓練特征,以加快學習速度。 隨著深度學習工具的自動化持續發展,該技術存在一種固有的風險,即技術會變得如此復雜,以至于普通開發人員會發現自己完全無知。
主題: Explainable Reinforcement Learning: A Survey
摘要: 可解釋的人工智能(XAI),即更透明和可解釋的AI模型的開發在過去幾年中獲得了越來越多的關注。這是由于這樣一個事實,即AI模型隨著其發展為功能強大且無處不在的工具而表現出一個有害的特征:性能與透明度之間的權衡。這說明了一個事實,即模型的內部工作越復雜,就越難以實現其預測或決策。但是,特別是考慮到系統像機器學習(ML)這樣的方法(強化學習(RL))在系統自動學習的情況下,顯然有必要了解其決策的根本原因。由于據我們所知,目前尚無人提供可解釋性強化學習(XRL)方法的概述的工作,因此本調查試圖解決這一差距。我們對問題進行了簡短的總結,重要術語的定義以及提議當前XRL方法的分類和評估。我們發現a)大多數XRL方法通過模仿和簡化一個復雜的模型而不是設計本質上簡單的模型來起作用,并且b)XRL(和XAI)方法通常忽略了方程的人為方面,而不考慮相關領域的研究像心理學或哲學。因此,需要跨學科的努力來使所生成的解釋適應(非專家)人類用戶,以便有效地在XRL和XAI領域中取得進步。
隨著深度學習在視覺、推薦系統、自然語言處理等諸多領域的不斷發展,深度神經網絡(DNNs)在生產系統中得到了廣泛的應用。大數據集的可用性和高計算能力是這些進步的主要因素。這些數據集通常是眾包的,可能包含敏感信息。這造成了嚴重的隱私問題,因為這些數據可能被濫用或通過各種漏洞泄露。即使云提供商和通信鏈路是可信的,仍然存在推理攻擊的威脅,攻擊者可以推測用于訓練的數據的屬性,或者找到底層的模型架構和參數。在這次調查中,我們回顧了深度學習帶來的隱私問題,以及為解決這些問題而引入的緩解技術。我們還指出,在測試時間推斷隱私方面的文獻存在空白,并提出未來可能的研究方向。
題目: Time Series Data Augmentation for Deep Learning: A Survey
摘要:
近年來,深度學習在許多時間序列分析任務中表現優異。深度神經網絡的優越性能很大程度上依賴于大量的訓練數據來避免過擬合。然而,許多實際時間序列應用的標記數據可能會受到限制,如醫學時間序列的分類和AIOps中的異常檢測。數據擴充是提高訓練數據規模和質量的有效途徑,是深度學習模型在時間序列數據上成功應用的關鍵。本文系統地綜述了時間序列的各種數據擴充方法。我們為這些方法提出了一個分類,然后通過強調它們的優點和局限性為這些方法提供了一個結構化的審查。并對時間序列異常檢測、分類和預測等不同任務的數據擴充方法進行了實證比較。最后,我們討論并強調未來的研究方向,包括時頻域的數據擴充、擴充組合、不平衡類的數據擴充與加權。
本次講座是關于深度學習的最新研究和發展,并希望在2020年。這不是一個SOTA基準測試結果的列表,而是一組機器學習和人工智能創新的亮點,以及學術界、工業界和整個社會的進步。本講座是麻省理工學院深度學習系列講座的一部分。
地址:
Lex Fridman是一名俄裔美國科學家,教授,來自馬薩諸塞州劍橋市的社交媒體名人。他目前是麻省理工學院的一名研究科學家。
題目
深度學習的局限性和缺陷:Deep Learning Limitations and Flaws
關鍵字
彈性系統;商業智能;人工智能;超級人工智能圖像處理;網絡安全;實時決策;機器學習;深度學習。
簡介
隨著當今人們對人工智能(AI)及其作為從銀行到電子商務,醫療應用等領域的集成業務的一部分的增強的興趣日益濃厚,我們在日常運營中越來越依賴于AI。但是,最復雜的AI或超級AI(SAI)仍需要依賴其其他兩個集成的子組件集,即機器學習(ML)和深度學習(DL)。但是,AI或SAI的DL組件中存在某些限制和缺陷,這些缺陷和缺陷會導致錯誤增長超出控制范圍,并會影響其主要主組件AI和SAI以可信的方式最終處理數據和信息。精確決策和事件預測的過程,包括作為用例(UC)和服務水平協議(SLA)的一部分進行的任何預測,這些預測都作為任務分配給了AI或SAI。本文指出了目前人工智能技術發展背后的科學家和工程師所關注的這些局限性和缺陷。從內置于您日常業務運營中的彈性的角度來看,這類限制和缺陷也會影響業務彈性系統(BRS),本文也對此進行了說明。
作者
Bahman Zohuri,美國新墨西哥州阿爾伯克基,新墨西哥大學電氣與計算機工程系
Masoud Moghaddam,美國阿爾伯克基,Galaxy Advance工程總監兼顧問
題目
2019/2020之交的機器學習/深度學習技術概述
總覽
簡介
2020年已至!現在是時候迎接新的一年了,我們在全新的解決方案中注入了大量的機器學習知識。機器學習將繼續是我們做事和做事的核心。
那2019年呢?已經過了一年了!我們在自然語言處理(NLP)中看到的巨大發展震驚了我們。那一年是微調語言模型和框架的一年,例如Google的BERT和OpenAI的GPT-2(稍后將介紹所有這些!)。 我們最喜歡的2019年是社區對開源版本的擁抱。隨著越來越多的社區人士希望在2020年打入這一領域,他們進一步降低了機器學習的訪問障礙。這是您的全部志向和這一美妙的職業選擇!
因此,當我們準備迎接新的一年時,我們希望花些時間寫下這篇廣博而發人深省的文章。我們將以技術審查的方式審視2019年頂級的機器學習發展。我們還將研究2020年對不同機器學習領域的期望。
內容
Natural Language Processing (NLP) and especially natural language text analysis have seen great advances in recent times. Usage of deep learning in text processing has revolutionized the techniques for text processing and achieved remarkable results. Different deep learning architectures like CNN, LSTM, and very recent Transformer have been used to achieve state of the art results variety on NLP tasks. In this work, we survey a host of deep learning architectures for text classification tasks. The work is specifically concerned with the classification of Hindi text. The research in the classification of morphologically rich and low resource Hindi language written in Devanagari script has been limited due to the absence of large labeled corpus. In this work, we used translated versions of English data-sets to evaluate models based on CNN, LSTM and Attention. Multilingual pre-trained sentence embeddings based on BERT and LASER are also compared to evaluate their effectiveness for the Hindi language. The paper also serves as a tutorial for popular text classification techniques.
簡介: 人們在閱讀文章時,可以識別關鍵思想,作出總結,并建立文章中的聯系以及對其他需要理解的內容等方面都做得很出色。深度學習的最新進展使計算機系統可以實現類似的功能。用于自然語言處理的深度學習可教您將深度學習方法應用于自然語言處理(NLP),以有效地解釋和使用文章。在這本書中,NLP專家Stephan Raaijmakers提煉了他對這個快速發展的領域中最新技術發展的研究。通過詳細的說明和豐富的代碼示例,您將探索最具挑戰性的NLP問題,并學習如何通過深度學習解決它們!
自然語言處理是教計算機解釋和處理人類語言的科學。最近,隨著深度學習的應用,NLP技術已躍升至令人興奮的新水平。這些突破包括模式識別,從上下文中進行推斷以及確定情感語調,從根本上改善了現代日常便利性,例如網絡搜索,以及與語音助手的交互。他們也在改變商業世界!
目錄:
1深度NLP學習
2 深度學習和語言:基礎知識
3文字嵌入
4文字相似度
5序列NLP和記憶
6NLP的6種情景記憶
7注意力機制
8多任務學習
附錄
附錄A:NLP
附錄B:矩陣代數
附錄C:超參數估計和分類器性能評估