題目
深度學習的局限性和缺陷:Deep Learning Limitations and Flaws
關鍵字
彈性系統;商業智能;人工智能;超級人工智能圖像處理;網絡安全;實時決策;機器學習;深度學習。
簡介
隨著當今人們對人工智能(AI)及其作為從銀行到電子商務,醫療應用等領域的集成業務的一部分的增強的興趣日益濃厚,我們在日常運營中越來越依賴于AI。但是,最復雜的AI或超級AI(SAI)仍需要依賴其其他兩個集成的子組件集,即機器學習(ML)和深度學習(DL)。但是,AI或SAI的DL組件中存在某些限制和缺陷,這些缺陷和缺陷會導致錯誤增長超出控制范圍,并會影響其主要主組件AI和SAI以可信的方式最終處理數據和信息。精確決策和事件預測的過程,包括作為用例(UC)和服務水平協議(SLA)的一部分進行的任何預測,這些預測都作為任務分配給了AI或SAI。本文指出了目前人工智能技術發展背后的科學家和工程師所關注的這些局限性和缺陷。從內置于您日常業務運營中的彈性的角度來看,這類限制和缺陷也會影響業務彈性系統(BRS),本文也對此進行了說明。
作者
Bahman Zohuri,美國新墨西哥州阿爾伯克基,新墨西哥大學電氣與計算機工程系
Masoud Moghaddam,美國阿爾伯克基,Galaxy Advance工程總監兼顧問
主題: Explainable Reinforcement Learning: A Survey
摘要: 可解釋的人工智能(XAI),即更透明和可解釋的AI模型的開發在過去幾年中獲得了越來越多的關注。這是由于這樣一個事實,即AI模型隨著其發展為功能強大且無處不在的工具而表現出一個有害的特征:性能與透明度之間的權衡。這說明了一個事實,即模型的內部工作越復雜,就越難以實現其預測或決策。但是,特別是考慮到系統像機器學習(ML)這樣的方法(強化學習(RL))在系統自動學習的情況下,顯然有必要了解其決策的根本原因。由于據我們所知,目前尚無人提供可解釋性強化學習(XRL)方法的概述的工作,因此本調查試圖解決這一差距。我們對問題進行了簡短的總結,重要術語的定義以及提議當前XRL方法的分類和評估。我們發現a)大多數XRL方法通過模仿和簡化一個復雜的模型而不是設計本質上簡單的模型來起作用,并且b)XRL(和XAI)方法通常忽略了方程的人為方面,而不考慮相關領域的研究像心理學或哲學。因此,需要跨學科的努力來使所生成的解釋適應(非專家)人類用戶,以便有效地在XRL和XAI領域中取得進步。
題目: Natural Language Processing Advancements By Deep Learning: A Survey
摘要: 自然語言處理(NLP)幫助智能機器更好地理解人類語言,實現基于語言的人機交流。算力的最新發展和語言大數據的出現,增加了使用數據驅動方法自動進行語義分析的需求。由于深度學習方法在計算機視覺、自動語音識別,特別是NLP等領域的應用取得了顯著的進步,數據驅動策略的應用已經非常普遍。本綜述對得益于深度學習的NLP的不同方面和應用進行了分類和討論。它涵蓋了核心的NLP任務和應用,并描述了深度學習方法和模型如何推進這些領域。我們并進一步分析和比較不同的方法和最先進的模型。
題目: A Hierarchy of Limitations in Machine Learning
簡介:
“所有模型都是錯誤的,但有些模型是有用的,”喬治·E·普·博克斯(George E. P. Box)(1979)說。 機器學習專注于概率模型在社會系統中進行預測的有用性,但是直到現在才掌握了這些模型錯誤的方式以及這些缺點的后果。 本文嘗試對機器學習模型在應用于社會時的特定概念,過程和統計局限性進行全面,結構化的概述。 機器學習建模者本身可以使用所描述的層次結構來識別可能的故障點,并思考如何解決這些故障點,并且機器學習模型的使用者在面對有關是否,在何處以及如何應用機器學習的決策時可以知道要問什么。 局限性從量化本身固有的承諾到顯示未建模的依存關系如何導致交叉驗證作為評估模型性能的方式過于樂觀的局限性。
目錄:
簡介:
當AI在著名的AlphaGo游戲中擊敗人類時,深度學習(DL)一戰成名,深度學習訓練和學習方法已被廣泛認可為“人性化”的機器。 企業AI平臺中的許多高級自動化功能是由機器學習(ML)和深度學習技術的快速增長而引起的。 深度學習的下一步是什么?
2019年的深度學習深入探討了DL在AI的許多方面(無論是NLP還是計算機視覺應用程序)“無處不在”。 逐步地,啟用了AI和DL的自動化系統,工具和解決方案正在滲透并接管所有業務部門-從營銷到客戶體驗,從虛擬現實到自然語言處理(NLP)-到處都有數字化影響。
深度學習的端到端加密引發了公眾對個人數據絕對隱私的需求的爭議。這種消費者需求與Facebook當前的AI研究工作產生直接沖突。 Facebook的AI研究人員需要“大量收集”個人數據來訓練學習算法。
Facebook意識到端到端加密的烏托邦概念確實是一個在研究世界中從大量個人數據中尋求答案的神話。為了將來的努力,研究人員現在正在認真考慮針對單個設備上的“數據”訓練算法,而不是大量收集個人數據。在這種情況下,Facebook工程師將直接在用戶手機上安裝內容審核算法,以繞過違反數據隱私的行為。
在一個有爭議的帖子中,該KD Nugget帖子的作者預測深度學習可能不是AI的未來。根據作者的說法,其背后的原因是,將來許多DL方法不僅會變得不合法,而且將變得完全非法。該帖子還暗示,未來的移動應用很可能沒有DL。
啟用DL的解決方案的另一個嚴重局限性在于,學習算法仍無法提供選擇的詳細原因,這可能會激起用戶盲目接受AI工具提供的決策。
《深度學習的未來預測》表明,在未來5至10年中,DL將通過每個軟件開發平臺實現民主化。 DL工具將成為開發人員工具包的標準組成部分。 納入標準DL庫的可重用DL組件將具有其先前模型的訓練特征,以加快學習速度。 隨著深度學習工具的自動化持續發展,該技術存在一種固有的風險,即技術會變得如此復雜,以至于普通開發人員會發現自己完全無知。
主題: Deep Learning Compiler
簡介:
Apache TVM是一個用于Cpu、Gpu和專用加速器的開源深度學習編譯器堆棧。它的目標是縮小以生產力為中心的深度學習框架和以性能或效率為中心的硬件后端之間的差距。在此次演講中主要圍繞AWS AI的深度學習編譯器的項目展開,講述了如何通過TVM使用預量化模型,完全從零開始添加新的操作或者是降低到現有繼電器操作符的序列。
邀請嘉賓:
Yida Wang是亞馬遜AWS AI團隊的一名應用科學家。在加入Amazon之前,曾在Intel實驗室的并行計算實驗室擔任研究科學家。Yida Wang在普林斯頓大學獲得了計算機科學和神經科學博士學位。研究興趣是高性能計算和大數據分析。目前的工作是優化深度學習模型對不同硬件架構的推理,例如Cpu, Gpu, TPUs。
《Deep Learning》作為深度學習界的圣經,又名“花書”。英文版由全球知名的三位專家Ian Goodfellow、Yoshua Bengio 和Aaron Courville撰寫,是深度學習領域奠基性的經典教材,中文版由北京大學教授張志華審校出版。
全書的內容包括3個部分:第1部分介紹基本的數學工具和機器學習的概念,它們是深度學習的預備知識;第2部分系統深入地講解現今已成熟的深度學習方法和技術;第3部分討論某些具有前瞻性的方向和想法,它們被公認為是深度學習未來的研究重點。 《深度學習》適合各類讀者閱讀,包括相關專業的大學生或研究生,以及不具有機器學習或統計背景、但是想要快速補充深度學習知識,以便在實際產品或平臺中應用的軟件工程師。
中文版鏈接://github.com/yanshengjia/ml-road/blob/master/resources/深度學習.pdf
英文版鏈接:
Deep Learning is applied to energy markets to predict extreme loads observed in energy grids. Forecasting energy loads and prices is challenging due to sharp peaks and troughs that arise due to supply and demand fluctuations from intraday system constraints. We propose deep spatio-temporal models and extreme value theory (EVT) to capture theses effects and in particular the tail behavior of load spikes. Deep LSTM architectures with ReLU and $\tanh$ activation functions can model trends and temporal dependencies while EVT captures highly volatile load spikes above a pre-specified threshold. To illustrate our methodology, we use hourly price and demand data from 4719 nodes of the PJM interconnection, and we construct a deep predictor. We show that DL-EVT outperforms traditional Fourier time series methods, both in-and out-of-sample, by capturing the observed nonlinearities in prices. Finally, we conclude with directions for future research.
With the spreading prevalence of Big Data, many advances have recently been made in this field. Frameworks such as Apache Hadoop and Apache Spark have gained a lot of traction over the past decades and have become massively popular, especially in industries. It is becoming increasingly evident that effective big data analysis is key to solving artificial intelligence problems. Thus, a multi-algorithm library was implemented in the Spark framework, called MLlib. While this library supports multiple machine learning algorithms, there is still scope to use the Spark setup efficiently for highly time-intensive and computationally expensive procedures like deep learning. In this paper, we propose a novel framework that combines the distributive computational abilities of Apache Spark and the advanced machine learning architecture of a deep multi-layer perceptron (MLP), using the popular concept of Cascade Learning. We conduct empirical analysis of our framework on two real world datasets. The results are encouraging and corroborate our proposed framework, in turn proving that it is an improvement over traditional big data analysis methods that use either Spark or Deep learning as individual elements.