超維計算是一種受大腦工作機制啟發的新興認知模型, 使用信息的高維、隨機、全息分布式表示作為處理對象, 具有低運算成本、快速學習過程、高硬件友好性、強魯棒性、不依賴大數據和優異的模型可解釋性等優勢, 在分類識別、信號處理、多任務學習、信息融合、智能決策等領域有著良好的應用前景。近年來, 超維計算受到的關注量持續增加, 展現出巨大的發展潛力, 為研究人員提供了一種新選擇。本文詳細介紹了超維計算的發展歷史、基本原理和模型框架, 給出超維計算的典型應用實例, 并對超維計算現階段存在的問題和未來可能的發展方向進行了探討。
0 引言
如何使計算機具有和人腦類似甚至更好的記憶、學習、聯想、認知和思考能力, 是長期以來廣大研究人員共同希望解決的難題之一。神經科學在尋求解釋人類神智活動的同時, 也為機器學習領域提供了豐富的靈感來源, 并由此衍生出了一系列類人腦人工智能算法。例如, 從神經細胞間信息傳遞模型抽象出的單層感知機[1]和在其基礎上發展的深度神經網絡[2], 假定神經元突觸相互作用是線性累加的相關矩陣存儲器(correlation matrix memories, CMM)[3-4], 受視網膜神經元感受野啟發的卷積神經網絡[5], 借鑒大腦激活稀疏性的稀疏編碼[6], 以及模擬大腦如何在嘈雜環境中將注意力集中到某個特定聲音的獨立成分分析(independent component analysis, ICA)算法[7]等。其中, 神經網絡在被提出初期, 由于其較大的模型規模和當時有限的計算機算力, 模型訓練困難, 準確率有限。直到2012年基于深度卷積神經網絡的AlexNet模型[8]取得突破性進展后, 神經網絡的相關研究在圖像識別[9]、自然語言處理[10]、語音識別[11]等諸多領域得到了廣泛應用, 以神經網絡為代表的連接主義模型迅速成為了人工智能領域的研究熱點。 隨著需要處理的任務難度不斷上升, 神經網絡模型不斷向著更深、更廣、更復雜的趨勢發展。但是, 這一趨勢直接使神經網絡的模型規模越來越龐大。目前, 常用的神經網絡模型, 需要訓練的參數量一般都在百萬以上。巨大運算量帶來的漫長訓練時間對硬件設備的精度和性能要求較高, 也需要更多的能耗和更好的模型穩定性。較低的硬件友好性也使神經網絡很難在物聯網、嵌入式系統等小型平臺上完成實時片上訓練。此外, 神經網絡模型的訓練依賴大數據驅動、無指標調參和浮點數迭代運算, 而大腦產生認知并執行決策時所需樣本很少, 快速聯想能力強且容錯性高, 兩者存在著本質差異。雖然在很多實際應用中, 黑匣式神經網絡模型做出的決策判斷取得了良好的識別效果, 但目前神經網絡模型提取的特征和產生決策的具體邏輯仍然在語義層面難以理解, 并且缺乏標準的數學工具定量評估模型的泛化能力和實際學習能力, 其可信度和可解釋性有限。大量工作圍繞解決神經網絡算法存在的上述問題開展, 例如減少樣本需求并加速訓練過程的小樣本學習[12]、簡化模型結構的剪枝技術[13]、增加模型可解釋性的可視化技術[14-15]等。
然而, 這些在神經網絡模型中需要通過額外處理才能在特定情況下實現的特性, 直接且自然地存在于超維計算基本架構中[16]。因此, 雖然超維計算的理論雛形早在20世紀80年代就被提出[17], 在近年來也作為一種新興技術重新得到了全球范圍內的關注和系統性的研究。
超維計算[18]同樣是理論神經科學與計算機科學交叉領域的產物。與上文提到的神經網絡等人工智能算法相比, 相同之處在于其都將信息的高維分布式表示作為數據的表示方式或處理過程中的基本環節。生物學中的相關研究表明, 許多生物的感覺系統中都有一個將相對低維的感覺輸入信號轉化為高維稀疏表示的器官, 并使用此高維表示實現后續的認知行為[19-20], 此特點與這些算法中高維的概念相符。不同之處在于, 超維計算將記憶的產生和回憶看作是一種高維的全局隨機映射與相似度匹配, 類似大腦中海馬體將短時記憶信息經過加工轉化后形成大腦皮層長時記憶的方式[21], 將新信息通過聯想、篩選和整合, 添加至已有的信息編碼中, 這與神經網絡等連接主義模型中的多層復合數值運算不同。
在超維計算中, 每一個實體都被編碼映射為一個超維向量, 即一個維度為數千、數萬或更高的高維矢量。實體的信息被全息地分布在超維向量中的每個元素上, 每個元素之間幾乎是獨立的。在超維向量所在的超維空間中, 通過對向量進行加法、乘法和排列等簡單運算即可產生豐富且具有特殊性質的數學計算行為[16], 進而實現后續的高能效、高魯棒性認知操作[22-25]。在實際應用中, 超維向量的運算通常由簡單高效的逐位二進制整數運算實現。模型不依賴于大數據驅動, 對每個樣本通過一次編碼映射即可完成訓練, 使超維計算所需的運算成本和對硬件性能的要求極低, 具有超快速的訓練時間和數據刷新率。其硬件友好性使小成本片上訓練成為可能, 并且在獲得新樣本時, 已有模型可以實時更新與學習。同時, 由于超維計算中的運算都是可逆的, 模型也具有良好的可驗證性和可解釋性。
總的來說, 超維計算以其更快的學習過程、更低的延遲率、更高的能效、更貼合神經科學的魯棒性、更輕量的模型規模、更少的樣本需求和更多的可解釋特征, 成為一種極具前途的片上實時學習和識別方法[26], 從基本架構上直接解決了神經網絡等人工智能算法存在的問題, 作為一種新興輕量級分類器提供了輔助甚至取代現有傳統機器學習方法的可能性[27-28]。目前, 有關超維計算的系統理論、工程應用以及與其他算法配合使用的研究仍然處在快速發展階段。
超維計算已經在語音識別[29]、語言識別[30-31]、手寫數字識別[32]、合成孔徑雷達(synthetic aperture radar, SAR)圖像識別[33]、人體姿態識別[26]、生物信號處理[34-36]、脫氧核糖核酸(deoxyribonucleic acid, DNA)模式匹配[37]、多任務學習[38]、多傳感器信息融合[39-41]和腦機接口[42]等諸多領域得到了很好的應用。特別是在計算資源嚴格受限的設備上, 例如樹莓派[43](raspberry pi, RPi)、特定應用集成電路[44-45](application specific integrated circuit, ASIC)、現場可編程門陣列[46-47](field programmable gate array, FPGA)、可變電阻式存儲器[48-49](resistive random-access memory, ReRAM)和相變存儲器[50](phase change memory, PCM), 超維計算的優勢將更加突出。
然而, 目前國內文獻中暫時還沒有超維計算相關的研究內容, 對此算法進行相關研究的國內團隊也較少。因此, 本文將圍繞超維計算的發展歷史、基本原理、典型應用以及存在的問題和未來發展方向幾個方面, 對超維計算理論進行系統性地闡述、分析和研究, 基于其研究進展, 為超維計算在更多相關領域中的應用提供一定的可行性和可能性。
付費5元查看完整內容
相關內容
隨著深度神經網絡在機器學習的各個領域獲得廣泛成功, 其自身所存在的問題也日益尖銳和突出, 例如可解釋性差、魯棒性弱和模型訓練難度大等. 這些問題嚴重影響了神經網絡模型的安全性和易用性. 因此, 神經網絡的可解釋性受到了大量的關注, 而利用模型可解釋性改進和優化模型的性能也成為研究熱點之一. 在本文中, 我們通過幾何中流形的觀點來理解深度神經網絡的可解釋性, 在通過流形視角分析神經網絡所遇到的問題的同時, 匯總了數種有效的改進和優化策略并對其加以解釋. 最后, 本文對深度神經網絡流形解釋目前存在的挑戰加以分析, 提出將來可能的發展方向, 并對今后的工作進行了展望.
//www.sciengine.com/publisher/scp/journal/SSI/51/9/10.1360/SSI-2020-0169?slug=fulltext
付費5元查看完整內容
材料是國民經濟的基礎,新材料的發現是推動現代科學發展與技術革新的源動力之一,傳統的實驗“試錯型”研究方法具有成本高、周期長和存在偶然性等特點,難以滿足現代材料的研究需求。近些年,隨著人工智能和數據驅動技術的飛速發展,機器學習作為其主要分支和重要工具,受到的關注日益增加,并在各學科領域展現出巨大的應用潛力。將機器學習技術與材料科學研究相結合,從大量實驗與計算模擬產生的數據中挖掘信息,具有精度高、效率高等優勢,給新材料的研發和材料基礎理論的研究提供了新的契機。
機器學習技術結合了計算機科學、概率論、統計學、數據庫理論以及工程學等知識,計算速度快、泛化能力強,能有效地處理一些難以運用傳統實驗及模擬計算方法解決的體系和問題。近10年,機器學習在材料科學研究中的應用呈現出爆炸式的增長,尤其在新材料的合成設計、性能預測、材料微觀結構深入表征以及改進材料計算模擬方法幾個方面,均有著出色的表現。當然,作為一項數據驅動技術,如何獲取大量實驗數據并將其構建為行之有效的數據集仍是現階段機器學習技術在材料科學領域應用的熱點和難點。
本文概述了機器學習技術的基本原理、主要工作流程和常用算法,簡述了機器學習技術在材料科學領域中的研究重心及應用進展,分析了機器學習在材料學研究中尚存在的問題,并對未來此領域的發展熱點進行了展望。
付費5元查看完整內容
?視覺識別是當前計算機視覺、模式識別乃至人工智能領域最重要、最活躍的研究領域之一。它具有重大的基礎重要性和強烈的工業需求。在大量訓練數據和新的強大計算資源的幫助下，深度神經網絡在許多具體任務上大大提高了其性能。雖然識別精度通常是新進展的首要考慮，但效率實際上是相當重要的，有時對學術研究和工業應用都至關重要。此外，整個社會也高度需要對效率的機遇和挑戰有深刻見解。雖然從不同角度對DNN的效率問題進行了全面的調研，但據我們所知，很少有系統地關注視覺識別，因此不清楚哪些進展適用于視覺識別，還有哪些需要關注。在本文中，我們回顧了近年來的研究進展，并對提高DNN相關視覺識別方法的效率提出了可能的新方向。我們不僅從模型的角度進行調研，而且還從數據的角度進行調研(在現有的調研中并非如此)，并關注三種最常被研究的數據類型(圖像、視頻和點)。本文試圖通過全面的調研，對視覺識別問題進行系統的總結，以期對從事視覺識別研究的研究者和實踐者提供有價值的參考。
深度神經網絡(DNNs)在許多視覺識別任務中取得了巨大的成功。它們極大地改善了手寫數字識別[1]、人臉識別[2]、圖像分類[3]等長期存在的問題的性能。他們也使探索新的邊界，包括研究圖像和視頻字幕[4]-[6]，身體姿勢估計[7]，和許多其他。然而，這種成功通常取決于大量高質量的手標記訓練數據和最近非常先進的計算資源。顯然，在大多數成本敏感的應用程序中，這兩個條件通常過于昂貴而無法滿足。即使由于許多標注者的大量努力，人們確實有了足夠的高質量訓練數據，但要弄清楚如何在有限的資源和可接受的時間內訓練有效的模型，通常也是一個巨大的挑戰。假設模型可以以某種方式得到適當的訓練(無論花費多少努力)，在終端用戶的實際應用程序中部署模型仍然不容易，因為運行時推斷必須適合可用的或負擔得起的資源，而且運行速度必須滿足實際需要，可以是實時的，甚至是更高的。因此，除了學術界通常最關注的準確性之外，效率是另一個重要問題，在大多數情況下，是實際應用中不可缺少的需求。
雖然目前使用DNN進行視覺識別任務的研究主要集中在準確性方面，但在效率方面仍有許多可喜的進展，特別是在最近幾年。在過去的兩年中，已經發表了許多關于DNN效率問題的調研論文，詳細內容見下文I-A小節。然而，這些方法都沒有重點關注視覺識別任務，特別是缺少有效處理視覺數據的專項工作，而視覺數據處理有其自身的特點。在實踐中，有效的視覺識別必須是一個系統的解決方案，不僅要考慮到緊湊/壓縮的網絡和硬件加速，而且還要正確處理視覺數據，這些數據可能是各種類型(如圖像、視頻和點)，具有相當不同的屬性。這可能是缺乏關于這個主題的調研的一個重要原因。因此，就我們所知，本文首次對基于DNN的高效視覺識別進行了綜述。基于我們在主要視覺數據類型、它們的各種識別模型和網絡壓縮算法方面的專業知識和經驗，本課程旨在從各個方面系統地概述最近的進展和趨勢。
相比之下，本綜述主要關注從原始視覺數據到最終識別結果的生產全局效率，希望能幫助對現代視覺識別任務及其高效的基于DNN的解決方案感興趣的讀者。這篇論文在以下幾個方面也有我們所知的創新之處。1)系統地綜述了神經網絡在視覺識別領域的研究進展，這是我們所知的同類研究的首次。2)第一次總結了有效視覺識別的數據相關問題，包括數據壓縮、數據選擇和數據表示。3)從有利于視覺識別任務的角度研究網絡壓縮模型。4)在高效視覺識別領域，綜述了運行時推理和模型泛化的加速方法。5)對DNN高效視覺識別的挑戰、機遇和新方向進行深入討論。為了清楚地了解這個調研的脈絡，圖1是作為組織的藍圖。具體來說，在第二節中，我們將介紹視覺識別問題中常見的三種主要數據類型，并討論它們的屬性以及與它們相關的挑戰。第三節回顧了在實際識別部分之前的三個方面的工作: 數據壓縮、數據選擇和數據表示。第四節簡要介紹和分析了網絡壓縮在視覺識別領域的廣泛研究方向。第五部分對測試階段的高效模型泛化和快速推理的最新進展進行了總結，這對基于DNN的視覺識別系統的實際部署非常重要。最后，第六節概述了所有努力，以產生一個清晰的總體映射，并討論了一些重要的未發現的方面和新的研究方向。
付費5元查看完整內容
生成對抗式網絡由負責學習數據分布的生成器和負責鑒別樣本真偽的鑒別器構成,這兩者在相互對抗的過程中互相學習逐漸變強。該網絡模型令深度學習方法具備了自動學習損失函數的能力,減少了對于專家知識的依賴,已經被廣泛應用于自然圖像處理領域,并且對于醫學影像處理的相關瓶頸問題也是具有巨大應用前景的解決方案。本文旨在找到生成對抗式網絡與醫學影像領域所面臨的挑戰的結合點,并通過充分分析已有研究工作,對未來的研究方向進行展望,也為即將在該領域開展研究的人員提供參考。本文首先闡述了生成對抗式網絡的基本原理,從任務拆分、條件約束以及圖像到圖像的翻譯等幾個角度對其衍生模型進行分析回顧；其次,對其在醫學影像領域中的數據增廣、模態遷移、圖像分割以及去噪等方面應用的最新研究工作進行回顧,分析各方法的優缺點與適用范圍；然后,對已有的圖像生成質量評估方法進行小結；最后,總結生成對抗式網絡在醫學影像領域的研究進展,并結合該領域問題的特性,指出已有的理論應用存在的不足與改進方向。自生成對抗式網絡提出以來,其理論不斷地完善,在醫學影像的數據增廣、模態遷移、圖像分割以及去噪等應用中也取得了長足的發展, 但其仍然存在一些亟待解決的問題,包括三維數據合成、幾何結構合理性保持、無標記和未配對數據使用,以及多模態數據交叉應用。
//www.cjig.cn/jig/ch/reader/view_abstract.aspx?flag=2&file_no=2021&journal_id=jig
付費5元查看完整內容
三維視覺測量是計算機視覺與精密測量原理交叉融合的前沿高新技術,是工業4.0的基礎支撐,是以網絡化、智能化制造為變革特征的先進制造業的核心關鍵技術。經過幾十年的發展,三維視覺測量技術在基礎研究和應用研究上均獲得了快速深入發展,形成了理論方法、技術工藝、系統研發和產品應用四位一體較為完備的方向體系,呈現出理論系統化、方法多維化、精度精準化和速度快捷化的發展趨勢,成為智能制造過程控制、產品質量檢驗保證和裝備整機服役測試的不可或缺的優選技術。本報告主要圍繞單相機、雙相機、結構光等典型三維視覺測量技術展開論述,概要介紹其關鍵技術內涵,綜述其發展現狀、前沿動態、熱點問題和發展趨勢。重點論述條紋投影三維測量技術和相位測量偏折術。最后給出了三維視覺測量的發展趨勢與未來展望。
付費5元查看完整內容
傳統的“試錯”型材料研究方法存在周期長、成本高和偶然性大等不足,已經不能滿足現代材料研發的需求,提高研發針對性、縮短材料研發周期、降低材料研發成本成為全世界的研究熱點。隨著數據量的不斷累積以及計算機技術的不斷發展,數據密集型科學逐漸成為科學研究的第四范式。從大量數據中尋找能反映材料本征的“基因”,是材料現行的研究趨勢。人工神經網絡方法因具備自學習、聯想存儲以及高速尋找優化解的能力的優點而被廣泛應用于材料科學領域。研究者利用人工神經網絡等機器學習模型對材料的試驗或理論計算數據進行挖掘,在專家經驗和理論指導下轉化為可靠的知識并能夠輔助智能決策,從而建立材料從微觀結構到宏觀性能間的一一映射關系。
早期,人工神經網絡主要被用于尋求材料的宏觀參數與材料宏觀性能之間的關系,如材料的成分設計,加工過程的工藝參數優化,以及尋找影響材料使用性能的環境參數;人工神經網絡通過對第一性原理計算結果進行學習,被用于描述原子尺度下體系之間的作用關系,以此實現計算速度與精度的平衡;而卷積神經網絡等深度神經網絡方法在圖像處理上的獨到優勢,使得其在材料表征領域得到了更廣泛的應用,如SEM、TEM中微結構識別與重構。借助人工神經網絡等方法,實現材料微觀、介觀到宏觀性能之間跨尺度的聯系,是實現材料設計這一終極目標的可能途徑。
本文回顧了人工神經網絡的發展歷史,對目前材料領域應用最為廣泛的BP神經網絡與卷積神經網絡原理進行了闡釋,綜述了人工神經網絡在材料宏觀性能、計算模擬、材料表征等領域的應用,探討了人工神經網絡在材料領域應用存在的不足,最后對未來的發展趨勢進行了展望。
付費5元查看完整內容
摘要: 深度信念網絡(Deep belief network, DBN)是一種基于深度學習的生成模型, 克服了傳統梯度類學習算法在處理深層結構所面臨的梯度消失問題, 近幾年來已成為深度學習領域的研究熱點之一.基于分階段學習的思想, 人們設計了不同結構和學習算法的深度信念網絡模型.本文在回顧總結深度信念網絡的研究現狀基礎上, 給出了其發展趨勢.首先, 給出深度信念網絡的基本模型結構以及其標準的學習框架, 并分析了深度信念網絡與其他深度結構的關系與區別; 其次, 回顧總結深度信念網絡研究現狀, 基于標準模型分析不同深度信念網絡結構的性能; 第三, 給出深度信念網絡的不同無監督預訓練和有監督調優算法, 并分析其性能; 最后, 給出深度信念網絡今后的發展趨勢以及未來值得研究的方向.
付費5元查看完整內容
機器視覺
·
機器視覺是建立在計算機視覺理論工程化基礎上的一門學科，涉及到光學成像、視覺信息處理、人工智能以及機電一體化等相關技術。隨著我國制造業的轉型升級與相關研究的不斷深入，機器視覺技術憑借其精度高、實時性強、自動化與智能化程度高等優點，成為了提升機器人智能化的重要驅動力之一，并被廣泛應用于工業生產、農業以及軍事等各個領域。在廣泛查閱相關文獻之后，針對近十多年來機器視覺相關技術的發展與應用進行分析與總結，旨在為研究學者與工程應用人員提供參考。首先，總結了機器視覺技術的發展歷程、國內外的機器視覺發展現狀；其次，重點分析了機器視覺系統的核心組成部件、常用視覺處理算法以及當前主流的機器視覺工業軟件；然后，介紹了機器視覺技術在產品瑕疵檢測、智能視頻監控分析、自動駕駛與輔助駕駛與醫療影像診斷等四個典型領域的應用；最后分析了當前機器視覺技術所面臨的挑戰，并對其未來的發展趨勢進行了展望。希望為機器視覺技術的發展和應用推廣發揮積極作用。
付費5元查看完整內容
量子信息
·
量子信息技術是量子力學與信息科學融合的新興交叉學科, 它的誕生標志著人類社會將從經 典技術邁進到量子技術的新時代, 本文將闡述量子信息技術的研究現狀與未來. 文中描繪了量子技術 發展遠景, 即筑建各種類型的量子網絡, 包括量子云計算網絡、分布式量子計算、量子傳感網絡和量子 密鑰分配網絡等. 量子計算機已從實驗室的研究邁進到企業的實用器件研制, 目前已發展到中等規模 帶噪聲量子計算機 (noisy intermidiate-scale quantum, NISQ) 的階段. 在量子技術時代, 沒有絕對安全 的保密體系, 也沒有無堅不摧的破譯手段, 信息安全進入 “量子對抗” 的新階段.
付費5元查看完整內容
知識圖譜以圖的方式承載著結構化的人類知識。作為將知識整合進入人工智能系統的媒介, 知識圖譜的研究日益流行。知識圖譜在眾多人工智能相關的應用上嶄露頭角, 例如問答系統、 信息檢索、 自然語言處理、 推薦系統等。然而, 傳統的深度學習不能很好地處理知識圖譜這類非歐式數據。隨著圖神經網絡的快速發展, 幾何深度學習成為建模非歐式數據的重要理論。 本文以幾何深度學習的視角, 以圖神經網絡為重點, 總結了近期基于圖神經網絡的知識圖譜關鍵技術研究進展。具體地, 本文總結了知識圖譜中知識獲取、 知識表示、 知識推理這三個較為核心的研究領域, 并展望了未來的研究方向和前景, 探討知識圖譜在航空航天軍事上的潛在應用。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191