物聯網(IoT)已經從一個新奇的事物(看!我的手機連到我的燈上!),我們每天都依賴于一個主流的技術框架來完成許多任務。這個修訂和更新的版本報告了這個快速發展的網絡世界的最新發展,連接設備、物體和人正在改變我們的生活和工作方式。 商業和技術作家塞繆爾·格林加德帶我們參觀了物聯網,描述了智能燈泡、觸發地震警報的手機傳感器、通過完全沉浸式虛擬現實環境將用戶連接到商業博覽會的3D耳機等等。他對構建和管理物聯網的技術進行了清晰的解釋,并研究了目前越來越多的消費設備,從智能門鎖到增強現實試衣間。格林加德還展示了物聯網如何成為第四次工業革命的一部分,這場革命正在通過智能制造、端到端供應鏈可見性、集成人工智能等方式改變業務。他考慮了與物聯網相關的風險,包括對言論自由的威脅、日益加劇的不平等以及網絡犯罪的增加。最后,他展望了超連接世界的未來,以及它對人類和人類互動的意義。 //mitpress.mit.edu/9780262542623/the-internet-of-things/
面向國防和國家安全的物聯網 實踐案例指南說明了在安全和敵對環境中采用物聯網的挑戰和解決方案 國防與國家安全物聯網涵蓋物聯網安全、架構、機器人、傳感、政策、運營等主題,包括美國國防部首屈一指的物聯網研究項目“戰斗物聯網”的最新成果。本文還討論了將國防工業操作轉換為物聯網的挑戰,并總結了監管政府在自由社會中使用物聯網的政策建議。 作為現代參考,本書涵蓋了物聯網中的多種技術,包括基于內容路由的可生存戰術物聯網、移動自組織網絡和電子形成的波束。物聯網架構的例子包括使用KepServerEX進行邊緣連接,使用AWS IoT Core進行物聯網數據,使用Amazon S3進行物聯網數據。為了幫助讀者理解,文本使用案例研究說明了在國防應用中使用機器人設備的挑戰和解決方案,加上為國防工業基地使用物聯網的案例研究。 由國防和國家安全物聯網技術的領先研究人員和從業人員編寫,國防和國家安全物聯網還包括以下信息: 物聯網武器、后勤和系統驅動的戰爭變化 物聯網資源分配(監控現有資源并根據對抗行動對其重新分配) 戰場物聯網人工智能處理原理,包括機器學習和推理 戰術物聯網通信、網絡、服務器和架構中的漏洞,以及保護它們的策略 適應快速擴展的商業物聯網,為國防物聯網提供動力 對于國防相關公司的應用工程師以及管理人員、政策制定者和學者來說,國防和國家安全物聯網是一種獨一無二的資源,它提供了一個重要而敏感的話題的廣泛覆蓋,而這個話題往往由于機密或受限的分發而對公眾保密。 //www.wiley.com/en-us/IoT+for+Defense+and+National+Security-p-9781119892205
近日,中國通信標準化協會網絡與信息安全技術工作委員會第28次全會成功舉辦。會上,由中國通信標準化協會(CCSA)網絡與信息安全(TC8)安全基礎工作組(WG4)牽頭,聯合多家具備物聯網研究基礎與實踐落地經驗的單位共同撰寫的《物聯網操作系統安全白皮書》(以下簡稱“白皮書”)正式發布。
白皮書指出[1],物聯網操作系統是指運行在物聯網感知控制域中各類終端上的系統軟件,主要實現對物理世界對象的本地化感知、協同和操控,并為物聯網其他域提供遠程管理和服務接口,是感知控制域中各類終端的主要功能的載體。因此物聯網操作系統的穩定和安全是物聯網終端以及物聯網整體系統的安全基礎。目前,物聯網操作系統種類繁多,但普遍存在安全能力參差不齊,安全設計缺失或不規范,安全防護能力不足等問題,導致物聯網終端設備成為了物聯網系統中的安全薄弱環節。在深入分析物聯網操作系統所面臨的主要安全問題和風險的基礎上,本白皮書旨在指出能有效保護物聯網操作系統的安全機制、安全體系以及安全技術,推動適合于物聯網設備及操作系統的安全技術的研發和應用。希望能夠為產業在規劃設計物聯網操作系統安全能力時提供參考和指引。
1.1. 物聯網及物聯網操作系統
1.1.1. 物聯網簡介及發展趨勢 物聯網是“通過感知設備,按照既定協議,連接物、人、系統和信息資源, 對 物理和虛擬世界的信息進行處理并做出反應的智能服務系統”。其中,“物”指物 理實體。國際標準ISO/IEC 22417:2017《Internet of things (IoT) - IoT use cases》 中提出物聯網的應用場景包括交通、家居、公共建筑、辦公、工業、農業、漁業、 穿戴、機車、智慧城市等。全球物聯網連接數保持高速增長,2020 年全球物聯網總連接數達到131 億, 預計到2025 年,連接規模將達到246 億,全球物聯網行業正處于高速發展期。我國物聯網連接數在全球占比超過30%,產業規模突破1.7 萬億元[1],呈現出良 好的增長態勢。2021 年,工信部發布《物聯網新型基礎設施建設三年行動計劃》,明確提 出“融合應用發展行動”,在社會治理領域,將感知終端納入公共基礎設施建設, 加快構建智慧城市、數字鄉村。各地政府將其納入新階段發展重點,物聯網投資 將持續加大,外部政策為其快速發展注入了新動力。 **1.1.2. 物聯網操作系統簡介及架構 **
物聯網操作系統是支持物聯網技術大規模發展的核心基礎軟件,包括操作 系統內核、外圍組件和服務、物聯網安全框架等,以支持構成具有低功耗、安全 通信屬性的物聯網軟件平臺。物聯網操作系統的內核通常具備任務管理、中斷管 理、異常處理、時鐘管理、存儲管理、同步與通信等功能。物聯網操作系統向下 協調和控制各種軟件硬件資源,向上提供統一的應用編程接口,降低物聯網應用 開發的復雜度、成本和時間。物聯網操作系統的架構如圖1 所示。由于物聯網操作系統具有不同的架構和安全機制,因此在安全性、AI 支持、 實時性、資源要求等方面具有較大的差異。如工業控制的物聯網操作系統必須滿 足強實時性要求,而用于智能家居終端設備的物聯網操作系統的實時性要求則不 高。
**1.1.3. 物聯網操作系統特點 **
近些年,隨著設備形態多樣化發展,特別是人機交互方式的更迭,傳統操作 系統逐步從企業商用操作系統、個人計算機操作系統演進到移動設備操作系統。企業商用機領域的大型機、小型機的操作系統以類UNIX 系統為主,而人機 交互方式以鍵盤為主。如果對于磁盤I/O 要求較高,那么Linux 是首選服務器操 作系統。個人計算機中微軟的Windows 占據主流,蘋果的macOS 獨樹一幟,Linux 各種發行版后來居上。人機交互方式演進為鼠標、鍵盤為主。圖形用戶界面友好, 窗口制作優美,操作簡單易學。移動設備的操作系統目前以谷歌Android 系統和蘋果iOS 系統為主。由于設 備多是便攜的小尺寸手持形態,人機交互方式取消了鍵盤,演進為完全基于觸摸 屏的交互設計。相比傳統操作系統,物聯網操作系統通常具備如下的特性[2]:
1、可裁剪伸縮性:根據不同的硬件能力和應用場景,需要對物聯網操作系統進行剪裁與配置,以靈活的配置來滿足不同的需求。操作系統要實現上述的靈活配置,需要采用“組件化、模塊化”的思想,如可伸縮的開放式架構、組件的模塊化設計以及任務調度分層化管理等。
2、低功耗節能性:由于部署的位置、空間、熱環境等方面的限制,低功耗成為物聯網設備及操作系統的一個非常關鍵的指標。在物聯網操作系統整體架構設計的時候,加入一些休眠模式、節能模式、降頻模式等邏輯判斷,以支持足夠的電源續航能力。
3、安全性:作為物聯網基礎軟件的操作系統,尤其需要重視信息安全性, 具備防御外部入侵和避免非授權訪問的能力。其次需要重視功能安全性,避免因 軟件功能缺陷而導致安全風險。
4、實時性:物聯網應用領域中大部分設備都要求實時性,不論是數據采集、 信息交互還是操作控制。實時操作系統(RTOS)是指當外界事件或數據產生時, 能夠實時采集并以足夠快的速度予以處理,其處理的結果又能在規定的時間之內 來控制生產過程或對處理系統做出快速響應,調度一切可利用的資源完成實時任 務,并控制所有實時任務協調一致運行的操作系統。
5、泛在通信性:由于物聯網設備的部署場景千差萬別,可能采用的通信制 式五花八門,因此作為物聯網基礎軟件的操作系統,就要求內置各種近距離和遠 距離的通信協議,既能支持GPRS/HSPA/4G/5G/NB-IoT 等蜂窩無線通信功能, 也能支持WiFi/ZigBee/NFC/RFID 等近場通信功能。
6、云端連接性:物聯網設備完成數據采集后,海量數據通常需要云端進行 存儲與分析。因此,云端連接性是物聯網操作系統的基礎功能。通過內置云平臺 連接中間件,物聯網操作系統可以極大的簡化物聯網應用的開發。
1.1.4. 物聯網操作系統發展趨勢
由于物聯網應用場景的多樣性,使得物聯網終端復雜多樣,為了滿足不同應 用的需求,物聯網操作系統產品種類十分豐富。目前物聯網操作系統呈現出三種 主要的形態[3]。一是以谷歌Android Wear、蘋果watchOS 為代表的操作系統,通 過對智能手機操作系統或PC 操作系統進行裁剪以適配物聯網需求,但往往難以 滿足物聯網級別的功耗和可靠性要求。二是在傳統嵌入式RTOS 上增加物聯網通 信功能,如FreeRTOS、RT-Thread 等,此類操作系統具有功耗低、可靠性高等特 點,但缺乏良好的應用生態。三是物聯網專用操作系統,具備可伸縮、易擴展、 強實時性、高可靠性等特點,可以更好地適配各類物聯網的應用需求,如阿里巴 巴AliOS Things、中國移動OneOS 等。物聯網操作系統發展成熟仍需要時間,一是由于新型物聯網操作系統對主流 應用軟件的兼容性問題,二是物聯網操作系統作為系統軟件,涉及到整個生態的 建設,而生態建設、應用研發適配以及開發者培育都需要時間。
1.2. 典型物聯網操作系統安全架構
安全的物聯網操作系統需要從系統設計、實現、使用和管理各個階段入手, 遵循一套完善的系統安全策略。物聯網操作系統內核中存在錯誤或設計缺陷,應 用部分采取再多緩解措施也難以保障系統的安全性。通過微內核設計來減少內核的復雜度、利用安全核來提供整個物聯網操作系統安全性,成為提升物聯網操作 系統安全性的一個趨勢。當前,物聯網操作系統主要分為兩大類。一類主要面向資源受限的物聯網設 備,系統架構多采用可配置、高度模塊化的設計,編譯后的內核通常小于10KB, 這類物聯網操作系統普遍沒有用戶空間的概念,功能較為單一,常見的有μC/OS、 FreeRTOS、Contiki、Mbed OS、QNX? Neutrino? RTOS、Zephyr、ThreadX、LiteOS、 AliOS Things 等。另一類則面向資源豐富的物聯網設備,多采用UNIX 或類UNIX 內核,除了提供進程調度、進程間通信等基礎服務外還提供文件系統、設備驅動、 虛擬內存管理、網絡協議棧等復雜的服務,這類物聯網操作系統功能繁多,運行 環境復雜,安全問題突出,常見的有Linux、QNX、Android、鴻蒙OS 等。
1、資源受限型物聯網操作系統
資源受限型物聯網操作系統典型架構如圖2 所示,主要包括硬件層、內核層、 服務層/框架層、應用層。受限于硬件性能,該類物聯網操作系統安全功能較為 薄弱,如何在安全與可用性之間取得平衡是這類物聯網操作系統設計的重點。輕 量化的操作系統安全技術是當前的主要方向,例如:Arm 在Armv8-M 中引入了 TrustZone-M 技術,并提供了TF-M 固件安全解決方案;翼輝提供了嵌入式防火 墻,能有效防御常見的網絡攻擊;OneOS 提供了輕量級TLS,可利用極低的資 源消耗實現數據加密和安全通信服務;LiteOS 提供了LMS(Lite Memory Sanitizer)服務,能夠實時檢測內存操作的合法性。
2、資源豐富型物聯網操作系統
資源豐富型物聯網操作系統典型架構如圖3 所示,主要包括硬件資源層、內 核層、系統組件/服務/工具層、文件系統、應用層。這類物聯網操作系統多采用 UNIX 或類UNIX 內核。考慮到物聯網設備的使用環境、使用方式存在較大差異, 傳統計算機操作系統所采用的安全模型、安全機制并不一定適用于物聯網操作系 統。因此,物聯網操作系統在設計開發時需要結合物聯網設備特性選擇合適的安全模型和安全機制來保障系統的安全性。例如:傳統計算機操作系統善于保護某 一個用戶不受其他用戶的影響,但對于物聯網設備而言,基本以root(超級管理 員用戶)身份運行,所以更加關注相同用戶的不同進程之間的訪問控制,這種情 況下使用類型增強訪問控制機制(Type Enforcement Access Control,TEAC)會 更合適。 可選的安全模型及安全機制有:BLP 模型、Bida 模型、Clark-Wilson 模型、 Chinese Wall 模型等;基于硬件的內存保護機制、運行域保護機制、I/O 保護機 制;基于軟件的標識與鑒別機制、訪問控制機制、最小特權管理機制、可信通路 機制、隱蔽通道的分析和處理、安全審計機制等。這些機制現在已經有了很多成 熟的技術實現。以訪問控制為例,Linux 提供了LSM(Linux 安全模塊)框架, 可以很方便的實現各種訪問控制模型及策略;SELinux 提供了基于角色、類型增 強、多級安全的訪問控制機制;簡化的強制訪問控制內核(Simplified Mandatory Access Control Kernel,SMACK)提供了類型增強訪問控制機制;Tomoyo 提供 了基于路徑的訪問控制機制等。
//library.oapen.org/handle/20.500.12657/22916
這本開放獲取的書從一個算法開始——一套IF…THEN規則,用于開發一個新的、道德的、交通樞紐的視頻監控架構。讀者們被邀請跟隨這個算法三年,記錄它的日常生活。在一系列要求更高的實驗形式中,算法必須抓住道德、透明度、問責和市場價值等問題。在這里,如果要讓算法成為設定中一個普通的特征,它必須證明它有能力控制日常生活。通過調查算法的日常生活,這本書打開了與現有的社會科學研究的對話,這些研究傾向于關注算法的力量和不透明性。在這本書中,我們可以了解算法的設計、開發和測試,但也可以見證它的脆弱性和對他人的依賴。
近年來,自然語言處理的研究方法取得了一些突破。這些突破來源于兩個新的建模框架以及在計算和詞匯資源的可用性的改進。在這個研討會小冊子中,我們將回顧這些框架,以一種可以被視為現代自然語言處理開端的方法論開始:詞嵌入。我們將進一步討論將嵌入式集成到端到端可訓練方法中,即卷積神經網絡和遞歸神經網絡。這本小冊子的第二章將討論基于注意力的模型的影響,因為它們是最近大多數最先進的架構的基礎。因此,我們也將在本章中花很大一部分時間討論遷移學習方法在現代自然語言處理中的應用。最后一章將會是一個關于自然語言生成的說明性用例,用于評估最先進的模型的訓練前資源和基準任務/數據集。
//compstat-lmu.github.io/seminar_nlp_ss20/
在過去的幾十年里,人工智能技術的重要性和應用不斷得到關注。在當今時代,它已經與構成人類塑造環境的大部分環境密不可分。因此,商業、研究和開發、信息服務、工程、社會服務和醫學等無數部門已經不可逆轉地受到人工智能能力的影響。人工智能有三個主要領域組成了這項技術:語音識別、計算機視覺和自然語言處理(見Yeung (2020))。在這本書中,我們將仔細研究自然語言處理(NLP)的現代方法。
這本小冊子詳細介紹了用于自然語言處理的現代方法,如深度學習和遷移學習。此外,本研究亦會研究可用于訓練自然語言處理任務的資源,并會展示一個將自然語言處理應用于自然語言生成的用例。
為了分析和理解人類語言,自然語言處理程序需要從單詞和句子中提取信息。由于神經網絡和其他機器學習算法需要數字輸入來進行訓練,因此應用了使用密集向量表示單詞的詞嵌入。這些通常是通過有多個隱藏層的神經網絡學習的,深度神經網絡。為了解決容易的任務,可以應用簡單的結構神經網絡。為了克服這些簡單結構的局限性,采用了遞歸和卷積神經網絡。因此,遞歸神經網絡用于學習不需要預先定義最佳固定維數的序列的模型,卷積神經網絡用于句子分類。第二章簡要介紹了NLP中的深度學習。第三章將介紹現代自然語言處理的基礎和應用。在第四章和第五章中,將解釋和討論遞歸神經網絡和卷積神經網絡及其在自然語言處理中的應用。
遷移學習是每個任務或領域的學習模型的替代選擇。在這里,可以使用相關任務或領域的現有標記數據來訓練模型,并將其應用到感興趣的任務或領域。這種方法的優點是不需要在目標域中進行長時間的訓練,并且可以節省訓練模型的時間,同時仍然可以(在很大程度上)獲得更好的性能。遷移學習中使用的一個概念是注意力,它使解碼器能夠注意到整個輸入序列,或自注意,它允許一個Transformer 模型處理所有輸入單詞,并建模一個句子中所有單詞之間的關系,這使得快速建模一個句子中的長期依賴性成為可能。遷移學習的概念將在小冊子的第6章簡要介紹。第七章將通過ELMo、ULMFiT和GPT模型來描述遷移學習和LSTMs。第八章將詳細闡述注意力和自注意力的概念。第九章將遷移學習與自注意力相結合,介紹了BERT模型、GTP2模型和XLNet模型。
為NLP建模,需要資源。為了找到任務的最佳模型,可以使用基準測試。為了在基準實驗中比較不同的模型,需要諸如精確匹配、Fscore、困惑度或雙語評估替補學習或準確性等指標。小冊子的第十章簡要介紹了自然語言處理的資源及其使用方法。第11章將解釋不同的指標,深入了解基準數據集SQuAD、CoQa、GLUE和SuperGLUE、AQuA-Rat、SNLI和LAMBADA,以及可以找到資源的預訓練模型和數據庫,如“帶代碼的論文”和“大壞的NLP數據庫”。
在小冊子的最后一章中,介紹了生成性NLP處理自然語言生成,從而在人類語言中生成可理解的文本。因此,不同的算法將被描述,聊天機器人和圖像字幕將被展示,以說明應用的可能性。
本文對自然語言處理中各種方法的介紹是接下來討論的基礎。小冊子的各個章節將介紹現代的NLP方法,并提供了一個更詳細的討論,以及各種示例的潛力和限制。
概率論起源于17世紀的法國,當時兩位偉大的法國數學家,布萊斯·帕斯卡和皮埃爾·德·費馬,對兩個來自機會博弈的問題進行了通信。帕斯卡和費馬解決的問題繼續影響著惠更斯、伯努利和DeMoivre等早期研究者建立數學概率論。今天,概率論是一個建立良好的數學分支,應用于從音樂到物理的學術活動的每一個領域,也應用于日常經驗,從天氣預報到預測新的醫療方法的風險。
本文是為數學、物理和社會科學、工程和計算機科學的二、三、四年級學生開設的概率論入門課程而設計的。它提出了一個徹底的處理概率的想法和技術為一個牢固的理解的主題必要。文本可以用于各種課程長度、水平和重點領域。
在標準的一學期課程中,離散概率和連續概率都包括在內,學生必須先修兩個學期的微積分,包括多重積分的介紹。第11章包含了關于馬爾可夫鏈的材料,為了涵蓋這一章,一些矩陣理論的知識是必要的。
文本也可以用于離散概率課程。材料被組織在這樣一種方式,離散和連續的概率討論是在一個獨立的,但平行的方式,呈現。這種組織驅散了對概率過于嚴格或正式的觀點,并提供了一些強大的教學價值,因為離散的討論有時可以激發更抽象的連續的概率討論。在離散概率課程中,學生應該先修一學期的微積分。
為了充分利用文中的計算材料和例子,假設或必要的計算背景很少。所有在文本中使用的程序都是用TrueBASIC、Maple和Mathematica語言編寫的。
這本書向你展示了如何建立實時圖像處理系統,一直到家庭自動化。了解如何開發一個基于32位ARM處理器的系統,通過語音命令實現完全控制
實時圖像處理系統被廣泛應用于各種應用中,如交通監控系統、醫學圖像處理和生物特征安全系統。在使用深度神經網絡的實時物聯網成像中,您將學習如何使用Java和OpenCV的包裝器來利用最佳的DNN模型來檢測圖像中的對象。在為遠程編程準備Visual Studio代碼時,仔細看看Java腳本是如何在Raspberry Pi上工作的。您還將獲得有關圖像和視頻腳本的見解。作者Nicolas Modrzyk向您展示了如何使用Rhasspy語音平臺來添加一個強大的語音助手,并從您的計算機上完全運行和控制您的Raspberry Pi。
為了讓您的語音意圖為家庭自動化做好準備,您將探索Java如何連接到MQTT并處理參數化的Rhasspy語音命令。有了語音控制系統,您就可以在選定的環境中執行簡單的任務,比如檢測貓、人和咖啡壺。隱私和自由是至關重要的,因此優先考慮使用開源軟件和設備上的語音環境,在這種環境中,您可以完全控制您的數據和視頻流。你的語音指令是你自己的,而且只是你自己的。
隨著物聯網和機器學習的發展,前沿的圖像處理系統提供了完整的過程自動化。這本實用的書教你建立這樣一個系統,給你完全的控制與最小的努力。
你會學到什么:
這本書是寫給誰的: 工程師和愛好者希望使用他們喜歡的JVM在Raspberry Pi上運行對象檢測和網絡