近年來,計算機視覺和機器學習系統有了顯著改善,這主要是基于深度學習系統的發展,從而在目標檢測任務上取得了令人印象深刻的性能。理解圖像內容則要困難得多。即使是簡單的情況,如 "握手"、"遛狗"、"打乒乓球 "或 "人們在等公交車",也會帶來巨大的挑戰。每種情況都由共同的目標組成,但既不能作為單一實體進行可靠的檢測,也不能通過其各部分的簡單共同出現進行檢測。
這篇論文將描述一個用于進行視覺情境識別的新型系統,其目標是開發能夠展示與理解相關特性的機器學習系統。該系統被稱為 Situate,它能在給出情況描述和少量標注訓練集的情況下,學習目標外觀模型以及捕捉情況預期空間關系的概率模型。給定一張新圖片后,Situate 會利用其學習到的模型和一系列智能體對輸入內容進行主動搜索,以找到情況模型與圖片內容之間最一致的對應關系。每個智能體都會開發模型與輸入內容之間可能存在的對應關系,而 Situate 會為智能體分配計算資源,以便盡早開發出有希望的解決方案,但也不會忽略其他對應關系。
將把 Situate 與更傳統的計算機視覺方法(該方法依賴于檢測情境中的組成目標)以及基于 "場景圖 "的相關圖像檢索系統進行比較。將在情境識別任務和圖像檢索中對每種方法進行評估。結果表明了圖像內容和該內容模型之間的反饋系統的價值。
近年來,對無人駕駛車輛等自主實體的研究開始給軍事和民用設備帶來革命性的變化。自主實體的一個重要研究重點是自主機器人群的協調問題。傳統上,機器人模型被用于考慮操作機器人群所需最低規格的算法。然而,這些理論模型也忽略了重要的實際細節。其中一些細節,如時間,以前也曾被考慮過(如執行的歷時)。在本論文中,將結合幾個問題來研究這些細節,并引入新的性能指標來捕捉實際細節。具體來說,我們引入了三個新指標:(1) 距離復雜度(反映機器人的耗電量和損耗),(2) 空間復雜度(反映算法運行所需的空間),(3) 局部計算復雜度(反映蜂群中每個機器人的計算要求)。
將這些指標應用于研究一些著名的重要問題,如完全可見性和任意模式形成。還引入并研究了一個新問題--"門道出口",它抓住了機器人群在受限空間中導航的本質。首先,研究了一類完全可見性算法所使用的距離和空間復雜性。其次,提供了整數平面上的完全可見性算法,包括一些在時間、距離復雜度和空間復雜度方面漸近最優的算法。第三,介紹了門道出口問題,并為各種機器人群模型提供了不同最優性的算法。最后,還提供了網格上任意圖案形成的最優算法。
生成式人工智能模型能夠執行一系列傳統上需要創造力和人類理解力的任務。在訓練過程中,它們可以從現有數據中學習模式,然后根據這些模式生成文本、圖像和音樂等新內容。一方面,由于它們的多功能性和普遍的高質量結果,它們代表了數字化的機遇。另一方面,人工智能生成模型的使用也帶來了新的 IT 安全風險,在全面分析與 IT 安全相關的威脅時需要考慮這些風險。
針對這種潛在風險,使用生成式人工智能的公司或機構在將生成式人工智能集成到工作流程之前,應進行單獨的風險分析。這同樣適用于開發人員和運營商,因為生成式人工智能的許多風險必須在開發時就考慮到,或者只能由運營公司來影響。在此基礎上,可以調整現有的安全措施,并采取額外的措施。
過去幾十年來,在安全、監視、情報收集和偵察等許多領域,對目標跟蹤(OT)應用的需求一直在增加。最近,對無人系統新定義的要求提高了人們對 OT 的興趣。機器學習、數據分析和深度學習的進步為識別和跟蹤感興趣的目標提供了便利;然而,持續跟蹤目前是許多研究項目感興趣的問題。本論文提出了一個系統,實現了一種持續跟蹤目標并根據其先前路徑預測其軌跡的方法,即使該目標在一段時間內被部分或完全隱藏。該系統分為兩個階段: 第一階段利用單個固定攝像機系統,第二階段由多個固定攝像機組成的網狀系統。第一階段系統由六個主要子系統組成:圖像處理、檢測算法、圖像減法器、圖像跟蹤、跟蹤預測器和反饋分析器。系統的第二階段增加了兩個主要子系統:協調管理器和相機控制器管理器。這些系統結合在一起,可以在目標隱藏的情況下實現合理的目標跟蹤連續性。
無人機系統(UAS)是近期顛覆性技術的最佳范例之一,理所當然地成為無數新型軍事和民用應用的主力軍。無人機系統技術已經發展到這樣一個地步:從后勤角度看,部署成群的無人機系統是一項合理可行的活動。然而,完全自主和分布式地控制這些無人機蜂群仍然遙不可及。特別是,如果蜂群成員或它們所支持的其他網絡節點處于通信斷開狀態,那么蜂群的協調工作就會變得尤為困難。此類研發活動的高風險性質和潛在危險后果也使其實施極為罕見。此外,從自動化設計和部署的角度來看,算法的可擴展性問題依然存在。本論文旨在通過模擬和機器人現場實驗解決這些問題,利用生物啟發和強化學習方法為常見的無人機系統應用生成蜂群控制方案。
在論文的技術部分中,第 4 章至第 6 章提出了幾種新型蜂群控制算法,以支持通信和其他基于位置的任務。通過對由此產生的新興行為進行數學分析,可以深入了解協調是如何發生的。論文進一步研究了這些算法適應不同環境條件的方式,如通信連接、蜂群規模和角色要求。第 7 章和第 8 章從自動算法設計和實際通信的角度探討了蜂群的可擴展性問題。前者表明,通過多智能體強化學習架構生成的控制策略的移植取決于智能體觀察環境的方式;據作者所知,這是首個此類結果。這一結果允許部署大型蜂群,而無需訓練其所有成員。在后者中,隨著通信信道擁塞程度的增加,出現行為的崩潰也會隨之加劇,從而為衡量此類算法中的出現行為提供了新的衡量標準。
作為一項完整的工作,本論文通過模擬和數學分析,為推動自主蜂群控制的現狀做出了多項貢獻。在可行的情況下,還在真實系統上進行了實驗,以進一步驗證現實世界中的結果。這些貢獻的一個理想結果是提高了利用蜂群控制的系統的可信自主性。
現在,模擬被更頻繁地用于對現實世界或擬議系統進行實驗,以了解系統行為或評估改進策略。隨著時間的推移,大型企業越來越需要開發精密復雜的系統來與同行業競爭。而且,這些企業之間的聯系越來越緊密,就像一個網絡化的企業。這就進一步提高了開發能與其他企業互聯的越來越復雜的模擬的要求。在這方面,分布式仿真已廣泛應用于軍事領域,但在其他領域并沒有得到普及。這背后的原因是,在分布式仿真之間建立通信協議需要專業技術知識。科研行業一直在努力縮小這一差距,其中最重要的工作是制定高級架構(HLA)標準,為分布式仿真模型之間提供通用通信協議。
建模與仿真(M&S)行業也為開發人員提供了大量有關獨立仿真建模的文獻。在這種情況下,概念建模的重點是模型的準確性和效率,而不是互操作性。本研究也對此進行了詳細討論。直到最近,從業人員也一直在努力尋找對底層技術的支持。但隨著標準運行時基礎設施(RTI)和仿真開發平臺支持的引入,這一差距已經縮小。
HLA 標準承諾解決分布式仿真模型之間的互操作性問題,但只能提供語法層面的標準指南。因此,仿真互操作性標準組織(SISO)繼續開展研究,確定了從業人員在語義層面面臨的互操作性問題,并起草了一份互操作性問題清單。然而,已發布的 SISO-STD-006-2010 標準只指出了問題,卻沒有提供語義解決方案。
本研究的主要貢獻是提出了分布式仿真互操作性(DSI)框架,為《商用現成仿真包互操作性參考模型》(SISO-STD-006-2010)中列出的互操作性問題確定了語義解決方案。本研究建議將這些互操作性語義解決方案納入 HLA 對象建模模板規范。這樣做將有助于行業從業人員實現 HLA 的互操作性承諾,并使分布式仿真模型更具可重用性和可組合性。
社會技術系統是人類和算法的集合,它們在分散控制器的部分監督下進行交互。這些系統通常顯示出復雜的動態變化,并以其獨特的突發行為為特征。在這項工作中,我們描述、分析和模擬了三類不同的社會技術系統:金融市場、社交媒體平臺和選舉。雖然我們的工作在主題內容上多種多樣,但通過研究社會系統中由進化和適應驅動的變化以及開發用于推斷這種變化的方法,我們的工作是統一的。
首先在基于智能體的模型(ABM)中分析了金融市場微觀結構的進化動態。ABM 的匹配引擎實現了頻繁的批量拍賣,這是最近開發的一種價格發現機制。我們使用各種選擇機制讓智能體承受進化壓力,證明基于量化的選擇機制與較低的全市場波動性相關。然后,我們在 ABM 中進化深度神經網絡,并證明精英個體在真實外匯數據的回溯測試中是有利可圖的,盡管在進化過程中它們的適應性從未在任何真實金融數據上進行過評估。
然后,轉向從社會技術系統生成的大型時間序列面板中提取多時間尺度的功能信號。我們引入了離散小震子變換(DST)和相關的相似性搜索算法--小震子變換和排序算法(STAR)來完成這項任務。我們通過經驗證明了 STAR 算法對定量功能參數化的不變性,并提供了使用案例。在特征提取任務中,STAR 算法與 Twitter 的異常檢測算法進行了比較。最后,我們使用 STAR 算法,利用 Twitter 詞語使用時間序列面板,自動構建了社會重大事件的敘事時間軸。
最后,模擬了試圖干涉他國選舉的外國情報機構(紅隊)與選舉所在國國內情報機構(藍隊)之間的戰略互動。我們推導出紅方和藍方的亞博弈完全納什均衡策略,并展示了當任何一方對干涉事件的結果持 "全有或全無 "態度時,軍備競賽干涉動態的出現。然后,將 2016 年美國總統大選的數據與本文模型進行了對比,在這次大選中,俄羅斯軍事情報機構進行了干預。本文了證明,在研究的大部分時間里,本文了模型捕捉到了這種干預的定性動態。
多智能體機器人技術有望塑造工業的未來,有可能改變日常生活的許多方面。在未來十年中,它們預計將對運輸系統、軍事應用(如偵察和監視、搜救行動或太空任務)產生影響,并為急救人員提供支持。
在機器人領域最新發展的推動下,隨著新一代多智能體機器人系統變得更加智能、精確,應用領域也更加多樣化,本論文將為這些系統的發展做出貢獻。但是,為了實現這些目標,組成合作機器人系統的各個智能體需要在確保準確性和保留執行多樣化任務能力的同時,對它們所能完成的任務進行專業化。
本論文在考慮單個智能體專業化能力的特定背景下,探討了蜂群機器人技術中的任務分配問題。基于每個智能體都擁有專門的功能能力,以及分布在周圍環境中的預期任務提出了特定要求的假設,提出的任務分配機制在兩個不同的空間中制定。首先,團隊成員專業化的初級形式被表述為嵌入智能體動力學控制空間的合作控制問題。其次,定義了智能體專業化的高級表述,在專用的專業化空間中估計單個智能體的任務分配概率,這是本論文對蜂群機器人領域的進步和實踐的核心貢獻。
在專業化空間中制定的原始任務分配過程經歷了四個發展階段。首先,從概念上引入了任務特征識別階段,利用嵌入在智能體中的傳感層的輸出來驅動所提出的任務分配方案。其次,制定匹配方案,將每個智能體的專業能力與相應的檢測任務進行最佳匹配。在這一階段,智能體專業化的一般二進制定義是任務-智能體關聯的基礎。第三,將任務-智能體匹配方案擴展為創新的基于概率專業的任務-智能體分配框架,以推廣這一概念并挖掘智能體專業化考慮的潛力。第四,根據智能體的機械、物理結構和嵌入式資源對其專業化進行調制定義,進一步完善了總體框架。此外,還對原有框架進行了擴展,并引入了優先級層,以提高系統對復雜任務的響應能力,這些復雜任務的特點是基于對多個類別的識別。
在模擬和實際實驗中對所提出的基于專長的任務分配方法進行了實驗驗證,并結合潛在應用對結果進行了介紹和討論,以證明所提框架的有效性和效率。
這項工作旨在填補以往解決機器人群個體專業化問題的工作中的技術空白。本論文的成果通過開發一個創新框架,利用傳感能力來支持智能體之間專業化的概念化和實施,從而推動了蜂群機器人領域的發展。重點在于定義單個智能體的專長,并根據每個任務的特定約束條件,將其與這些單個智能體所要掌握的任務相匹配。為此,本研究打算回答以下研究問題:
問題 1:一群智能水平相對較低的機器人如何完成復雜的任務,這些任務需要單個機器人代理的專業化?
過去二十年來,多智能體系統的合作編隊控制受到了研究人員的極大關注。本論文以文獻綜述(第 2 章)中提到的方法為基礎,提出了一種解決方案,以填補機器人團隊中單個成員專業化方面的研究空白。本論文的重點是通過利用智能體的非同質性來增強蜂群的能力。為此,本論文擴展了合作蜂群的概念,并提出了一個嚴格的流程來利用單個智能體之間的專業異質性。
為了回答問題 1,我們首先進行了一項早期調查,以驗證這一概念。這一過程將機器人團隊工作空間的不同區域定義為分配給不同任務的獨立區域。所開發的解決方案可讓機器人順利安全地切換位置,并根據每個訪問區域要執行的特定任務動態調整整體隊形。它定義了如何在每個區域管理機器人群的編隊。作為一種初級的專業化形式,當智能體從一個區域轉移到另一個區域時,該框架會將智能體的領導角色從一個智能體切換到另一個智能體。在第一階段的研究中,假定一個特定的智能體(即蜂群中的一個成員)是每個區域中唯一專門執行領導任務的智能體。在任務完成之前,該智能體被指定為相關區域的專門領導者。第一部分研究的詳細情況將在第 3.4 節中報告。
問題 2:能否對最初的方法進行升級,讓專業化個體從環境中的自動目標識別中獲益,能否讓智能體之間的合作變得足夠穩健和靈活,以便在發現目標后自動將適當的專業化智能體分配到相應的任務中?
為了回答這個問題,我們進一步擴展了原有的協調系統,用于在專用機器人之間分配基于任務的領導權。通過對分布在機器人群工作空間中的專業化影響區域的定義進行演化,對問題進行了重新表述。受早期編隊方法的啟發,出現了一種有趣的解決方案。從使用機載傳感器自動識別工作區目標的假設出發,選擇有資格執行識別任務的智能體的過程應逐步經歷三個基本狀態,分別稱為搜索狀態、任務狀態和執行狀態。這種方法還可擴展到目標移動時的動態影響區域,以及多個任務共享同一區域時的動態影響區域。這更好地反映了移動機器人的實際干預場景。這方面的工作將在第 3.5 節中報告。
問題 3:為了改進蜂群的管理,能否根據智能體的專業化程度,在一定程度上適合響應給定任務的概率匹配機制中,適當定義和制定每個智能體的專業化功能?
為了解決這個問題,可以利用基于概率的建模來完善用于實現單個智能體角色專業化的框架設計。建立這樣一種智能體行為的概率表征,可以形成一種可擴展的機制。后者支持自動化流程,能夠處理任務和專業化定義中的不確定性,并應對任務約束和智能體能力之間的不完美匹配。所提出的智能體選擇方案是根據任務識別的置信度和特定智能體滿足任務特定要求的概率來制定的。所提出的基于專業的任務分配方案旨在根據所識別的任務約束條件,計算蜂群中各個智能體的匹配適合度,即任務-智能體專業匹配概率。本框架的開發過程詳見第 4.3 和 4.4 節。
問題 4:提議的框架能否應用于實際系統?
為了證明所提方法的有效性及其在現實世界中的應用潛力,我們從兩個方面對其進行了測試。首先,在仿真中對所提出的框架進行驗證,以證明其有效性。第 5 章介紹了大量的模擬實驗。然后,作為案例研究介紹了擬議方法的潛在應用,同時詳細介紹了擬議框架在真實機器人平臺上的實施情況,以驗證和檢驗基于專業的任務分配方案在實現預期協調水平方面的性能。這項工作將在第 6 章中介紹。
圖 3.12 任務執行的先后順序:(a-c)影響區重疊,操作員選擇任務 1(紅色)為優先任務,這促使紅色機器人繼續擔任領導者,直到紅色任務完成;(d-f)第二優先任務(藍色)正在執行,藍色機器人轉為領導者位置;(g-h)蜂群恢復到影響區重疊外的搜索狀態,然后搜索其他任務(綠色,然后是紅色),由相應的領導者機器人執行。
多智能體自主系統與實時規劃有關的研究日益增多,本論文就是對這一研究的貢獻。多年來,由移動智能體組成的自主系統已被證明是用于探索(如太空機器人)、軍事(如搜救行動)和工業應用(如谷歌自動駕駛汽車)的高效、穩健和多功能工具。隨著自主技術日趨成熟,部署多個自主智能體來完成復雜的任務在許多不同的應用中都受到了廣泛關注。如果單個智能體可以完成一項任務,那么多個智能體就有可能更快地完成任務。然而,引入多個智能體會使整個系統變得更加復雜,因為現在的智能體需要能夠有效地相互協作。在沒有有效協作機制的情況下隨機引入智能體,可能會對生產率產生負面影響。
本論文的研究目標是使多智能體自主系統在現實應用中無處不在。我們采用了自下而上的方法來開發算法機制,以應對我們在實現這一目標的道路上所面臨的挑戰。
對于在動態環境中運行的智能體來說,能否成功執行任務取決于它能否有效地導航到目標位置。如果我們在環境中引入更多的智能體,路徑規劃的要求就會更高,因為現在智能體之間必須把彼此當作動態障礙物來對待。路徑規劃算法不僅需要避開障礙物,還需要足夠快的速度,以便在移動智能體在導航過程中遇到意外障礙時重新規劃。此外,路徑規劃算法還需要保證智能體能夠在滿足機械約束條件的情況下穿越路徑。
我們開發了一種基于隨機優化的同步重規劃矢量粒子群優化算法(SRVPSO),通過避開靜態和動態障礙物來找出成本最優的路徑。所提出的算法通過應用同步重新規劃策略,減少了路徑規劃的計算時間。SRVPSO 算法還能在一些車輛約束條件下工作,如車輛尺寸和轉向角。此外,還開發了一種不同地形的可穿越性評估方法,以便在未知環境中進行無風險、穩健的導航,同時優化總成本。
由移動智能體群組成的自主系統需要一個有效的任務規劃器來成功完成一系列任務。任務規劃器所面臨的挑戰是如何為每個智能體確定最優化的任務數量和相關任務。為了解決多智能體自主系統任務規劃過程中的任務分解和任務分配問題,我們開發了一個折中視圖(CV)模型和一個基于最近鄰搜索(NNS)的模型。結果表明,這些模型因其反應式管理結構而非常有效,能成功完成任務。NNS 模型能有效地解決智能體的分解問題。它還具有任務切換能力。
任務規劃器的多目標優化框架可確定任務所需的智能體數量。任務規劃器利用所開發的任務分解方法,最大限度地減少完成任務的時間以及智能體的數量。多目標框架的輸出是帕累托最優值,然后將其作為決策框架的輸入,根據用戶定義的一些約束條件和優先事項確定優化的智能體數量。在測量完成任務的時間時,任務規劃器利用先前開發的路徑規劃器模擬智能體在環境中的導航軌跡,以提供最準確的估計。
然而,正在進行的任務可能會受到突發事件的影響(如一些天氣事件、智能體的意外維護要求等)。未來任務的規劃取決于正在進行的任務,因為它提供了對資源可用性的估計。需要一個現實的預測模型,利用過去任務的信息,對當前任務的完成情況進行統計估計。
我們開發了一個基于人工神經網絡的預測模型,根據以往任務的信息預測任務的完成時間。該預測模型旨在為潛在的任務規劃者提供指導。利用這一數值模型,未來的規劃者可以預測所需的資源,而無需經過優化過程。上述所有算法工具都通過大量的模擬結果和實時實驗進行了演示。
**計算機視覺系統正日益被部署到現實世界的應用中,例如自動駕駛汽車上的識別模型、演示軟件中的字幕模型以及視覺搜索引擎背后的檢索模型。**在構建這些真實的計算機視覺系統時存在許多實際挑戰,其中許多與數據的不完美有關。具體來說,現實世界的數據可能會因分散注意力的虛假相關性而產生偏差,不同類別存在不平衡的長尾數據,具有大量缺陷的噪聲數據,等等。本文研究了如何在不同的視覺任務中解決三種常見的數據缺陷。首先,研究了圖像分類中的偏置問題。本文提出一個新的基準,通過數據增強具有可控偏差。對現有的偏差消除方法進行了徹底的比較,并提出了一種簡單的方法,優于其他更復雜的對比方法。其次,研究了圖像描述中的長尾問題。展示了現有的字幕模型如何更喜歡常見的概念,并由于長尾而生成過度通用的字幕。為解決該問題,在評估方面,提出了一種新的指標來同時捕捉唯一性和準確性。在建模方面,引入了一種推理時間重排序技術,以生成多樣化和信息量大的標題。最后,對視頻檢索中的噪聲問題進行了研究。展示了噪聲注釋如何在模型訓練和評估中引入挑戰。然后,我們提出一種簡單而有效的多查詢方法來解決這個問題。通過大量的實驗表明,多查詢訓練可以帶來優越的性能,而多查詢評估可以更好地反映檢索模型的真實能力。
教育評估、信貸、就業、醫療保健和刑事司法等高風險應用的決策越來越受到數據驅動,并由機器學習模型支持。機器學習模型也使關鍵的信息物理系統,如自動駕駛汽車和機器人手術成為可能。在過去的幾年里,機器學習領域取得了驚人的進展。然而,即使這些技術越來越多地融入我們的生活,記者、活動家和學者仍發現了一些侵蝕這些系統可信度的特征。例如,據報道,一個支持法官審前拘留決定的機器學習模型對黑人被告存在偏見。同樣,據報道,一個支持在一家大型科技公司進行簡歷篩選的模型也對女性有偏見。研究表明,用于胸部x光片疾病計算機輔助診斷的機器學習模型更重視圖像中的標記,而不是患者的解剖細節。自動駕駛汽車的死亡事故發生在不同尋常的條件下,根本的機器學習算法沒有經過訓練。簡而言之,雖然每天都有機器學習算法在某些任務上取得超人成績的新故事,但這些驚人的結果只是在一般情況下。我們在所有情況下信任這些算法所需要的可靠性、安全性和透明度仍然是難以捉摸的。因此,越來越多的人希望在這些系統中擁有更多的公平性、健壯性、可解釋性和透明度。