傳統的建模、仿真和分析(MS&A)大多由工程模型支持,即基于牛頓物理學的封閉系統的確定性表征。這種方法并不適合表現人類行為的復雜性。這項研究倡導并試圖闡明一種更加以人為本的 MS&A 方法的概念,這種方法可以更好地代表決策和人類行為的其他認知方面,就像代表身體活動一樣。
首先將個人和群體視為復雜的適應系統,而這種系統最好使用基于智能體的建模來表示。通過智能體對人類行為的表征包含了決策模型、知識工程和知識表征,以及人與人之間及其與環境之間的心理和生理互動的全部內容。這種表征方式的典型例子是將態勢感知/態勢理解(SA/SU)作為核心要素加以考慮。
由此,開發了一個概念驗證模擬,模擬一個具體、易于理解和量化的人類行為實例:智能體在模擬世界中試圖導航時在空間上 "迷失 "了方向。這個模型被命名為 "智能迷失模型"(MOBIL),因為這兩種狀態的能力是模擬的核心。MOBIL 采用面向對象的軟件原理與基于智能體的建模相結合的方式,建立了應用以人為本的分析方法的實用性。
在一些虛擬實驗中應用該模擬,說明了它如何支持對個人的 SA/SU 和相關決策過程進行調查。
現有的決策計算模型往往局限于特定的實驗設置。造成這種限制的主要原因是無法捕捉決策者對情況的不確定性。本文提出了一個計算框架,用于研究神經科學和心理學中不確定情況下的決策制定。框架主要側重于決策者對世界狀況的概率評估,即他們的 “信念”。具體來說,它基于部分可觀測馬爾可夫決策過程(POMDPs),結合貝葉斯推理和獎勵最大化來選擇行動。利用感知決策和社會決策方面的各種實驗數據,證明了基于信念的決策框架的可行性。框架解釋了感知決策實驗中決策者的實際表現與他們對實際表現的信念(即決策信心)之間的關系。它還說明了為什么在許多情況下這種評估會偏離現實。這種偏差通常被解釋為次優決策的證據,或選擇和信心的不同過程。我們的框架對這些解釋提出了挑戰,它表明,一個優化收益的規范貝葉斯決策者也會產生同樣的偏差。此外,在定量預測人類在社會決策任務中的行為方面,方法優于現有模型,并提供了對潛在過程的洞察。結果表明,在涉及大型群體的決策任務中,人類采用貝葉斯推理來模擬 “群體心理”,并對他人的決策做出預測。最后,將方法擴展到關于他人的多個推理層次(心智理論層次),并將服從作為群體決策的一種策略聯系起來。這個擴展框架可以解釋人類在各種集體群體決策任務中的行為,為大型群體中的合作與協調提供了新的理論。
圖 1.1: 基于信念的決策框架。智能體通過行動、觀察和獎勵與世界互動。智能體無法完全觀測到世界的狀態,只能根據觀測結果和智能體的內部世界模型,以概率方式表示世界的狀態。智能體的目標是根據當前狀態的概率分布來制定策略,即所謂的信念
本論文研究決策的各個方面,重點是認知建模的概率工具。其中一種工具就是所謂的經典概率理論(CPT,或貝葉斯理論;Tenenbaum & Griffiths, 2001; Chater et al. 其廣泛的論點是,認知處理必須反映出對環境統計結構的某種最佳適應,因此,人類認知必須與貝葉斯理論的原則相一致(Oaksford & Chater, 2009)。在許多情況下,CPT 似乎確實能準確描述行為,尤其是決策制定(Siegel 等人,2018 年),而這正是本研究的重點。
CPT在決策文獻中的主導地位之所以受到挑戰,部分原因在于兩位最具影響力的心理學家:特維爾斯基和卡尼曼(前者是被引用次數最多的心理學家之一,后者獲得過諾貝爾經濟學獎)。Tversky 和 Kahneman 提供了幾個例子,在這些例子中,人類決策者不斷做出與 CPT 原則截然相反的判斷。舉例來說,他們要求參與者判斷假設的女性琳達更有可能是 "銀行出納員和女權主義者",還是 "銀行出納員"。由于琳達被描述為女權主義者,而完全不是銀行出納員,大多數參與者傾向于推斷概率(銀行出納員和女權主義者)>概率(銀行出納員)。這一結論被稱為連接謬誤(CF,Tversky & Kahneman,1983 年)。根據 CPT(在單一概率空間中),這是不可能的,這就好比問倫敦 12 月下雪和下雨的頻率與倫敦 12 月只下雪的頻率。顯然,我們不可能讓前一個(連帶)事件的發生天數多于后一個,這是不可能的。
現代決策理論的發展已經超越了將 CPT 作為決策正規化的主要方法。雖然 CF 與 CPT(基本)框架不兼容,但我們可以借鑒其他框架,如量子理論(QT),來考慮 CF 決策是否可以被視為合理。量子理論已被確立為決策制定的重要替代形式框架。在量子理論中,概率是以不同的方式計算的(使用不同的公理),因此,與 CPT 相比,對于哪些判斷是適當的,所產生的直覺可能會有很大不同。事實上,CPT 和 QT 之間有許多不同之處,這些不同之處為我們提供了一個細微的圖景,說明在什么情況下,CPT 或 QT 可能是更適合理解人類決策的框架。例如,在 CPT 中,事件肯定是真的或假的,但在 QT 中,有些事件可能既不是真的也不是假的。在 CPT 中,原則上一組問題都可以同時得到解決,因此我們可以討論任何問題結果組合的概率(這些聯合概率總是必須存在的)。在 QT 中,有些問題是不相容的,這意味著通常不可能同時解決這些問題。對于不相容的問題,一個問題的確定性會帶來另一個問題的不確定性。QT 中的概率推理強烈依賴于上下文和視角,而 CPT 則(自然地)不依賴于上下文和視角。
CPT 和 QT 都是允許我們理解事件概率的模型,盡管方式不同--CPT 和 QT 基于不同的公理,通常做出不同的預測。讓我們先來探討一下 CPT。假設你擲了一個六面骰子。如果你再擲一百次或一百萬次,每次擲出 4 的概率仍然是六分之一。擲出 4 然后擲出 6 的概率與擲出 6 然后擲出 4 的概率相同。這一點具有重要意義,因為在 CPT 中,我們對結果的任何疑問原則上都可以同時得到解決。例如,連續擲一百次 4 的概率是多少?事實上,我們可以討論任何問題結果組合的概率,以及這些概率是如何始終存在的。
現在讓我們來看看 QT。假設我們現在拿起了一組新的六面 "量子 "骰子(當然,請注意,這個例子是臆造出來的)。它們的量子特性是什么?它們的結果將不再能夠同時得到解決。我們將不得不使用不同的基本算術來計算結果組合的概率,骰子結果的分布將與 CPT 的預期結果形成鮮明對比。例如,這次當我們擲出 4 和 6 時,擲出 6 和 4 的概率是不同的。當我們開始將量子規則應用于行為場景時,這將產生非凡的影響。例如,讓我們問某人一組問題: "你喜歡你的工作嗎?"和 "你快樂嗎?" 根據你回答這些問題的順序,你很可能得到截然不同的回答。
本論文分為五個部分。本章是對當前工作的總體介紹。第 2 章至第 4 章介紹了測試 QT 在不同決策環境中的實用性的實驗研究。第 5 章是總結論,概述了本研究的理論成果和局限性。
與決策相關的活動,如自下而上和自上而下的策略制定、分析和規劃,都將受益于基于計算機的模型的開發和應用,這些模型能夠在當地環境中表現人類的時空社會行為。在努力了解和尋找減緩氣候變化特定影響的方法時尤其如此,在這種情況下,此類模型需要包括相互影響的社會和生態要素。此類模型的開發和應用一直受到以下挑戰的嚴重阻礙:設計行為以經驗證據和理論為基礎的智能體,以及測試智能體代表現實世界決策者行為的能力。本論文通過以下方法克服了這些挑戰,從而提高了開發此類模型的能力: (a) 三個新框架,(b) 兩種新方法,以及 (c) 兩種新的開源建模工具。這三個新框架包括 (a) SOSIEL 框架,它為開發新一代認知、多智能體和基于知識的模型提供了一個有理論基礎的藍圖,這些模型由具有認知架構的智能體組成; (b) 一個分析決策者有界理性的新框架,它為分析決策情境與決策者決策之間的關系提供了洞察力和便利;以及 (c) 一個分析人工智能體雙重有界理性(DBR)的新框架,它對決策情境與人工智能體決策之間的關系做了同樣的分析。這兩種新方法包括 (a) 用于獲取和操作決策知識的 SOSIEL 方法,它提高了我們為認知模型、多智能體模型和基于知識的模型獲取、處理和表示決策知識的能力;以及 (b) 用于測試人工智能體表示人類決策能力的 DBR 方法。這兩個開源建模工具包括 (a) SOSIEL 平臺,這是一個基于認知、多智能體和知識的平臺,用于模擬人類決策;以及 (b) 將該平臺作為 SOSIEL 人類擴展(SHE)應用于現有的森林氣候變化模型,即 LANDIS-II,以便分析人類與森林氣候之間的共同進化互動。為了提供示例背景和知識獲取指南,論文包括烏克蘭喀爾巴阡山地區社會生態互動的案例研究,該地區目前正在應用 LANDIS-II 和 SHE。因此,本論文通過以下方式推動科學發展 (a) 為下一代基于認知、多智能體和知識的模型提供理論基礎并展示其實施;(b) 為理解、分析和測試人工智能體代表人類決策的能力提供植根于心理學的新視角。
基于模型的決策支持系統(MDSS)在航空、應急管理、軍事指揮與控制、醫療保健、核行動、情報分析和海上行動等許多后果嚴重的專業領域都非常突出。MDSS 通常使用任務和操作員的簡化模型,對決策情況進行結構化處理,并向操作員提供對決策任務有用的信息提示。模型是一種簡化,可能會被錯誤定義,并存在誤差。采用和使用這些錯誤的模型會導致用戶的決策貧乏。本文把決策者的這種貧乏狀態稱為 "模型盲"。我們進行了兩個系列實驗,以研究模型盲對人類決策和績效的不利影響,以及如何通過可解釋人工智能(XAI)干預來減輕這些影響。本論文還報告了模擬結果,通過展示模型盲區和模型盲區緩解技術對性能的影響來激發實驗。實驗將模擬路線推薦系統作為具有真實數據生成模型(不可觀測世界模型)的 MDSS 來實施。在實驗 1 中,生成推薦路線的真實模型以及額外的非推薦路線和相關屬性信息被錯誤地指定為不同級別,從而對 MDSS 用戶造成了模型盲區。在實驗 2 中,同樣的路線推薦系統采用了緩解技術,以克服模型失當對決策質量的影響。總體而言,這兩項實驗的結果幾乎都不支持由于模型盲區而導致的性能下降,因為模型盲區是由錯誤的系統造成的。實驗 1 和實驗 2 中捕捉到的行為對參與者所處的不同誤設統計環境的敏感性極低。有確鑿證據表明,在不同條件下,推薦的替代方案以及參與者對這些方案的依賴或偏離都會產生影響。XAI 干預為了解參與者如何調整決策以考慮系統中的偏差以及如何偏離模型推薦的備選方案提供了寶貴的見解。參與者的決策策略表明,他們能夠從反饋或解釋中理解模型的局限性,并相應地調整策略以考慮模型中的錯誤規范。這些結果為評估決策策略在模型盲區匯合模型中的作用提供了有力支持。這些結果有助于確定在 MDSS 的開發、實施和使用階段仔細評估模型盲區的必要性。
圖 3. 為實驗開發的路線推薦系統中使用的模型
新型機器學習方法是科學和工程變革的核心。概率模型已成為知識發現的基礎學習模型。作為替代模型,它們允許在有限的預算下進行高效的黑箱優化或積極學習復雜系統的行為。另一個重要的用例是使用概率模型作為生成模型,生成具有所需屬性的新設計,或從物理系統的平衡分布中生成樣本。但是,為了充分發揮概率模型在知識發現中的潛力,必須開發既能應對不斷增長的數據大小和復雜性,又能讓領域專家容易解讀的模型。
在這篇論文中,我從開發一種新方法開始,該方法解決了貝葉斯優化中的概率替代模型的稀疏解識別問題。稀疏解的發現不僅增強了解決方案對人類的可解釋性,以便理解系統行為,還便于使用較少的參數更輕松地部署和維護。
接下來,我介紹了一種利用深度學習增強高斯過程推斷可擴展性的新方法。高斯過程被廣泛用作知識發現中的概率替代模型,但由于在GP回歸中識別核超參數的高成本,其實際使用受到限制,涉及到昂貴的邊緣可能性。我展示了如何通過使用“攤銷”超參數推斷來繞過昂貴的邊緣可能性的需求。這是通過訓練一個單一的神經網絡實現的,該網絡消耗一組數據并產生一個估計的核函數,用于不同的任務。
最后,我介紹了邊緣化模型,這是一種新的高維離散數據生成模型,在科學發現中無處不在。通過使用神經網絡對所有誘導的邊緣分布進行明確的建模,邊緣化模型提供了可擴展和靈活的生成建模與合理的可能性。直接建模邊緣使得邊緣推斷效率高,能夠對給定的(非規范化)概率函數進行任意階的生成模型的可擴展訓練,克服了以前具有精確可能性的方法的主要限制。
概率模型作為建模數據分布的原則機器學習方法,最近開始在促進科學探索和發現中起到重要作用。替代模型在科學、工程、機器人學和許多其他領域都是寶貴的工具,其中它們模擬復雜的系統行為。利用概率代理模型提供的不確定性量化,可以設計自動算法通過與系統主動交互來有效地完成給定用例的目標。一個主要的用例是優化,例如通過實驗測試確定電池正極的最佳材料組成。在這種情況下,使用概率模型進行貝葉斯優化(Shahriari等,2015b),根據實驗結果了解和迭代微調組成和性能之間的關系。同時,基于替代模型的不確定性量化,策略性地選擇下一個實驗條件,平衡對新組成的探索與對已知性能良好的組成的利用,從而加速最佳組成的發現。
主動學習提供了另一個主要的用例,例如在訓練替代模型準確模擬分子動力學(Vandermause等,2020)。該過程從基于有限數據的初始概率模型開始,然后通過主動查詢系統獲取額外的標記數據來系統地加強。選擇最具信息性的樣本進行標記是由替代模型的固有不確定性估計指導的,從而得到一個準確的模型,標記工作量最小。
除替代模型外,概率生成模型在跨多個領域建模復雜數據分布方面也取得了顯著進展,包括自然語言建模(Brown等,2020)、圖像生成(Song和Ermon,2019; Ho等,2020)、音頻合成(Huang等,2018)和科學發現應用(Wang等,2022; Schneuing等,2022)。在訓練科學發現的生成模型時,有兩個主要設置。第一個設置是最大似然訓練,目標是訓練生成模型以最大化訓練數據的似然。這種設置通常用于圖像生成、自然語言建模和藥物設計等任務,目標是生成與訓練數據分布非常相似的數據。第二個設置是分布匹配,目標是將生成分布與目標密度對齊。這種設置在圖像和語言方面研究較少,但在如采樣晶格模型和估計分子或材料的平衡性質等應用中經常使用,其中需要從物理系統的熱力學平衡分布中生成樣本。
在這篇論文中,我提出了新方法來解決知識發現背景下概率模型的解釋性和可擴展性挑戰。在深入研究所提議的方法的細節之前,我為替代模型和生成模型的現有文獻提供了簡短的概述。 本章的其余部分組織如下:第1.1.1節首先簡要介紹了高斯過程,這是一種在科學發現中使用的流行的概率替代模型。然后在第1.1.2節中,我回顧了貝葉斯優化的基本方法論方面。第1.2節簡要概述了關于生成模型的現有文獻,重點關注科學發現中的應用。最后,在第1.3節中,我總結了整個論文的大綱。
建模的一個核心目標是幫助我們理解周圍的世界,但通常我們希望建模的現象只能間接觀察到。例如,我們經常通過它們對周圍物體產生的引力效應來檢測黑洞。未觀察到的現象通常使用與觀察到的變量存在統計關系但從未直接觀察到的潛變量來建模。這些潛變量模型是一種強大的形式主義,可以實現數據的簡潔和可解釋表示,但在變量之間的關系復雜時很難使用。 本論文開發了一種適用于具有非線性函數參數化變量之間依賴關系的潛變量模型的擬合技術,例如深度神經網絡或非線性微分方程。非線性依賴關系使得解析方法變得不可行,本論文的主要重點是將蒙特卡羅文獻中的抽樣算法擴展到深度生成模型中的工作。
具體來說,本論文側重于對順序數據進行建模,如神經電壓跟蹤或語音音頻。首先,我介紹了一種名為FIVO的方法,用于使用濾波順序蒙特卡羅來擬合非線性順序潛變量模型,并使用它來改進語音音頻和鋼琴譜的模型。然后,我開發了一種名為SIXO的基于平滑的FIVO擴展,成功地擬合了神經膜電位的生物物理模型。接下來,我介紹了NAS-X,這是SIXO的擴展,適用于離散潛變量。最后,我開發了用于嵌入式抽樣算法的擬合模型的方法,并與基于能量的建模建立了聯系。
這些方法為非線性潛變量模型中的推斷和學習建立了新的標準。例如,在霍奇金-赫胥黎神經膜電位模型中,NAS-X和SIXO相對于以前的方法實現了32倍的推斷對數似然度的改進。改進的推斷性能導致了參數學習方面的下游收益,并且能夠擬合基于具有數百個參數的非線性微分方程的潛變量模型。總的來說,本論文擴展了蒙特卡羅算法,以解決序列建模中的難題。
我們提出了因果ABM,一種推導描述復雜潛在行為現象的因果結構的方法。基于智能體的建模(ABM)在因果建模方面具有強大的優勢,而這些優勢還沒有得到充分的探索。與傳統的因果估計方法不同的是,ABM的兩個特性--等價性(不同的條件集或模型代表產生相同結果的能力)和多重性(同一ABM可能產生不同的結果)--可以被利用來從數據中學習多種不同的 "可靠因果模型"。我們用社交網絡上的新聞分享為例,展示了這一想法如何應用于學習這種因果集。我們還表明,由于遺傳算法的平行搜索結構,它可以作為一種估計技術,從數據中學習多種可靠因果模型。然而,在普遍應用之前,仍然存在重大的計算挑戰,因此,我們強調了在未來工作中需要解決的具體關鍵問題。
概率數值計算將機器學習和應用數學之間的聯系形式化。數值算法從可計算的量中逼近難以處理的量。他們通過被積函數的計算來估計積分,或者通過向量場的計算來估計微分方程所描述的動力系統的路徑。換句話說,他們從數據中推斷出潛在的數量。這本書表明,它是正式可能認為計算例程作為學習機,并使用貝葉斯推理的概念來構建更靈活,高效,或定制的算法的計算。文本迎合了碩士和博士學生,以及人工智能,計算機科學,統計和應用數學的研究生研究人員。提供了大量的背景材料以及大量的圖形、工作示例和練習(帶解決方案)。
我們的主要目標是研究不確定性在數值計算中的應用和作用,并利用這種不確定性來做出關于計算的最優決策。
//www.probabilistic-numerics.org/
大量大維度數據是現代機器學習(ML)的默認設置。標準的ML算法,從支持向量機這樣的內核方法和基于圖的方法(如PageRank算法)開始,最初的設計是基于小維度的,在處理真實世界的大數據集時,即使不是完全崩潰的話,往往會表現失常。隨機矩陣理論最近提出了一系列廣泛的工具來幫助理解這種新的維數詛咒,幫助修復或完全重建次優算法,最重要的是提供了處理現代數據挖掘的新方向。本編著的主要目的是提供這些直覺,通過提供一個最近的理論和應用突破的隨機矩陣理論到機器學習摘要。針對廣泛的受眾,從對統計學習感興趣的本科生到人工智能工程師和研究人員,這本書的數學先決條件是最小的(概率論、線性代數和真實和復雜分析的基礎是足夠的):與隨機矩陣理論和大維度統計的數學文獻中的介紹性書籍不同,這里的理論重點僅限于機器學習應用的基本要求。這些應用范圍從檢測、統計推斷和估計,到基于圖和核的監督、半監督和非監督分類,以及神經網絡: 為此,本文提供了對算法性能的精確理論預測(在不采用隨機矩陣分析時往往難以實現)、大維度的洞察力、改進方法,以及對這些方法廣泛適用于真實數據的基本論證。該專著中提出的大多數方法、算法和圖形都是用MATLAB和Python編寫的,讀者可以查閱(//github.com/Zhenyu-LIAO/RMT4ML)。本專著也包含一系列練習兩種類型:短的練習與修正附加到書的最后讓讀者熟悉隨機矩陣的基本理論概念和工具分析,以及長期指導練習應用這些工具進一步具體的機器學習應用程序。
在復雜的以人為中心的系統中,每天的決策都具有決策相關信息不完全的特點。現有決策理論的主要問題是,它們沒有能力處理概率和事件不精確的情況。在這本書中,我們描述了一個新的理論的決策與不完全的信息。其目的是將決策分析和經濟行為的基礎從領域二價邏輯轉向領域模糊邏輯和Z約束,從行為決策的外部建模轉向組合狀態的框架。
這本書將有助于在模糊邏輯,決策科學,人工智能,數學經濟學,和計算經濟學的專業人員,學者,經理和研究生。
讀者:專業人士,學者,管理者和研究生在模糊邏輯,決策科學,人工智能,數學經濟學,和計算經濟學。