現在,模擬被更頻繁地用于對現實世界或擬議系統進行實驗,以了解系統行為或評估改進策略。隨著時間的推移,大型企業越來越需要開發精密復雜的系統來與同行業競爭。而且,這些企業之間的聯系越來越緊密,就像一個網絡化的企業。這就進一步提高了開發能與其他企業互聯的越來越復雜的模擬的要求。在這方面,分布式仿真已廣泛應用于軍事領域,但在其他領域并沒有得到普及。這背后的原因是,在分布式仿真之間建立通信協議需要專業技術知識。科研行業一直在努力縮小這一差距,其中最重要的工作是制定高級架構(HLA)標準,為分布式仿真模型之間提供通用通信協議。
建模與仿真(M&S)行業也為開發人員提供了大量有關獨立仿真建模的文獻。在這種情況下,概念建模的重點是模型的準確性和效率,而不是互操作性。本研究也對此進行了詳細討論。直到最近,從業人員也一直在努力尋找對底層技術的支持。但隨著標準運行時基礎設施(RTI)和仿真開發平臺支持的引入,這一差距已經縮小。
HLA 標準承諾解決分布式仿真模型之間的互操作性問題,但只能提供語法層面的標準指南。因此,仿真互操作性標準組織(SISO)繼續開展研究,確定了從業人員在語義層面面臨的互操作性問題,并起草了一份互操作性問題清單。然而,已發布的 SISO-STD-006-2010 標準只指出了問題,卻沒有提供語義解決方案。
本研究的主要貢獻是提出了分布式仿真互操作性(DSI)框架,為《商用現成仿真包互操作性參考模型》(SISO-STD-006-2010)中列出的互操作性問題確定了語義解決方案。本研究建議將這些互操作性語義解決方案納入 HLA 對象建模模板規范。這樣做將有助于行業從業人員實現 HLA 的互操作性承諾,并使分布式仿真模型更具可重用性和可組合性。
近年來,對無人駕駛車輛等自主實體的研究開始給軍事和民用設備帶來革命性的變化。自主實體的一個重要研究重點是自主機器人群的協調問題。傳統上,機器人模型被用于考慮操作機器人群所需最低規格的算法。然而,這些理論模型也忽略了重要的實際細節。其中一些細節,如時間,以前也曾被考慮過(如執行的歷時)。在本論文中,將結合幾個問題來研究這些細節,并引入新的性能指標來捕捉實際細節。具體來說,我們引入了三個新指標:(1) 距離復雜度(反映機器人的耗電量和損耗),(2) 空間復雜度(反映算法運行所需的空間),(3) 局部計算復雜度(反映蜂群中每個機器人的計算要求)。
將這些指標應用于研究一些著名的重要問題,如完全可見性和任意模式形成。還引入并研究了一個新問題--"門道出口",它抓住了機器人群在受限空間中導航的本質。首先,研究了一類完全可見性算法所使用的距離和空間復雜性。其次,提供了整數平面上的完全可見性算法,包括一些在時間、距離復雜度和空間復雜度方面漸近最優的算法。第三,介紹了門道出口問題,并為各種機器人群模型提供了不同最優性的算法。最后,還提供了網格上任意圖案形成的最優算法。
隨著傳感器技術和由此產生的傳感器分辨率的不斷進步,傳統的基于點的目標跟蹤算法已顯得力不從心,尤其是在使用高分辨率傳感器的自動駕駛汽車、視覺跟蹤和監控等應用領域。這重新激發了人們對擴展目標(ET)跟蹤的興趣,其目的不僅在于跟蹤目標的中心點,還在于跟蹤目標隨時間變化的形狀和大小。
本論文探討了 ET 跟蹤應用領域中最具挑戰性的三個問題。研究的第一個難題是,在非高斯噪聲存在的情況下,需要對具有任意未知星凸形狀的 ET 目標進行精確的形狀和中心估計。提出的方法基于 Student's-t 過程回歸算法,該算法在遞歸框架中定義,適用于在線跟蹤問題。
第二個問題試圖通過定義一種新穎的隨機多面體形狀描述符來放松在估計過程中施加在 ET 目標形狀上的任何約束,包括星凸約束。此外,所提出的解決方案還引入了一種方法,以減輕在 ET 跟蹤應用中因自閉塞而造成的麻煩,因為忽視自閉塞可能會導致 ET 狀態估計出現災難性的偏差。
最后,研究了在雜波和遮擋情況下跟蹤多個 ET 目標的框架,并提出了解決方案。所提出的方法可以在現實場景中估計 ET 目標的中心和形狀,同時考慮到自閉和互閉的挑戰。所提出的方法為每個 ET 定義了一個隨時間變化的狀態檢測概率,即使在相互遮擋造成的不利條件下,也能延長軌跡。此外,建議的算法使用集合成員不確定性模型來約束被遮擋 ET 的關聯和目標形狀不確定性,從而獲得更準確的 ET 目標狀態和形狀估計。
所提方法的性能在自閉和互閉的真實模擬場景中進行了量化,其結果與現有的最先進的 ET 跟蹤應用方法進行了比較。
圖 1.1: 點目標和擴展目標的并排比較。(a): 點目標的單一測量源和生成的測量結果。(b): 多個散射點和 ET 生成的測量結果。
近年來,計算機視覺和機器學習系統有了顯著改善,這主要是基于深度學習系統的發展,從而在目標檢測任務上取得了令人印象深刻的性能。理解圖像內容則要困難得多。即使是簡單的情況,如 "握手"、"遛狗"、"打乒乓球 "或 "人們在等公交車",也會帶來巨大的挑戰。每種情況都由共同的目標組成,但既不能作為單一實體進行可靠的檢測,也不能通過其各部分的簡單共同出現進行檢測。
這篇論文將描述一個用于進行視覺情境識別的新型系統,其目標是開發能夠展示與理解相關特性的機器學習系統。該系統被稱為 Situate,它能在給出情況描述和少量標注訓練集的情況下,學習目標外觀模型以及捕捉情況預期空間關系的概率模型。給定一張新圖片后,Situate 會利用其學習到的模型和一系列智能體對輸入內容進行主動搜索,以找到情況模型與圖片內容之間最一致的對應關系。每個智能體都會開發模型與輸入內容之間可能存在的對應關系,而 Situate 會為智能體分配計算資源,以便盡早開發出有希望的解決方案,但也不會忽略其他對應關系。
將把 Situate 與更傳統的計算機視覺方法(該方法依賴于檢測情境中的組成目標)以及基于 "場景圖 "的相關圖像檢索系統進行比較。將在情境識別任務和圖像檢索中對每種方法進行評估。結果表明了圖像內容和該內容模型之間的反饋系統的價值。
多智能體自主系統與實時規劃有關的研究日益增多,本論文就是對這一研究的貢獻。多年來,由移動智能體組成的自主系統已被證明是用于探索(如太空機器人)、軍事(如搜救行動)和工業應用(如谷歌自動駕駛汽車)的高效、穩健和多功能工具。隨著自主技術日趨成熟,部署多個自主智能體來完成復雜的任務在許多不同的應用中都受到了廣泛關注。如果單個智能體可以完成一項任務,那么多個智能體就有可能更快地完成任務。然而,引入多個智能體會使整個系統變得更加復雜,因為現在的智能體需要能夠有效地相互協作。在沒有有效協作機制的情況下隨機引入智能體,可能會對生產率產生負面影響。
本論文的研究目標是使多智能體自主系統在現實應用中無處不在。我們采用了自下而上的方法來開發算法機制,以應對我們在實現這一目標的道路上所面臨的挑戰。
對于在動態環境中運行的智能體來說,能否成功執行任務取決于它能否有效地導航到目標位置。如果我們在環境中引入更多的智能體,路徑規劃的要求就會更高,因為現在智能體之間必須把彼此當作動態障礙物來對待。路徑規劃算法不僅需要避開障礙物,還需要足夠快的速度,以便在移動智能體在導航過程中遇到意外障礙時重新規劃。此外,路徑規劃算法還需要保證智能體能夠在滿足機械約束條件的情況下穿越路徑。
我們開發了一種基于隨機優化的同步重規劃矢量粒子群優化算法(SRVPSO),通過避開靜態和動態障礙物來找出成本最優的路徑。所提出的算法通過應用同步重新規劃策略,減少了路徑規劃的計算時間。SRVPSO 算法還能在一些車輛約束條件下工作,如車輛尺寸和轉向角。此外,還開發了一種不同地形的可穿越性評估方法,以便在未知環境中進行無風險、穩健的導航,同時優化總成本。
由移動智能體群組成的自主系統需要一個有效的任務規劃器來成功完成一系列任務。任務規劃器所面臨的挑戰是如何為每個智能體確定最優化的任務數量和相關任務。為了解決多智能體自主系統任務規劃過程中的任務分解和任務分配問題,我們開發了一個折中視圖(CV)模型和一個基于最近鄰搜索(NNS)的模型。結果表明,這些模型因其反應式管理結構而非常有效,能成功完成任務。NNS 模型能有效地解決智能體的分解問題。它還具有任務切換能力。
任務規劃器的多目標優化框架可確定任務所需的智能體數量。任務規劃器利用所開發的任務分解方法,最大限度地減少完成任務的時間以及智能體的數量。多目標框架的輸出是帕累托最優值,然后將其作為決策框架的輸入,根據用戶定義的一些約束條件和優先事項確定優化的智能體數量。在測量完成任務的時間時,任務規劃器利用先前開發的路徑規劃器模擬智能體在環境中的導航軌跡,以提供最準確的估計。
然而,正在進行的任務可能會受到突發事件的影響(如一些天氣事件、智能體的意外維護要求等)。未來任務的規劃取決于正在進行的任務,因為它提供了對資源可用性的估計。需要一個現實的預測模型,利用過去任務的信息,對當前任務的完成情況進行統計估計。
我們開發了一個基于人工神經網絡的預測模型,根據以往任務的信息預測任務的完成時間。該預測模型旨在為潛在的任務規劃者提供指導。利用這一數值模型,未來的規劃者可以預測所需的資源,而無需經過優化過程。上述所有算法工具都通過大量的模擬結果和實時實驗進行了演示。
大型模型,包括大型語言模型和擴散模型,已在接近人類智能方面展現出卓越的潛力,引起了學術界和工業界的極大興趣。然而,這些大型模型的訓練需要大量的高質量數據,而且隨著這些模型的持續更新,現有的高質量數據資源可能很快就會耗盡。這一挑戰促使人們大量研究數據增強方法。利用大型模型,這些數據增強技術已超越傳統方法。本文提供了一篇關于大型模型驅動的數據增強方法的全面綜述。我們首先建立了相關研究的分類,分為三個主要類別:**圖像增強、文本增強和配對數據增強。**接著,我們深入探討了與基于大型模型的數據增強相關的各種數據后處理技術。我們的討論隨后擴展到這些數據增強方法在自然語言處理、計算機視覺和音頻信號處理等領域的應用范圍。我們繼續評估基于大型模型的數據增強在不同場景中的成功與局限性。在我們的綜述中,我們突出了數據增強領域未來探索的潛在挑戰和途徑。我們的目標是為研究人員提供關鍵洞察,最終有助于更復雜大型模型的發展。我們持續維護相關的開源材料在: //github.com/MLGroup-JLU/LLM-data-aug-survey。
數據增強,作為機器學習中的關鍵策略,解決了用有限的標記數據訓練不同任務模型的挑戰。它涉及增強訓練樣本的充足性和多樣性,而無需顯式收集新數據,因此在提高模型泛化方面起著至關重要的作用(Feng et al., 2021; Shorten and Khoshgoftaar, 2019)。數據增強的本質在于通過各種變換改變現有數據點來生成新數據。這防止了模型記憶無關的數據模式,增強的數據緊密反映了真實數據的分布(Cubuk et al., 2019; Wei and Zou, 2019)。這些技術直接適用于監督學習(Liu et al., 2021c)并且可以通過一致性規則化(Zhang et al., 2021a)在半監督學習中用于未標記數據。最初為計算機視覺(CV)開發的數據增強方法通過裁剪、旋轉和色彩調整等操作創建人工圖像(Kanwal et al., 2022; Krell and Kim, 2017; Takahashi et al., 2019)。在自然語言處理(NLP)中,類似的方法包括隨機字符插入、單詞刪除和同義詞替換(Liu et al., 2020; Shorten and Khoshgoftaar, 2019)。
數據增強的重要性在學術和工業領域引起了廣泛關注。作為一個活躍的研究領域,它解決了機器學習中對大量高質量標記數據的日益增長的需求,這一需求在現實世界中往往無法滿足。盡管在過去幾十年中,特別是在深度學習技術方面,數據增強取得了顯著進展,但這些方法仍然難以捕捉現實世界數據的復雜性(Feng et al., 2021),生成可擴展數據(Yang et al., 2022),并抵御對抗性示例(Qiu et al., 2020)。
為了應對這些限制,當前研究正在探索創新技術來增強數據增強方法的效果和多樣性。其中,大型模型,包括大型語言模型(Zhao et al., 2023)和擴散模型(Yang et al., 2023),顯示出相當大的潛力。大型語言模型(LLMs),如GPT-4(OpenAI, 2023a)和Llama2(Touvron et al., 2023b),已經革新了NLP。這些模型以Transformer架構(Vaswani et al., 2017)為特點,并在廣泛的語料庫上進行訓練,擅長理解和生成類似人類的文本,標志著機器學習能力的重大進步(Zhao et al., 2023)。這些擁有數十億參數的模型可以承擔包括代碼生成(Zhang et al., 2023b)和數據增強(Dai et al., 2023)在內的多樣化和復雜任務,為人工通用智能(AGI)的實現鋪平了道路。
擴散模型(Ho et al., 2020; Song et al., 2020),一種新的最先進的生成模型家族,在計算機視覺中的圖像合成方面超越了長期占據主導地位的生成對抗網絡(GANs)(Goodfellow et al., 2014)(Dhariwal and Nichol, 2021; Ho et al., 2020)。與變分自編碼器(VAEs)(Kingma and Welling, 2013)和GANs等先前模型不同,擴散模型通過迭代添加和逆轉噪聲來生成高質量的合成圖像,并已實現文本到圖像的生成(Saharia et al., 2022),擴展了數據增強的范圍。
方法論
大型模型的出現徹底改變了數據增強的方式,提供了與傳統方法相比更具多樣性的創新和有效手段來生成訓練數據。本節將現有的方法基于目標數據類型分為三個不同的類別:圖像增強、文本增強和配對數據增強。圖像增強涉及擴展圖像數據,文本增強涉及擴展文本數據,而配對數據增強則涉及兩者。這些方法反映了數據增強的最新趨勢,突出了大型模型的重要作用。
圖像增強圖像增強通過額外信息的指導來合成逼真的圖像。我們將這些技術分為基于提示的和基于主題的方法:在基于提示的類別中包括文本、視覺和多模態方法;在基于主題的類別中包括針對特定主題的策略。文本提示驅動的方法從文本描述中生成圖像,視覺提示驅動的方法使用視覺線索,而多模態提示驅動的方法結合了文本描述和視覺指導。基于主題的方法為特定主題量身定制增強。這些方法提升了深度學習任務的性能,有助于更加健壯的訓練體驗。現有方法在表3中總結。
文本增強
文本增強著重于利用大型模型的先進能力來增強文本數據集,包括兩種策略:基于標簽的和基于生成內容的。在基于標簽的方法中,模型被用于注釋文本數據,有效地豐富了文本數據集,增加了更多的標記實例。基于生成內容的策略指導模型合成新的文本數據,從而擴展了數據集,增加了新生成的文本材料。現有方法在表4中展示。
配對數據增強
MixGen(Hao et al., 2023)是一種用于視覺-語言表示學習的數據增強方法,通過圖像插值和文本連接生成具有保留語義關系的圖像-文本對。Bakhtiarnia等人(2023)提出了一種名為PromptMix的方法,該方法從現有數據集中提取文本描述,使用提取的文本作為輸入到潛在擴散模型以生成類似于現有數據集中的圖像,使用高性能的重量級網絡對生成的圖像進行注釋,并將這個假數據集與真實數據混合,以改善輕量級深度神經網絡的訓練。為了解決視覺語言數據集中的報告偏差問題,特別是對象屬性關聯對訓練模型的潛在有害影響,Wu等人(2023b)提出了一種稱為BigAug的雙模態增強方法。這種方法利用對象屬性解耦來合成不同的視覺語言示例,并創建跨模態的硬否定。LLM和基礎對象檢測器的整合有助于提取目標對象,其中LLM為每個對象提供詳細的屬性描述。這些描述以及相應的硬否定接著被用來通過修補模型生成圖像。這個明確的過程引入了缺失的對象和屬性以供學習,其中硬否定指導模型區分對象屬性。
總結
在本節中,我們提供了對我們在第3、4和5節中審查的主要發現的綜合概述。 基于大型模型的數據增強仍然是一個充滿機會和挑戰的領域。本調查旨在全面審查基于大型模型的數據增強方法,伴隨的數據后處理技術以及在下游任務中的應用。 它還仔細分類了現有的基于大型模型的數據增強方法。通過總結和分析當前的研究工作,我們確定了當前方法的成功和失敗,并辨別了基于大型模型的數據增強的新趨勢。此外,我們總結了用于評估基于大型模型的數據增強的現有方法。最重要的是,這些總結可以幫助提出未來研究的新挑戰和機會。
為了解決如何利用現有數據的增長來建立有用的模型的問題,一個自動發現模型和管道的方法是有序的,它可以利用這些數據。我們已經探索了自動發現模型和管道所需的許多方面:建立一個模型知識庫和基于推薦系統方法的模型排名,通過數據集的圖形表示進行模型推薦,通過擴展基于樹的管道優化工具(TPOT)和基于強化學習的方法進行管道生成。我們探索了一種預算意識到的超參數調整算法和神經網絡的不確定性估計。我們探索了不同的訓練方法,包括無梯度優化、零點學習和持續學習。我們還解決了神經網絡架構的問題。我們將所有這些結合起來,形成了一個模塊化的自動機器學習(AutoML)系統,該系統支持廣泛的任務類型,在項目評估中一直處于前三名。
創新產品的要求正在迅速發展,反映了許多工程學科的技術進步。這種變化的加速性伴隨著產品性能、復雜性和成本的增長。為了滿足新出現的需求,需要更快的設計過程來:徹底和準確地探索更大的設計空間,利用潛在的復雜的物理相互作用來獲得性能上的好處,并避免有害的相互作用,這些相互作用可能會通過后期的缺陷發現而大大增加產品成本[1]。現在,在開發過程的早期,通過在更高的層次上耦合更多的學科來獲得設計上的好處。但是,沒有一個數學框架來確定哪些學科、耦合水平或保真度水平是需要的,以捕獲對特定系統設計最關鍵的物理學,在哪里收集設計空間數據是最好的,或者如何在有限的計算資源下做出最佳的設計決策。目前,這些決定完全是基于工程經驗的。這種方法對于那些與以前的設計相似的系統來說效果還不錯,但對于獨特和創新的車輛和技術來說可能會失敗。
在這方面,多學科設計優化(MDO)的長期挑戰之一是在需要時有效地提高建模delity,以捕捉制約或實現特定產品概念的關鍵物理。當物理學沒有得到充分的建模或解決時,在整個設計空間中依靠低延性模型進行分析可能會導致設計不可行,或明顯的次優。在優化過程中,簡單地用更高的fdelity模型替換這些模型往往不是一個實用的策略,因為這些信息量更大的技術會帶來更高的計算成本。多效性方法提供了一個概念框架,通過明智地使用有限的高效性分析,同時利用低效性模型提供的信息來有效地優化產品。在這里,多目標方法被認為是屬于一個更大的方法類別,它協調一組信息源以加速計算任務。這些信息源使用計算方法(即數學描述和隨之而來的數值分析)和/或非計算方法(如物理實驗、分析解決方案和專家分析)來量化系統響應。
盡管已經開發了相當多的多重保真度方法,但它們的能力仍在討論之中,其潛力仍未得到充分開發[2], [3]。這促使人們對可以支持這些方法的比較和嚴格評估的基準問題感興趣。Beran等人[1]提議將用例和測試問題分為三類。L1問題,具有精確解的計算便宜的分析函數;L2問題,簡化的工程應用問題,可以用減少的計算費用執行;L3問題,更復雜的工程用例,通常包括多物理場耦合。北約AVT-331研究任務組 "軍用車輛系統級設計的目標驅動、多變量方法",一直在進行協調活動,以收集和研究這三類問題的基準。本文提供了L1基準的概述,這些基準是分析性問題,與實際工程問題沒有明確的相似性,但支持跨領域的調查。文獻中提出了大量的L1基準問題,大多是與新型的多重保真度方法的介紹相結合的[4]-[23]。然而,目前還沒有一個全面的計算效率高的基準框架。
這項工作的目的是提出和討論一套具體制定和選擇的分析基準問題,以強調測試和評估廣泛的多德爾法的能力。該框架旨在提供一套標準問題、推薦的實驗設置和性能評估指標,以支持對不同計算方法的嚴格測試和比較。基準的選擇是為了體現在基于模擬的優化問題中經常遇到的數學特征和行為,這些特征和行為會對成功搜索和識別現實世界工程應用中的最優解提出挑戰。這些挑戰包括 (i) 解決維度詛咒[24]和與多維度方法相關的可擴展性;(ii) 處理目標函數的局部、多模態和不連續行為;以及(iii) 處理目標函數中可能存在的噪聲。基準的設計和選擇是為了簡單的實現,同時允許分離和研究不同的數學特征,以獲得關于不同的多德爾法的建模、設計和優化的性能的洞察力。所選的測試集包括:Forrester函數(連續和不連續)、Rosenbrock函數、Rastrigin函數(移位和旋轉)、Heterogeneous函數、一個耦合的彈簧-質量系統和Pacioreck函數(受噪聲影響)。
這套分析性L1基準的設計是為了評估多fdelity方法在面對所有這些數學特征時的弱點和優勢。本文還介紹了計算和比較這些方法的全局和優化精度的指標。全局精度指標提供了一個衡量近似最高fdelity函數的能力,也被認為是地面真實信息源。優化精度是一個以目標為導向的指標,衡量方法在搜索和找到全局最優時的效率和效果。
本文的其余部分組織如下。第2節說明了各個基準問題,包括它們的公式和它們的顯著數學特征。第3節介紹了關于建立基準實驗的建議,以便對各種方法進行公平和有意義的比較。第4節討論了不同的指標和標準,以評估和比較多重性建模和優化策略的性能。最后,第5節討論了結語。
建模與仿真即服務(MSaaS)體現了這樣一個理念:仿真應該由松耦合的共享組件、仿真服務在基于云的環境中為手頭的任務快速組成。然后,這些模擬作為組成的模擬服務,提供給人類和技術消費者。這方面的重要功能是讓仿真操作員發現和組合仿真服務并執行組合。我們用我們所說的MSaaS基礎設施能力來描述這一功能。按照逐步完善的理念,仿真服務的發現和組合可以在設計時使用與實施無關的仿真服務信息,在實施時使用與實施有關的仿真服務信息。執行環境也可以在設計時和實施時進行設置。因此,我們在描述MSaaS基礎設施的能力時,要說明它們是如何用于獨立于實施的和特定于實施的服務信息的。通過做這些闡述,我們打算更深入地了解如何進行模擬服務的發現、組成和執行。我們的結論是,盡管MSaaS基礎設施所需的大部分功能都可以通過現有的平臺和框架獲得,但為了實現MSaaS的愿景,有必要將這些功能作為服務,與(組成)仿真服務一起提供。
圖 1. 建模和仿真即服務 (MSaaS) 聯合框架,具有 MSaaS 門戶功能(發現、組合、執行)和用于數據管理、組合以及服務管理和控制的 MSaaS 基礎設施功能。
對行動、訓練和演習的模擬支持具有很大的潛力,它可以支持和增強行動過程,并通過新的方面和擴展的接觸來加強訓練。隨著多國部隊的相互聯系越來越緊密,對國防活動的模擬支持被認為將變得越來越重要。
然而,建立和執行分布式模擬是一個漫長的過程,根據所涉及的系統的復雜性和特點,有各種障礙。由于系統的版本和設置可能在這期間被更新或改變,因此每次行動或演習都必須重復這一過程。跨網絡的系統連接也帶來了自己的一系列問題。所有這些挑戰使得在分布式模擬的生命周期中,有必要在每個地點配備熟練的技術人員,這增加了已經很復雜的后勤工作和有時漫長的操作和演習計劃。
建模與仿真服務(MSaaS)--尤其是北大西洋公約組織(NATO)的MSaaS聯盟框架--提出了一個愿景,即為行動、演習和培訓設置仿真應該是快速和容易的。該服務概念通過通用功能的標準化體現了可重用性,并通過松散耦合和標準化的服務描述體現了可組合性。
圖1說明了這一理念,供應商在云環境中共享仿真服務。仿真操作員使用一個基于網絡的門戶來發現并將仿真服務組合成一個仿真組合來執行。組成的仿真本身可以作為服務提供,以便重復使用。云環境促進了 "按需、隨地 "的模擬訪問。事實上,基于云的模擬和MSaaS被認為是 "巨大的挑戰",對模擬軟件提出了新的要求,特別是對服務描述、服務發現和服務組合的需求。
門戶網站中發現、組成和執行模擬的功能是由MSaaS基礎設施能力的集合提供的,這些能力分為數據管理、組成以及服務管理和控制(SMC)的能力(圖1)。討論的主線是闡述這些MSaaS基礎設施能力應該是什么,目的是為了更好地理解在面向服務的環境中處理模擬的基本機制。我們的闡述是建立在早期的MSaaS經驗之上的。
在MSaaS的參考架構中,服務目前被稱為是獨立實施的。也就是說,服務是由其獨立于實施的服務描述來識別的,參考架構中列出了一些與建模和仿真相關的服務。當獨立于實施的服務描述被標準化并以機器可讀的格式表達時,可以建立工具來支持某種程度的自動發現和組成。這就支持了MSaaS快速仿真部署的愿景,并進一步支持了仿真操作員(圖1)在未來可能成為非技術培訓師或其他操作人員的愿景。
然而,為了對面向服務的標準和仿真協議世界中的開發者有用,這些標準和協議中的每一個都可能處于不同的特定實現抽象水平,MSaaS參考架構需要包括相應的抽象水平。此外,從概念建模到設計再到實現的步驟中所表達的逐步細化原則,進一步激勵了擁有多個抽象層次的服務概念。
因此,在闡述MSaaS基礎設施能力時,我們在考慮這些能力如何在模擬服務抽象的幾個層次上運作的同時,進行了闡述。這樣就能更好地理解服務抽象層次本身,以及基礎設施能力如何通過這些抽象層次進行逐步細化。
MSaaS依賴于北約國家和組織之間以及民用基礎設施之間共享的云基礎設施。這意味著模擬服務和它們的組合,以及基礎設施的能力,必須在適當的云應用成熟度水平的軟件中實現;例如,見Kratzke的云準備、云友好、云彈性、云本地分類。然而,我們在本文中的重點是了解功能層面的基礎設施能力(Kratzke參考模型中的服務構成和應用層)。確定MSaaS的適當的云應用成熟度水平是下一個重要步驟,在本文中沒有討論。
在認識論上,我們在這里的工作相當于建立格雷戈爾所說的分析型理論和設計與行動型理論。前者由 "是什么 "的概念化組成;在我們的案例中,"是什么 "不是一個物理實體,而是一個概念實體;即一個參考架構。后一種類型的理論描述了 "如何做 "事情,包括設計原則。這兩種類型的理論都不支持理論本身所表達的預測,這些預測可以用傳統的方式進行反駁。相反,可以說,它們通過假設概念化和設計有利于各種目的而暗示了元預測。我們提出的概念化是有益的,這可以通過從業者和研究者發現它有多大用處、它在解析性方面有多好、它有多有趣以及理論的其他質量方面來進行分析和經驗性的驗證。這種驗證必須由其他研究者和實踐者長期進行,并與不斷發展概念化的研究者合作。
在第2節中,我們回顧并闡述了MSaaS參考架構的服務概念,在這個概念中,服務可以在幾個抽象層次上被聲明--使用服務描述,從獨立于實施到具體實施。然后,我們在第3節中介紹了MSaaS的基礎設施能力,并在第4-6節中分別闡述了與服務抽象層次有關的組成數據、組合和SMC能力。我們在第7節中得出結論。
圖7. 建模和仿真即服務基礎設施功能之間的關系。
深度學習模型在從計算機視覺、自然語言處理到圖形挖掘等各種任務中都取得了卓越的預測性能。許多不同領域的企業和組織正在構建基于深度學習的大規模應用程序。然而,人們越來越關注這些模型的公平性、安全性和可信性,這主要是由于其決策過程的不透明性質。最近,人們對可解釋深度學習越來越感興趣,它旨在通過解釋模型的行為、預測或兩者都解釋來減少模型的不透明度,從而在人類和復雜深度學習模型之間建立信任。近年來,針對模型的低可解釋性和不透明性問題,提出了一系列的解釋方法。在本教程中,我們將從數據的角度介紹最近的解釋方法,針對分別處理圖像數據、文本數據和圖形數據的模型。我們將比較它們的優勢和局限性,并提供實際應用。
//sites.google.com/gwmail.gwu.edu/tutorial-proposal-cikm-2022/home?authuser=0
深度學習模型在各種各樣的任務中取得了卓越的預測性能,如計算機視覺(CV)、自然語言處理(NLP)、圖挖掘和強化學習[11,14,20,22,38,41]。許多跨不同領域的企業和組織正在構建基于深度學習模型的大規模應用程序,但人們越來越關注這些模型的公平性、安全性和可信性[12],這主要是由于它們的決策過程的不透明性質。例如,面部識別的深度學習模型在面對皮膚較黑的女性圖像[3]時表現非常糟糕,自動駕駛系統在檢測與行人互動的人群分組時識別精度低得令人無法接受,為STEM工作招聘新員工的NLP系統有很強的偏見,認為男性比女性更合格[16]。由于缺乏令人信服的可解釋性模型,深度學習在高風險預測應用(如醫療保健、刑事司法和金融服務)中廣泛采用還不可能。
盡管其他類型的模型(如線性回歸或基于樹的方法)也存在潛在風險,但通過檢查模型使用的節點的權重或拆分并選擇那些產生最佳性能的節點,可以很容易地理解它們的決策[13,18]。不像其他經典的機器學習模型,檢查模型使用的節點的權重或分割,并選擇一個具有最佳性能的[13]是不可能的,因為它們的過度參數化,實際上可以超過數百萬個參數,以及分層非線性的性質。最近,人們提出了一系列方法來解釋深度學習模型的行為或預測。這些方法可以根據:** (a)這些方法是否假定可以訪問模型的內部結構(模型相關),或者是否可以應用于任何黑盒模型(模型無關)。(b)模型是解釋單個實例(局部解釋)還是解釋模型的整體行為(全局解釋)。(c)可解釋性是通過梯度(基于梯度的)還是通過非梯度的分析(非基于梯度的)實現的。與此同時,現實應用中的數據可能具有不同的格式,如圖像、文本和圖表,顯示出不同的特征。因此,它激發了從數據角度對解釋方法的研究**。
在本教程中,將介紹深度學習解釋的基本定義和術語。我們的教程分為四個部分:(i)圖像分類的解釋; 對文本的解釋;(iii)圖的解釋,(IV)解釋深度強化學習。我們還將詳細介紹目前流行的可解釋模型,并強調它們的優點和局限性。本教程的學習成果如下:(1)了解主流可解釋模型的理論動機、分類和理論表述。(2)比較目前流行的可解釋模型的優點和局限性,并提出推廣這些方法的可能機會。(3)通過編碼、訓練和可視化指導原則,介紹在解釋圖像、NLP、圖表和深度強化學習的預測DNN方面的實際應用。 講者:
最近機器學習或人工智能的視覺和自然語言處理方面的進展使個人助理或自動駕駛汽車等新技術的發展成為可能,這將機器學習和人工智能帶到了流行文化的前沿。這些算法進步的積累,以及大量數據集和隨時可用的高性能計算的增加,在將機器學習應用到如此廣泛的學科中發揮了重要作用。鑒于化學科學強調結構和功能之間的關系,無論是在生物化學還是在材料化學中,化學家采用機器學習。《化學中的機器學習》關注以下內容,以啟動您對這一高度相關主題的理解:
//axial.acs.org/2021/06/21/machine-learning-in-chemistry-now-and-in-the-future/
與化學科學最相關的主題是重點。
關注概念而不是技術細節。綜合引用為更多的技術細節提供了資源。
機器學習方法的關鍵細節(不容易,但重要的是理解這些方法的優點和局限性,并確定領域知識最容易應用的地方。
熟悉基本的單變量微積分和線性代數將會很有幫助,盡管我們已經提供了重要的一步一步的推導