亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

大型基礎模型在實現人工智能領域的最新突破中發揮了核心作用。通過同時將數據集和模型規模擴展到前所未有的水平，這些基礎模型在蛋白質結構預測、圖像/視頻生成、代碼生成、聊天機器人等許多領域表現出色。然而，它們的計算和內存成本也急劇增長，使得這些基礎模型在實際應用中的部署變得困難，尤其是在資源受限的邊緣設備上。此外，巨大的訓練成本也顯著阻礙了新基礎模型的發展，并引發了對巨大能源消耗和二氧化碳排放的擔憂。為了解決這些問題，構建有效的模型加速技術對于縮小計算供需之間的差距至關重要。 本論文將涵蓋模型加速的三個重要方面。首先，我們將討論高效表示學習，包括用于高分辨率視覺的EfficientViT（一種新的視覺Transformer架構）和用于條件圖像生成的條件感知神經網絡（一個新的控制模塊）。其次，我們將介紹硬件感知的加速技術，以創建針對不同硬件平臺和效率限制的專用神經網絡。第三，我們將介紹TinyTL，這是一種內存高效的遷移學習技術，用于實現設備上的模型定制。通過我們的設計，我們可以顯著提高深度神經網絡在硬件上的效率，而不損失準確性，使它們更易于訪問并降低其服務成本。例如，我們的模型在A100 GPU上實現了48.9倍的吞吐量提升，同時在零樣本實例分割性能上略微優于最新的模型。在條件圖像生成方面，我們的方法實現了52倍的計算成本降低，而性能沒有下降。

大型基礎模型在許多人工智能領域（包括自然語言處理[1], [2]、計算機視覺[3]–[5]、科學領域的AI應用[6]等）引發了革命性的變化。通過擴大模型規模并在網絡規模的數據集上訓練，這些基礎模型展示了驚人的少樣本/零樣本學習能力，能夠解決復雜的任務。這些卓越的表現引發了在實際應用中使用這些基礎模型的熱潮，將人工智能引入了我們的工作和日常生活。 然而，由于模型規模和計算成本的增加，這些基礎模型的訓練和推理成本非常高昂。例如，GPT-3[7]模型擁有1750億個參數，僅存儲它就已經超出了目前最強大的GPU（如NVIDIA H100 GPU）的容量。這對在云平臺上提供這些模型服務或在邊緣設備上部署它們提出了巨大挑戰。此外，高昂的訓練成本還導致了巨大的能源消耗和二氧化碳排放，引發了對這些AI基礎模型的可持續性問題的擔憂。 在本論文中，我們旨在研究模型加速技術，以提高深度神經網絡的效率，從而應對這一挑戰。我們的方法從三個方面加速深度神經網絡。首先，我們將討論高效的表示學習，旨在構建高效的構建模塊/神經網絡架構，從原始數據中提取有用信息。其次，我們將討論硬件感知的加速方法，旨在為不同的硬件平臺和效率約束定制專用的神經網絡，以獲得精度和硬件效率之間的最佳平衡。第三，我們將討論高效的模型定制，允許內存高效的設備端學習，以提供定制化的AI服務而不犧牲隱私。我們總結了本論文的主要內容如下：

**1.1 論文大綱

• 第2章 描述了高效表示學習的技術。內容基于[8]和[9]。首先，Transformer架構是當前大型基礎模型的核心組件。然而，Transformer架構在處理長序列時表現不佳，因為其計算成本隨著輸入序列長度的增加而呈二次增長。我們提出了EfficientViT，這是一種用于高分辨率視覺的新型視覺Transformer架構。它通過僅使用硬件高效的操作，達到了全局感受野和強大的容量。EfficientViT在不同的硬件平臺上提供了顯著的性能提升。其次，添加控制是將圖像/視頻生成模型轉化為人類生產工具的關鍵步驟。我們提出了條件感知神經網絡（CAN），這是一種為圖像生成模型添加控制的新方法。與以往的條件控制方法并行，CAN通過動態操控神經網絡的權重來控制圖像生成過程。CAN在擴散Transformer模型中持續帶來顯著改進。

• 第3章 介紹了硬件感知的AutoML技術，以有效地為不同的硬件平臺和效率約束定制專用的深度神經網絡。內容基于[10]和[11]。不同的硬件平臺具有不同的屬性（例如并行度、緩存大小、帶寬等）。針對不同的目標硬件平臺和不同的效率約束，我們需要定制化的神經網絡以實現性能與效率之間的最佳平衡。然而，手動為每個案例定制神經網絡是不可擴展的。因此，我們提出了硬件感知的AutoML技術來應對這一挑戰。我們的方法在不同的硬件平臺上提供了顯著的加速，包括手機、CPU、GPU、FPGA等。此外，我們的方法在多個低功耗計算機視覺挑戰賽中獲得了第一名。

• 第4章 介紹了TinyTL[12]，一種用于內存高效的設備端學習技術。TinyTL凍結了權重，只學習內存高效的偏置模塊，因此不需要存儲中間激活。為了保持適應能力，我們引入了一種新的內存高效偏置模塊，即輕量殘差模塊，通過學習小的殘差特征圖來優化特征提取器，僅增加了3.8%的內存開銷。廣泛的實驗表明，TinyTL在與微調整個網絡相比僅有微小的準確性損失的情況下，顯著節省了內存。

我們目前正經歷著一場人工智能（AI）革命。生成式AI和特別是大型語言模型（LLMs）的顯著改進正在推動這場革命。然而，這些大規模AI系統雖然強大，但更難理解。一旦訓練完畢，它們的內部工作機制仍然是一個既迷人又可能令人恐懼的謎團。問題在于，作為這些系統的創造者，我們如何理解和控制它們，以及是什么驅動它們的行為。 在本論文中，我將嘗試通過機械解釋性（MI）的工具來理解深度神經網絡的某些特性。這些工具讓人聯想到神經科學家的工具：1）分析腦細胞的連接性（連接組學） 2）測量和分析神經元活動 3）測量在進行中的計算中的主動干預的效果。盡管對大型深度學習模型的嚴格理解尚不可及，但在本論文中，我將提供通過迭代解釋性實現這一目標的可能路徑的證據：一個設計、訓練和分析AI系統的迭代過程，其中通過MI獲得的洞察力導致更強大和更可解釋的模型。 首先，我提供了證據，證明在單獨研究時，可以理解Transformer（用于LLMs的人工神經網絡架構）令人著迷的上下文學習特性。作為第一步，我們分析了在少量回歸數據上訓練的小型Transformer模型的權重。通過使用MI的工具，我們可以逆向工程這些訓練好的Transformer，這些Transformer配備了線性自注意力層，并展示了它們在前向動態中基于梯度下降和上下文數據隱含地學習內部模型。 其次，我將解決這一簡單設置中的一個重要缺陷，并通過訓練自回歸Transformer更接近LLMs。在這里，我們訓練模型來預測由線性動態獲得的元素序列中的下一個元素。同樣，借助神經科學家的工具，我們可以逆向工程這些自回歸模型，并確定模型內部 i）構建優化問題 和 ii）通過基于梯度下降的算法解決這些問題。隱藏在模型權重中的這個算法允許我們在訓練后將模型重新用作上下文學習者。基于這些洞察，我們然后閉合了解釋性循環，并提出了一種新的自注意力層，該層可以在設計時在單個層內解決已識別的優化問題。在提供更好解釋性的同時，我們在簡單實驗和語言建模中展示了性能的改進。 第三，我將展示在元學習和持續學習背景下的另一個迭代解釋性的例子，我們在其中改進了著名的與模型無關的元學習（MAML）的性能和解釋性。MAML的目標是學習一種網絡初始化，使網絡能夠快速適應新任務。基于通過機械解釋性獲得的先前洞察，我們提出了稀疏MAML，這是一種MAML變體，此外還決定主動停止學習某些權重：它學會了在哪里學習。盡管在常見的少樣本分類和持續學習基準中表現出性能改進，稀疏MAML提供了一個成功解釋性循環的另一個例子，因為所學習的解決方案在設計上允許更好的解釋性。

發現具有所需性質的新分子和新材料對我們成功應對全球挑戰，如氣候危機或新興疾病，至關重要。然而，在幾乎無限且離散的化學搜索空間中進行導航，同時又要尊重一系列多屬性目標，這是極具挑戰性的。在過去的幾十年里，化學工業不僅面臨著生產力下降，而且新材料和分子的研發成本也在不斷攀升。近期，分子生成模型結合虛擬篩選方法在高效、系統地探索化學空間上展示了有希望的結果。人們寄望于這些方法能加速分子的發現過程，特別是當它們與化學合成規劃工具和自動實驗室的機器人硬件配合使用時。然而，大多數生成模型都是針對簡單化、以化學為中心的目標進行優化，忽視了關于分子目標環境的系統級信息，因此不能用于生成條件性的分子以滿足一系列廣泛的目標。這篇論文主要研究如何開發可以根據語義環境進行查詢，靈活生成分子以滿足所需條件的條件性分子生成模型，而無需進行特定的優化。此外，該論文旨在通過開發具有關于連續性質的歸納偏見，且在預測此類性質上表現優秀的分子生成模型，以改進從頭設計和性質預測的“糾纏”。這是通過利用自然語言和有機化學之間的類比來實現的。

作為生成建模的先決條件，這篇論文的第一部分致力于構建分子性質的預測模型。第一章提出了一個簡單而穩健、可解釋的化學語言模型，該模型大量依賴數據增強，并被證明在一系列性質（如毒性）上表現出強大的性能。接下來的一章發展了用于預測蛋白質-配體結合親和力的蛋白質化學度量語言模型，并證明通過從蛋白質序列中去除超過95%的殘基，人類蛋白質激酶的結合親和力預測性能顯著提高。這篇論文的第二部分關注的主要目標是開發條件性分子設計的生成語言模型。利用強化學習優化方案中的性質預測器，得出一個可以在生物分子環境向量（例如，惡性腫瘤的基因表達簽名或一個目標蛋白質）上進行條件設置，并生成對此環境具有高親和力的分子的生成模型。實驗證明，這種方法具有很好的泛化性，即使在缺乏實驗數據的情況下，也能提出具有高選擇性的分子，針對未見過的蛋白質目標。在關于加速分子發現的案例研究中，提出的生成模型被集成到一個完全自動的工作流程中，這個過程涵蓋了回溯合成模型，合成協議生成，以及在機器人硬件上成功進行濕實驗室合成。最后一章提出了一個多任務語言模型，將回歸抽象為條件序列建模問題，從而統一了前面關于分子性質預測和條件生成的工作在同一模型中。這個模型不僅在回歸任務上表現出色，盡管依賴于分類損失，而且還可以同時對任意分子子結構和連續目標性質進行條件設置。如所示，這個模型在條件分子設計中超越了專門的方法，并且可以基于所需的性質引物，無需任何優化，就可以裝飾種子分子、蛋白質或化學反應。這在性質驅動的化學空間局部探索中找到了特別的應用，并為材料設計中的基礎模型鋪平了道路。

總的來說，這篇論文可能通過提供改善被視為下游化學合成和濕實驗室實驗考慮的平均假設質量的方法，為加速分子發現作出貢獻。

數十年來，機器人在我們的日常生活中扮演了重要而隱秘的角色。我們每天依賴的許多產品，如汽車和藥品，都是通過機器人自動化生產的。這些系統將以更直接的方式進入我們的日常生活，他們的影響力不可避免地會減小。特別是腿部機器人，近期的進步終于使這些系統商業上可行，并將很快看到它們在物流、景觀工作和在建筑工地上協助工人的角色。然而，隨著它們的持續改進，操作它們的軟件和算法將需要能夠執行目前無法實現的更抽象的任務。毫無疑問，實現這一目標的方式之一將涉及利用機器學習技術的并發進步。

//www.research-collection.ethz.ch/handle/20.500.11850/614549

這篇博士論文正朝著這個目標努力，旨在幫助彌合現代機器人技術和機器學習技術之間的鴻溝。這項研究解決了實現更強大機器人系統所必需的兩個方面，即軟件和算法，并專注于深度強化學習（DRL）技術在解決腿部機器人，特別是四足機器人系統的運動控制問題的應用。為了統一上述領域，我們需要軟件系統能夠利用在Python中實現的DRL算法，并讓需要C++接口的研究人員和開發人員可以使用。因此，這項工作通過引入一個多功能的軟件工具箱，為機器人應用使用DRL算法做出了貢獻。它利用了最先進的機器學習平臺TensorFlow的Python API，用于構建包含神經網絡模型、梯度計算和隨機梯度下降優化器等組件的計算圖。這些圖可以在C++運行時環境中使用，以執行如訓練和部署等圖操作。此外，該工具箱在上述核心元素的基礎上，提供了對DRL的有用抽象，實現了幾種最先進的算法以及其他有用的實用工具。有了這個工具箱，我們提供了一個端到端的解決方案，用于設計、建模、訓練和部署神經網絡策略，這種策略專門為四足機器人ANYmal設計和測試。此外，復雜地形的行動對于有腿的機器人來說構成了重大挑戰。為了讓像ANYmal這樣的系統能夠在這樣的環境中自主運行，它們必須擁有謹慎規劃適合地形的立足點的方法，同時執行保證穩定性的運動。為了解決這個問題，本博士論文通過提出一種解決四足系統穿越非結構化地形的立足點選擇和步態生成問題的新方法，對算法的第二個方面做出了貢獻。這項工作主要圍繞一個框架進行，該框架用于制定馬爾科夫決策過程(MDPs)，采用最新的基于模型的軌跡優化技術來評估動態可行性，取代了物理模擬。當與最先進的DRL算法一起使用時，這些MDPs會生成能夠在具有挑戰性的3D環境中規劃基礎姿勢、立足點位置和步態參數序列的地形感知神經網絡策略。這些所謂的步態規劃(GP)網絡，在與其他針對運動規劃和控制問題的最先進方法結合時，會產生有效的行動。這種方法已經在模擬中以及在ANYmal的物理平臺上得到了實驗驗證。

氣候變化是我們這個時代最緊迫的問題之一，需要社會各個領域迅速動員許多工具和方法。機器學習被提議為其中一種工具，有可能補充和加強現有的氣候變化工作。在這篇論文中，我們提供了幾個方向，用于原則性地設計和使用基于機器學習的方法（特別側重于深度學習）來解決電力領域的與氣候相關的問題。在論文的第一部分，我們提出了統計和優化的方法來估計電網上的關鍵量。具體來說，我們使用基于回歸的工具來評估用于評估電力系統干預的與氣候和健康相關的排放因素。我們還提出了一種基于矩陣補全的方法來估計電力分配系統上的電壓，以實現分布式太陽能的集成。

受到這項工作的啟發，論文的第二部分，我們關注的是設計深度學習方法，這些方法明確捕捉了與應用場景相關的物理學、硬性約束和領域知識。特別是，我們利用深度學習中的隱含層工具來設計預測方法，這些方法對模型輸出將用于的下游（隨機）決策過程有認知。我們還設計了快速、保持可行性的神經近似器，用于具有硬性約束的優化問題，以及證明了能強制執行與部署系統相關的穩定性標準或操作約束的基于深度學習的控制器。這些方法直接適用于電力系統的問題，同時也更廣泛地適用于其他物理和安全關鍵領域。雖然第二部分展示了電力系統如何為深度學習研究提供有成效的方向，但在這篇論文的最后一部分，我們反過來展示了深度學習的洞察如何為電力系統的研究提供有成效的方向。具體來說，我們展示了受隱含層文獻啟發的方法如何被用于評估電網上的與政策相關的逆向問題。我們進一步展示了如何結合隱含層和對抗魯棒深度學習的洞察，使我們能夠為電力系統的兩個核心問題——N-k安全約束最優功率流和隨機最優功率流——提供可擴展的啟發式解決方案，這兩個問題由于其計算難度，很少在實際規模上進行研究。

總的來說，這篇論文展示了如何通過深度學習和電力系統的洞察進行橋接，可以顯著推進這兩個領域的方法，除此之外，還能解決與氣候行動相關的高影響力問題。

**自然語言生成(NLG)已經從深度學習技術的發展中取得了顯著的成功。隨著大規模的預訓練成為NLP中事實上的標準，大量的訓練數據和模型參數始終能夠在標準NLG任務中獲得最先進的性能。**雖然相當成功，但目前的NLG方法在幾個方面都是低效的，這阻礙了它們在更廣泛和實際的環境中的使用:(1)它們是標簽低效的-條件神經生成(例如機器翻譯)通常需要大量的注釋樣本來訓練，這限制了它們在低資源環境中的應用;(2)它們的參數效率不高——通常的做法是對預訓練的模型進行微調，使其適應下游任務，然而，這些模型可以擴展到數萬億的參數(Fedus等人，2021年)，這將在服務大量任務時造成大量的內存占用;(3)最后，我們重點研究了趨勢模型類——檢索增強NLG模型的計算效率低下問題。它們從外部數據存儲中檢索以輔助生成，由于額外的計算，添加的數據存儲和檢索過程會引起不小的空間和時間成本。

**本文旨在對高效NLG的研究問題有更深入的理解，并利用這些見解來設計更好的方法。**具體來說，(1)在標簽效率方面，研究了無監督和半監督的條件生成，利用豐富的無標簽文本數據，從而減輕了對大量標注樣本的需求。所提出的方法在各種NLG任務上進行了驗證;(2)在參數效率方面，本文提出了一個統一的框架來連接參數高效的遷移學習，其中只需要更新少數參數，就可以使大型預訓練模型適應下游任務。所提出框架為這一方向提供了新的理解，以及為參數高效的NLG實例化最先進的方法;(3)對于檢索增強NLG的計算效率，我們設計了新的模型或后適應檢索組件，以壓縮數據存儲，減少檢索計算，并加快推理。 語言是人類交流的主要媒介。在人工智能中，語言是機器與人交流的主要接口之一，因此機器需要能夠理解并生成自然語言。本文重點研究后者，即自然語言生成。自然語言生成是最基本的范疇之一的任務在NLP,橫跨在機器翻譯(Bahdanau et al ., 2015),文本摘要(Rush et al ., 2015),對話生成(Sordoni et al ., 2015),數據描述(Novikova et al ., 2017),等等。隨著近年來深度學習在NLP領域的快速發展(Hochreiter and Schmidhuber, 1997;Bahdanau等人，2015;Vaswani et al.， 2017)，我們已經見證了這些任務的巨大進展。特別是大規模的自監督預訓練(Peters等人，2018;Devlin等人，2019a;)將NLG任務的性能提升到了一個新的水平(Lewis等人，2020a;Raffel等人，2020)。最近，越來越大的預訓練語言模型顯示出了將所有NLP任務作為生成任務處理的潛力，在適當的文本提示下實現有競爭力的零次或少次結果(Radford et al., 2019; Brown et al., 2020; Schick and Schütze, 2021c; Du et al., 2021; Liu et al., 2021a; Sanh et al., 2022)。盡管取得了巨大的成功，但目前的NLG方法在許多方面都是低效的，這阻止了它們在更廣泛的環境中使用。在本文中，我們考慮了以下三個方面的低效率。

標簽低效: 最先進的自然語言生成模型通常是深度編碼器-解碼器或僅解碼器的神經網絡，通常由自注意力transformer架構提供動力(Vaswani等人，2017)。這些模型以端到端的方式在具有交叉熵損失的并行示例上進行訓練。模型訓練需要大量的標注樣本才能達到合理的性能。例如，翻譯系統通常用數百萬個句子對進行訓練，以達到實際性能(Akhbardeh等人，2021);流行的文本摘要基準也由數十萬個并行示例組成(Hermann等人，2015;Narayan等人，2018)。然而，帶標簽的示例通常是稀缺資源——豐富的注釋只存在于某些領域。此外，目前大多數數據集都是以英語為中心的，而世界上有7000多種語言，這意味著大多數語言的任務標簽都不容易獲得。這對應用通用的深度NLG模型提出了挑戰。

**參數低效:**自監督預訓練技術已在各種NLP任務上取得了巨大成功(Peters等人，2018;Devlin等人，2019a;Liu等人，2019a;Yang等人，2019)。通常，模型首先只在自監督損失的情況下對原始文本進行預訓練，然后在帶有標記數據的下游任務上對預訓練模型進行微調。這樣的管道已經成為當今創建最先進的NLG系統的事實標準。在這個方向上，研究人員正在追求越來越強大的預訓練模型，這實際上在大多數情況下導致了更多的參數——越來越大的語言模型由數億到萬億參數組成(Brown et al.， 2020;Fedus等人，2021;Rae等人，2021)。這樣，每個單獨的微調過程都會獲得巨大模型的不同副本，導致微調和推理時的參數利用率低下。當服務于大量任務時，這種參數低效會導致大量內存占用。

本文提出了一系列方法來提高自然語言生成的效率，從而可以在不顯著增加資源需求的情況下創建更好的NLG系統。首先描述了如何利用無標記樣本來幫助改善無監督或半監督文本生成(第一部分)，然后提出了一個參數高效遷移學習(PETL)的統一框架和伴隨的最先進的PETL方法(第二部分)。PETL方法旨在微調凍結的大型模型的一小部分參數，以實現與完全微調相當的性能，從而提高參數效率。最后，我們關注通過減少數據存儲大小和加快檢索過程，在空間和時間上簡化檢索增強方法(第三部分)。

深度學習方法在解決計算機視覺任務方面取得了巨大的成功，在人工智能系統中被廣泛應用于圖像處理、分析和理解。然而，深度神經網絡(DNNs)已被證明易受輸入數據的對抗性擾動的影響。因此，深度神經網絡的安全問題浮出了水面。綜合研究深度視覺算法的對抗魯棒性是十分必要的。本文主要研究深度分類模型和深度圖像去噪的魯棒性。 對于圖像去噪，我們系統地研究了深度圖像去噪器的魯棒性。具體而言，我們提出了一種新的攻擊方法，基于觀測的零均值攻擊(ObsAtk)，考慮了自然噪聲的零均值假設，對有噪聲的輸入圖像產生對抗性擾動。我們開發了一種有效的、理論基礎的基于PGD的優化技術來實現ObsAtk。針對ObsAtk，我們提出了混合對抗訓練(HAT)來增強深度圖像去噪器的魯棒性。大量的實驗證明了HAT的有效性。此外，我們探討了降噪器的對抗性魯棒性和對真實世界中不可見的噪聲類型的適應性之間的聯系。我們發現，只有合成噪聲數據經過HAT訓練的深度降噪器可以很好地推廣到不可見的噪聲類型。噪聲去除能力甚至可以與訓練與真實世界的噪聲降噪器相媲美。對于圖像分類，我們探索了除了傳統卷積神經網絡(CNNs)之外的新的魯棒架構。首先，研究了神經常微分方程的魯棒性。我們通過經驗證明，與基于CNN的分類器相比，基于節點的分類器對輸入擾動表現出更好的魯棒性。為了進一步增強基于節點的模型的魯棒性，我們將時不變屬性引入到節點中，并施加一個穩態約束來規范受擾動數據上的ODE流。我們證明了合成模型，稱為時不變穩定神經ODE (TisODE)，比vanilla 節點更魯棒。 其次，從通道激活的角度研究了vanilla CNN的魯棒性，并提出了一種特征選擇機制來增強vanilla CNN的魯棒性。特別是，我們比較了正常訓練的分類器在處理自然數據和對抗數據時的通道激活。我們觀察到，對抗性數據通過過度激活負相關(NR)通道而缺乏激活正相關(PR)通道，誤導了深度分類器。我們還比較了正常訓練模型和對抗訓練模型的通道激活，觀察到對抗訓練通過促進未激活的PR通道和抑制過度激活的NR通道來增強模型的魯棒性。因此，我們假設，根據通道與真實類別的相關性，放大通道的激活可以提高魯棒性。為了驗證這一假設，我們開發了一種新的通道操作技術，即基于通道重要性的特征選擇(CIFS)，該技術可以根據通道的相關性生成非負乘數來擴展通道的激活。大量的實驗結果驗證了該假設和改進后的CNN具有良好的魯棒性。綜上所述，本文系統研究了深度視覺算法的魯棒性，包括魯棒性評價(ObsAtk)、魯棒性改進(HAT、TisODE和CIFS)以及對抗魯棒性與新領域泛化能力之間的關系。

我們周圍的物質世界極其復雜，幾個世紀以來，我們一直試圖對其運作方式有更深入的了解。因此，建立能夠預測多物理系統(如復雜血流、混沌振蕩器和量子力學系統)長期動力學的模型仍然是科學領域的一個關鍵挑戰。雖然傳統和計算工具在解決這一開放問題方面有了顯著的改進，但它們仍面臨許多挑戰，計算資源仍然密集，而且容易產生嚴重的錯誤積累。現在，現代機器學習技術，加上大量的傳感器數據，正在推動這個方向取得重大進展，幫助我們從潛在的物理過程中發現復雜的關系。該領域的一個新興領域是混合物理信息機器學習，將物理系統的部分先驗知識集成到機器學習管道中，以提高預測性能和數據效率。在這篇論文中，我們研究了如何使用現有的關于物理世界的知識來改進和增強神經網絡的預測性能。首先，我們展示了旨在保持結構、連通性和能量(如圖、積分器和哈密頓量)的學習偏差可以有效地結合起來，從稀疏、噪聲數據中學習復雜多體節能系統的動力學。其次，通過在神經網絡中嵌入廣義的port- hamilton形式，從數據中準確地恢復不可逆物理系統的動力學。此外，我們強調了我們的模型如何通過設計從稀疏數據中發現潛在的力和阻尼項，以及重建混沌系統的Poincaré部分。最后，我們展示了基于物理的神經網絡可以有效地用于高效和準確的遷移學習——在大量研究良好的微分方程上保持高保真的同時，實現數量級的加速。總的來說，這些創新展示了科學機器學習的一個新方向——將現有知識與機器學習方法相結合。由此自然產生了許多好處，包括(1)準確的學習和長期預測(2)數據效率(3)可靠性和(4)可伸縮性。這種混合模型對于開發能夠建模和預測復雜的多保真度、多尺度物理過程的魯棒機器學習方法至關重要。

我們探索機器學習(ML)和因果推理之間的關系。通過相互借鑒，我們專注于改進每一個方面。機器學習已經成功地應用于許多問題，但由于缺乏強有力的理論保證，導致了許多意想不到的失敗。當應用于不同的分布時，在訓練分布上表現良好的模型往往會崩潰;微小的擾動可以“欺騙”訓練好的模型，并極大地改變它的預測;訓練算法中的任意選擇會導致截然不同的模型;等等。另一方面，雖然因果推理方法的發展已經取得了巨大的進步，有很強的理論保證，但現有的方法通常不能應用于實踐，因為它們假設有大量的數據。研究ML和因果推理的交集，我們直接解決了ML中缺乏魯棒性的問題，并提高了因果推理技術的統計效率。

本論文工作背后的動機是改進用于指導決策的預測模型和因果模型的構建方法。自始至終，我們主要關注醫療健康上下文中的決策制定。在ML的因果關系方面，我們使用ML工具和分析技術來開發統計上有效的因果模型，可以指導臨床醫生在兩種治療方法之間選擇。在ML的因果關系方面，我們研究如何使用產生觀測數據的因果機制知識來有效地正則化預測模型，而不引入偏差。在臨床環境中，我們展示了如何使用因果知識來建立穩健和準確的模型來預測傳染性感染的傳播。在非臨床環境中，我們研究了如何使用因果知識來訓練在圖像分類中對分布轉移具有魯棒性的模型。

幾十年來，不斷增長的計算能力一直是許多技術革命背后的推動力，包括最近在人工智能方面的進步。然而，由于集成電路進程規模的放緩，對于系統架構師來說，要繼續滿足當今應用不斷增長的計算需求，他們現在必須采用具有專門加速器的異構系統。

然而，建構這些加速器系統是極其昂貴和耗時的。首先，硬件的開發周期是出了名的長，這使得它很難跟上算法的快速發展。同時，現有的編譯器無法導航由新型加速器架構暴露的棘手映射空間。最后算法的設計通常沒有將硬件效率作為關鍵指標，因此，在設計高效硬件方面提出了額外的挑戰。

本文解決了聯合設計和優化算法、調度和加速硬件設計的重大挑戰。我們的目標是通過三管齊下的方法來推進最先進的技術: 開發從高層抽象自動生成加速器系統的方法和工具，縮短硬件開發周期; 適應機器學習和其他優化技術，以改進加速器的設計和編譯流程; 以及協同設計算法和加速器，以開發更多的優化機會。

本文的目標應用領域是深度學習，它在計算機視覺、神經語言處理等廣泛的任務中取得了前所未有的成功。隨著智能設備的普及，可以預見，深度學習將成為我們日常生活中的主要計算需求。因此，本文旨在通過硬件加速進行端到端系統優化，釋放前沿深度學習算法的普遍采用，改變生活的各個方面。

//www2.eecs.berkeley.edu/Pubs/TechRpts/2021/EECS-2021-202.html