亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

盡管神經模型的廣泛應用，訓練后的神經模型依然是一個具有挑戰性的可解釋性課題，神經網絡研究人員采用的許多知識和技能，可能被認為是深奧且晦澀的，旨在理解模型學到了什么，以及模型的內部工作如何改變其學習結果。理解這些模型學到了什么是至關重要的領域，因為越來越多的生產系統依賴神經模型來提供越來越多的高影響力應用。本研究提出了一種可解釋性方法論，基于一種神經模型設計理念，重新定義了這些模型分析單元的范疇，從單個神經元擴展到一組互聯的功能組件，我們稱之為“神經路徑”。這些功能組件是架構、數據和訓練方案的結果，具有跨越結構邊界的能力。這使得通過增強透明度，能夠實現基于功能的、以人為中心的模型理解，從而促進模型與研究人員之間的對話。在本論文的研究過程中，我們在文獻中做出了四個方面的貢獻：首先，我們提供了一種神經模型可解釋性的方法，針對子任務級別進行了嚴格驗證，驗證通過了一系列合成數據集；第二，我們通過提供一個框架，將學習到的功能組件與因果結構對齊，從而擴展了這一方法。這使得神經模型學習的功能與理論因果結構進行比較成為可能，進而快速驗證我們對神經模型如何處理任務的理解；第三，我們擴展了該方法，能夠比較和對齊不同架構或訓練程序下的模型功能組件；最后，我們展示了神經路徑方法在多個教育技術領域的應用能力。包括通過修辭結構分析提供自動化作文反饋、通過傳遞性檢測進行小組形成以及自動化作文評分。最后一個貢獻可以進一步細分為三個方面，按領域和重點分開。首先，神經路徑被用來支撐神經話語解析器，使其能夠更容易地推廣到學生寫作；接下來，我們展示了神經路徑可以作為一種錯誤分析方法，探索在不同領域訓練的模型在檢測傳遞性上的表現差異；最后，我們展示了通過對AI寫作檢測器的微調，追蹤問題路徑變化的能力。由于神經路徑方法的廣泛適用性，我們樂觀地認為該方法能夠對神經模型的設計和開發產生廣泛影響，我們的目標是提供一項具有擴展潛力的基礎性工作，能夠遠遠超出本論文的范圍。

本論文通過創新性貢獻，推動了序列建模技術的發展，架起了狀態空間模型與深度學習之間的橋梁。序列建模技術能夠識別有序數據中的模式和關系，廣泛應用于時間序列預測、語音和音頻信號處理、文本生成、生物序列建模和神經記錄分析等多個領域。盡管深度學習已經改變了序列建模的格局，但當前的架構在計算效率、建模能力和可解釋性之間面臨著基本的權衡。我們通過三項互補的貢獻，解決了這些挑戰。 首先，我們提出了 S5 層，它重新設計了深度狀態空間方法，以支持并行掃描操作。我們通過與先前方法的數學聯系，解釋了其強大的實驗性能。接著，我們將這些洞察擴展到時空建模領域，提出了 ConvS5，將空間結構整合到狀態空間框架中。最后，我們通過雅可比切換線性動力系統（JSLDS）過程，開發了新的分析工具，為將復雜的非線性動力學分解為可解釋的線性成分提供了系統化的方法。 通過在多個領域的廣泛實驗證明，我們展示了這些方法如何在各自領域顯著推進了當前的技術水平。綜合來看，這些貢獻展示了將經典動力系統方法與現代深度學習技術結合，創造出更強大、高效且具可解釋性的序列模型的廣泛潛力。 序列建模——即學習有序數據中的模式和關系——是科學與工程多個領域的基礎任務。其應用范圍從金融時間序列預測[Salinas et al., 2020]、天氣模式分析[Rasp et al., 2020, Pathak et al., 2022]，到語音與音頻信號處理[Oord et al., 2016]、生物序列建模[Jumper et al., 2021]、神經記錄分析[Pandarinath et al., 2018]，以及文本[Brown et al., 2020]和視頻[Ho et al., 2022]生成等。序列建模中的關鍵挑戰在于捕捉短期模式和可能跨越數百、數千或數百萬時間步的長期依賴關系。 深度學習通過用學習到的表示代替手工設計的特征和傳統統計模型，已經改變了序列建模。然而，隨著序列模型在規模和能力上的增長，出現了三個基本挑戰：計算效率、建模精度和模型可解釋性。目前的架構在這些目標之間面臨顯著的權衡。遞歸神經網絡（RNNs）[Rumelhart et al., 1986, Elman, 1990]在推理效率方面表現出色，但在處理長期依賴時表現不佳，并且在訓練過程中天生是順序的。Transformer模型[ Vaswani et al., 2017]在捕捉長期模式方面表現優異，但其計算復雜度與序列長度呈二次增長。此外，隨著這些模型的復雜性增加，并且被部署在關鍵應用中，我們對其決策過程的理解變得愈發重要。 在本論文中，我們認為深度狀態空間方法——將經典動力系統理論中的狀態空間模型（SSMs）與現代深度學習相結合——能夠有效解決上述序列建模中的基本挑戰。通過三項互補的貢獻，我們展示了這種經典與現代方法的結合如何提升計算效率、建模精度和模型可解釋性。 首先，我們提出了S5層[Smith et al., 2023a]，它簡化了深度狀態空間方法，同時擴展了其能力。通過精心重新設計架構以支持并行掃描，S5在保持線性計算擴展性的同時，達到了最先進的性能，即使是在時間變化的系統中也是如此。我們與先前方法建立的數學聯系解釋了其有效性，并為設計提供了有原則的選擇。 基于這些基礎，我們提出了ConvS5[Smith et al., 2023b]，以解決時空建模中的挑戰。該工作展示了如何將S5背后的核心思想擴展到更復雜的領域，通過結合卷積操作處理空間結構，并將狀態空間動態應用于時間建模。ConvS5在有效處理空間依賴性的同時，保持了S5的計算優勢。 我們的第三項貢獻從不同的角度出發，將狀態空間模型作為分析工具，而不是計算構建塊。雅可比切換線性動力系統（JSLDS）[Smith et al., 2021]方法展示了如何通過共同訓練一個切換線性SSM和非線性RNN，提供對RNN計算機制的可解釋性見解。這項工作展示了經典動力系統概念如何幫助彌合深度學習的經驗成功與理論理解之間的差距。 這些貢獻統一在幾個共同主題下：

SSM與深度學習方法的創新整合：每種方法都展示了將經典動力系統與現代深度學習相結合的創新方式，無論是作為計算組件（S5、ConvS5）還是分析工具（JSLDS）。 * 增強的能力：前兩種方法在保持高效并行計算的同時，達到了最先進的性能，而JSLDS為理解RNN動態提供了新的分析能力，同時提升了共同訓練的切換SSM的能力。 * 廣泛的適用性：這些方法在包括語言、語音、視頻和神經數據等多個領域取得了成功，突顯了我們方法的普遍性。

本論文的其余部分組織如下：第二章提供了序列建模、狀態空間模型及相關架構的必要背景。第三章介紹了S5層及其在序列建模中的應用，基于我們在Smith et al. [2023a]中的工作。第四章介紹了ConvS5，并展示了其在時空建模中的有效性，基于我們在Smith et al. [2023b]中的工作。第五章發展了JSLDS框架及其應用，基于我們在Smith et al. [2021]中的工作。最后，第六章探討了本研究的廣泛影響，并概述了未來研究的有希望方向。

在機器學習領域，我們致力于開發能夠學習的算法，即在沒有被特別編程完成某項任務的情況下，積累關于如何完成任務的知識。在這篇論文中，我們從兩個不同的角度來探討學習：我們可以應用高效機器學習者的領域以及我們可以通過更有效地解決底層優化問題來改進學習的方式。機器學習方法通常非常依賴數據。雖然現代機器學習在解決實際問題方面取得了巨大成功，但這些成功案例主要局限于有大量相關領域數據可用的設置。元學習領域旨在通過創建“學會如何學習”的模型（即能夠在給出相對較少的示例時迅速適應新任務的模型）來開發具有改進的樣本效率的模型。在本論文中，我們關注使用超網絡進行任務適應的攤銷元學習者，這些學習者成本非常有效，只需通過超網絡進行一次前向傳播即可學會如何執行新任務。我們展示了這些攤銷元學習者可以以超出其在小樣本學習設置中的典型用途的新方式來利用。

我們針對攤銷元學習者開發了一種基于集合的中毒攻擊，這種攻擊讓我們能夠定制一組協同作用的輸入，用作適應新任務的訓練數據（即作為支持集）時，這些輸入能夠欺騙系統的學習算法。這樣共同制作的對抗性輸入可以協同操縱分類器，對于具有可微適應機制的攤銷學習者來說，這種輸入尤其容易計算。我們還在可解釋性領域利用攤銷學習者進行“數據集調試”，在此過程中，我們開發了一種稱為Meta-LOO的數據價值或樣本重要性策略，可用于檢測噪聲或分布外數據；或者將一組示例提煉到其最有用的元素。

從我們的第二個角度看，機器學習和優化是密切相關的；實際上，學習可以被表述為以模型參數為目標的訓練損失最小化問題——盡管實際上我們還需要我們的算法具有泛化能力，這不是更廣泛優化的關注點。選擇的優化策略影響了算法學習的速度以及找到的解決方案（即模型參數）的質量。通過研究優化，我們可以改善我們的模型的學習效果和速度。

在這篇論文中，我們采取了雙管齊下的方法來實現這一目標。首先，我們開發了一種在線超梯度基礎的超參數優化策略，通過支持廣泛的超參數同時保持可擴展性，改進了現有的最佳技術。值得注意的是，我們的方法支持優化算法的超參數，如學習率和動量，這是文獻中類似方法不支持的。其次，我們開發了一種適用于深度學習的非凸損失景觀的二階優化策略。我們的算法近似了一個鞍點是排斥而非吸引的鞍點自由版本的Hessian，以一種適用于深度學習問題的方式。

在機器越來越多地融入我們日常生活的時代，它們感知和理解三維世界的能力變得極為重要。這一能力的核心是場景表示，它將感官數據轉換成緊湊、詳細且整體的環境描述。雖然深度學習，特別是卷積神經網絡（CNNs），已經革新了計算機視覺的許多方面，但其主要關注點仍然是2D信息。本論文深入探討了將這些技術轉向3D環境的挑戰與潛能，旨在彌合機器感知與類人空間理解之間的鴻溝。

我們的主要目標是開創針對準確的三維重建和全面的三維場景理解而定制的神經場景表示的發展。我們首先介紹了一種為基于深度學習的三維重建量身定制的可擴展場景表示。這種表示能夠以連續、不受分辨率限制的方式捕捉3D形狀，有效地解決了傳統顯式基方法的限制。接下來，通過引入一個可微的點到網格層，我們提出了一種輕量級表示，確保了高質量重建與快速推理，滿足了現實世界應用中對速度的需求。此外，我們還探索了采用層次化神經隱式表示的密集視覺同時定位與地圖構建（SLAM）系統，這種方法能夠在大規模室內場景中實現詳細重建，推動了當前SLAM系統的邊界。最后，我們的研究以開發用于廣泛三維場景理解任務的統一場景表示為高潮，繞過了對昂貴的3D標注數據的需求。

總之，本論文提出了一系列在神經場景表示方面的進展，提供了不僅增強了三維重建能力而且提升了三維場景理解水平的解決方案，使我們更接近于實現與人類認知相鏡像的機器感知。

隨著科學技術的快速發展，機器已無縫地融入我們的日常生活中。現在，我們發現自己與能夠駕駛汽車、組織我們的家庭乃至協助進行醫療手術的機器一同生活。這些進步的核心在于機器對周圍環境的感知和理解能力。 為了有效地感知三維世界，機器需要從感官數據中建模周圍環境。特別是，準確地表示和重建細致的幾何形態以匹配其現實生活中的對應物，對于增強現實/虛擬現實、自動駕駛、機器人技術等應用至關重要。然而，從頭開始創建細致的幾何形態是一項勞動密集型任務，需要專門的專業知識。盡管出現了先進的軟件和用戶友好型建模工具，但像可擴展性和速度這樣的挑戰阻礙了它們的大規模部署。如何快速準確地為大場景構建幾何細節是本論文的主要關注點。

一旦三維環境被準確構建，同樣重要的是理解重建對象的語義、可供性、功能和物理屬性。這種全面理解對于機器在日常場景中與人類智能互動至關重要。然而，傳統方法往往針對特定任務量身定做，例如對有限類別集進行的3D語義分割，留下其他任務未被解決。實現對3D場景的廣泛理解是本論文的另一個目標。

場景表示，即將環境的觀察（無論是視覺的、觸覺的、聽覺的還是其他的）轉換為環境的簡潔模型，對于旨在準確重建逼真場景并全面理解我們世界的機器自然至關重要。近期在深度學習方面的進展，特別是卷積神經網絡（CNNs）的出現，提供了一種推導出健壯且強大的場景表示的有希望的方式，這里稱為神經場景表示。 CNNs已經革命性地改變了許多計算機視覺任務，特別是在圖像分類和深度估計等領域，展示了深度學習處理視覺信息的潛力。然而，它們的絕大多數能力都集中在處理2D信息上。將這些以2D為重點的技術轉移到3D環境中帶來了獨特的挑戰。為了有效地建模和理解復雜的世界，對機器來說，學習3D場景表示至關重要，這能使機器獲得類似于人類感知世界的更深層次的空間理解。

本論文的目標是開創神經場景表示的發展，專門為準確重建和全面理解3D世界量身定做。我們的路線圖標記著清晰的里程碑，它們都緊密相連。首先，我們想開發一種可擴展的場景表示，能夠忠實地重建詳細的3D幾何形態，從對象到大規模場景都能覆蓋。接下來，通過整合一種新穎的可微分點到網格層，我們可以僅使用輕量級點云來表示詳細形狀，并加速3D重建過程。第三，我們還研究了一種層次化神經場景表示，特別是為大型室內場景中的密集RGB-D SLAM應用賦能。一旦獲得場景的3D重建，論文的最后一部分是為眾多3D場景理解任務產生3D神經場景表示，僅利用2D預訓練模型，從而繞過了任何昂貴的3D標注數據的需求。 總體而言，本論文探討了各種神經場景表示，以高效地產生詳細的3D場景重建，并隨后將3D場景理解的邊界推向另一個水平。在下一節中，我們將深入討論實際問題和挑戰。

隨著社會技術化程度的不斷提升，我們使用機器執行越來越復雜的任務，這些任務范圍從駕駛輔助、視頻會議到探索行星。場景表示，即如何將感官數據轉換為環境的緊湊描述，是使這些系統成功并確保安全的基本屬性。一個有前景的方法是開發基于學習的系統，這些系統能夠根據觀察自我調整。

事實上，近年來深度學習已經徹底改變了計算機視覺領域。特別是更好的模型架構、大量的訓練數據以及更強大的計算設備使得深度學習系統具有前所未有的性能，并且它們現在在許多基準測試中設定了最新技術水平，這些測試范圍從圖像分類、物體檢測到語義分割。盡管這些成功，這些系統的運作方式仍然與人類認知有本質上的不同。特別是，大多數方法在2D領域操作，而人類理解圖像是三維世界的投影。此外，它們通常不遵循場景的組合理解，這對人類推理來說是基本的。在這篇論文中，我們的目標是開發場景表示，使自主代理能夠在復雜環境中穩定、安全地導航和行動，同時在3D中進行組合推理。為此，我們首先提出了一種用于基于深度學習的三維重建和生成建模的新型輸出表示。

我們發現，與以前的表示方法相比，我們基于神經場的方法不需要對3D空間進行離散化，就可以以恒定的內存占用實現任意分辨率的重建。接下來，我們開發了一種可微渲染技術，用于從2D觀察中推斷出這些基于神經場的3D形狀和紋理表示，并發現這使我們能夠擴展到更復雜、現實世界的場景。隨后，我們將我們的新型3D形狀表示與空間和時間上連續的矢量場相結合，以模擬運動中的非剛性形狀。我們觀察到，我們的新型4D表示可用于各種判別和生成任務，范圍從4D重建到4D插值，再到運動轉移。最后，我們開發了一種以對象為中心的生成模型，該模型可以以組合方式生成3D場景，并且允許對生成的場景進行逼真的渲染。我們發現，我們的模型不僅提高了圖像保真度，而且相比之前的工作，在僅從原始、未擺放的圖像集合中訓練的情況下，實現了更可控的場景生成和圖像合成。

人工智能，尤其是機器學習的子領域，已經看到了向數據驅動的模型的范式轉變，這些模型從數據中學習并適應。這在自然語言處理和計算機視覺等多個領域都帶來了前所未有的進步，很大程度上歸因于深度學習，一種特殊的機器學習模型。深度學習通過一系列的計算層從原始數據中學習相關特征，從而在某種程度上超越了傳統方法。

本論文通過研究這些模型的結構與它們處理的數據中的固有結構之間的關系，探討了深度學習的理論基礎。我們特別提問：是什么驅動了深度學習算法的效能，并使它們擊敗了所謂的維度詛咒——即由于數據點與增加的維數呈指數級增加的需要而在高維中通常學習函數的困難？是它們利用數據結構來學習數據的相關表示的能力嗎？不同的結構是如何利用不同的數據結構的？為了解答這些問題，我們提出數據的結構可以通過其不變性——即與手頭的任務無關的方面來有效地表征。

我們的方法對深度學習采取了一種實證方法，將實驗研究與物理啟發的玩具模型相結合。這些簡化的模型使我們能夠研究和解釋我們在深度學習系統中觀察到的復雜行為，提供對它們內部工作的洞察，目標是彌合理論與實踐之間的差距。具體地說，我們計算淺層全連接網絡的嚴格泛化誤差率，表明它們通過學習線性不變性（即對輸入空間中無關的線性方向變得不敏感）能夠表現良好。但是，我們表明這些網絡結構在學習非線性不變性（如旋轉不變性或輸入的平滑變形的不變性）時可能表現不佳。這一結果說明，如果所選擇的架構不適合某個任務，它可能會過度擬合，使得表示不被學習的核方法可能成為更好的選擇。

然而，現代的架構，如卷積神經網絡，特別適合學習真實數據中存在的非線性不變性。例如，在圖像分類中，物體或特征的確切位置可能對于識別它并不重要。這一屬性導致了對小的變形的不變性。我們的研究結果表明，對變形更為不變的神經網絡往往性能更高，突顯了利用這種不變性的重要性。

在過去的十年中，機器學習在許多具有挑戰性的基準上取得了驚人的成功。然而，我們的機器學習模型是否準備好離開這個實驗室環境，并安全地部署在高風險的現實世界應用程序中?本文通過開發和應用新的框架，使現代機器學習系統更魯棒，從而采取措施使這一愿景成為現實。特別是，我們在這類系統的兩種主要脆弱性模式:對抗性示例和后門數據中毒攻擊方面取得了進展。具體來說，在本文的第一部分中，構建了一種對抗樣本的防御方法，這是第一個在自適應對手面前提供非平凡的對抗魯棒性的方法。在第二部分中，開發了一個后門數據投毒攻擊框架，并展示了在自然假設下，我們的理論結果如何激勵算法標記和刪除經驗上成功的潛在投毒示例。最后，簡要探索了初步證據，表明該框架也可以應用于其他數據模態，如表格數據，以及其他機器學習模型，如決策樹的集成。近年來，機器學習，特別是深度學習，在具有挑戰性的人工智能基準上取得了巨大的進步，從計算機視覺[KSH12]到玩游戲[SHS+18]，從自然語言處理[BMR+20]到機器人[ABC+20]，再到自動駕駛汽車，都取得了令人印象深刻的結果。這些成功給我們帶來了希望，在未來，普適的ML系統將乏味的體力和腦力任務自動化，甚至增強和改善我們的健康、智能和社會。然而，這些令人印象深刻的研究成果和演示是否準備在一個混亂、異構、有時是對抗的世界中轉化為同樣令人印象深刻和有影響力的應用?雖然我們最先進的機器學習模型普遍在各個領域和模態中取得了偉大的結果，但它們在訓練數據中同樣普遍地易受變化的影響——無論是良性的還是對抗的。這篇論文是關于開發原則性的方法來防御特定類型的這種脆弱性。在以下部分中，我們給出了論文的路線圖和我們的主要貢獻。

強化學習(RL)為數據驅動決策提供了一個通用框架。然而，正是這種通用性使得這種方法適用于廣泛的問題，也導致了眾所周知的效率低下。在這篇論文中，我們考慮了有趣的決策類所共有的不同屬性，這些屬性可以用來設計計算效率和數據效率都很高的學習算法。具體來說，這項工作研究了決策問題的各個方面的低秩結構和經典確定性規劃的效果稀疏性，以及基于端到端模型的方法所依賴的性能。我們首先展示了后繼表示中的低秩結構如何使高效在線學習算法的設計成為可能。類似地，我們展示了如何在Bellman算子中找到相同的結構，我們使用Bellman算子來制定最小二乘時間差分學習算法的有效變體。我們進一步探索狀態特征中的低秩結構，以學習完全允許在低維空間中進行高效規劃的有效轉換模型。然后，我們進一步了解基于模型的端到端方法，以便更好地理解它們的屬性。我們通過約束優化和隱式微分的視角來研究這類方法。通過隱式視角，我們得到了這些方法的屬性，這些屬性使我們能夠確定它們執行良好的條件。在本文的最后，探索了如何利用經典規劃問題的效果的稀疏性來定義一般的領域無關啟發式方法，通過使用基于潛在的獎勵塑造和提升函數近似，可以用來大大加快領域相關啟發式方法的學習。

//dspace.mit.edu/handle/1721.1/144562

深度神經網絡在學習給定數據集上的表示方面取得了巨大的成功。然而，在許多情況下，學習到的表示是依賴于數據集的，不能轉移到具有不同分布的數據集，即使是對于相同的任務。如何處理域漂移是提高模型泛化能力的關鍵。域適應提供了一個潛在的解決方案，允許我們將具有豐富標簽的源域轉移到只有有限標簽或沒有標簽的目標域。

在本論文中，我將介紹在不同場景下學習可遷移表示的許多方法，包括1) 當源域只有有限的標簽，甚至每個類只有一個標簽時，2) 當有多個標記源域時，3) 當有多個未標記的目標域時。這些方法在不同的數據模態(如視覺和語言)中是通用的，并且可以很容易地組合起來解決其他類似的領域轉移設置(如從具有有限標簽的多個源適應)，使模型能夠泛化到源域之外。許多工作將知識從模擬數據轉移到真實數據，以減少對昂貴的手動注釋的需求。最后，介紹了我們在構建LiDAR 點云模擬器方面的開創性工作，進一步實現了LiDAR 點云分割的大量領域適配工作。

//www2.eecs.berkeley.edu/Pubs/TechRpts/2022/EECS-2022-213.html

可解釋人工智能(xAI)是近年來出現的一個有趣的問題。許多研究人員正試圖從不同的角度和有趣的結果來處理這個問題。然而，我們在理解這些類型的模型方面仍處于起步階段。在未來的幾年里，深度學習模型的開放性將被討論。在經典的人工智能方法中，我們經常遇到深度學習方法。這些深度學習方法可以根據數據集大小、數據集質量、用于特征提取的方法、用于深度學習模型的超參數集、激活函數和優化算法得出高效的結果。然而，目前的深度學習模型還存在一些重要的不足。這些基于人工神經網絡的模型是黑盒模型，它概括傳輸給它的數據并從數據中學習。因此，輸入和輸出之間的關系是不可觀察的。這是人工神經網絡和深度學習模型的一個重要開放點。由于這些原因，有必要認真研究黑盒模型的可解釋性和可解釋性。