亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

包括大型語言模型（LLMs）和擴散模型在內的大規模模型的快速發展，正在改變人工智能的格局，但其廣泛部署仍受計算效率、內存帶寬和資源利用等關鍵瓶頸的制約。本文系統性地研究了這些挑戰，并提出了多種新方法，在不同的大模型推理任務中優化推理性能，在速度、內存和計算需求之間實現平衡，同時不犧牲輸出質量。 對于 LLMs，一個核心瓶頸是自回歸解碼過程中的內存帶寬限制：順序生成 token 會因模型參數的重復傳輸而帶來大量開銷。為此，我們提出 Medusa 框架，通過增加并行解碼頭并采用基于樹的注意力機制，實現同時預測多個 token，從而減少 2.3–2.8× 的解碼步驟，在保持輸出質量的前提下顯著加速推理。 此外，我們還針對高效部署多個微調模型的問題，提出 BitDelta 方法，將微調模型的權重差（delta）壓縮為 1 位（single bit），在不降低性能的前提下將 GPU 內存占用減少超過 10×，從而支持高效的多租戶部署，實現定制化模型的更快、更經濟的服務。 除了面向硬件的優化，我們還探索了系統級的協同優化，以提升大模型推理的整體效率。ToolMaker 提出了一個閉環框架，由一個強大的 LLM 生成可復用的工具（如 Python 函數），再由更輕量的模型調用這些工具進行問題求解。這種在資源密集的工具創建與成本更低的工具使用之間的分工，有助于降低推理成本并提升模型的可擴展性。 在擴散模型領域，由于分辨率提升會顯著增加計算成本，我們提出 Distrifusion 分布式推理框架，利用擴散步驟間的時間一致性（temporal coherence），復用預計算的特征圖，并通過流水線機制減少通信開銷，從而在多 GPU 環境下實現最高 6.1× 的加速。進一步地，SVDQuant 提出針對擴散模型的 4 比特量化方法，能夠利用現代張量核心（tensor cores）顯著提升計算吞吐量，同時不降低圖像質量。 總體而言，這些工作針對不同模型架構與部署場景的關鍵瓶頸提出了系統性的解決方案，并已在工業界得到廣泛應用。

隨著自主系統日益滲透到關鍵社會領域，確保人工智能（AI）的負責任使用已成為當務之急。然而，“可信AI”這一概念依然廣泛且多維。本論文在AI系統的安全性、公平性、透明性與可問責性方面推進了相關研究。 在安全性方面，我們擴展了經典的確定性屏蔽技術，使其具備對延遲觀測的魯棒性，從而支持在現實世界條件下的實際部署。同時，我們將確定性與概率性安全屏蔽機制應用于仿真自動駕駛車輛，以防止與道路使用者發生碰撞，并在逼真的駕駛模擬環境中驗證了這些技術的有效性。 在公平性方面，我們提出了“公平性屏蔽”（fairness shields）這一新穎的后處理方法，用于在有限或周期性時間范圍內的序貫決策場景中強制實現群體公平。該方法在嚴格滿足公平性約束的前提下，優化干預成本，實現在最小干預下的公平性保障。 針對透明性與可問責性，我們提出了一個評估概率性決策智能體意圖行為的形式化框架，并引入了智能體性指標（agency）與意圖商（intention quotient）等定量度量。我們利用這些指標設計了用于事后分析意圖的方法，有助于在自主系統造成非預期傷害時厘清其責任歸屬。 最后，我們通過“反應式決策”（reactive decision-making）框架將上述貢獻統一起來，提出了一種能夠整合現有方法的通用形式化建模方式。總體而言，本論文所提出的多項進展在實現更安全、公平、可問責的AI系統方面具有現實意義，也為可信AI的后續研究奠定了基礎。

人類在日常生活中通過多種感官與環境互動：視覺用于感知和理解環境，身體意識用于定位，語言用于交流和語義理解，觸覺則用于接觸反饋。同樣地，機器人在面對非結構化的真實世界環境中的操作任務時，也需要具備類似的多感官整合能力。

本論文探討了如何融合多種感知輸入，以提升機器人在現實世界中操縱物體的能力。通過整合視覺（為機器人提供詳細的空間信息）、本體感覺（提供身體位置反饋）、語言（理解并執行指令）以及觸覺（提供精細接觸信息），我開發了安全、高效且具有良好泛化能力的機器人系統。 論文中的研究貢獻涵蓋多個方向，包括：感知-運動控制、運動規劃、模仿學習、機械搜索、富接觸操作任務以及多模態對齊，整體目標是提升機器人在跨模態感知、推理與行動能力，突破單一感知模態的局限。 研究首先從視覺與本體感知的融合出發，以增強機器人在分布偏移條件下的控制魯棒性，并通過基于擴散模型的軌跡生成方法提升規劃效率。接著，提出了一種基于**“下一個 token 預測”機制的上下文模仿學習方法**，使機器人能通過 prompt（提示）快速適應新任務。 隨后，論文將視覺與語言的融合引入到遮擋物體的機械搜索與通用操作任務中。借助大型視覺-語言模型（Vision-Language Models），實現了更強的語義推理能力，從而獲得更有效的操作策略。 進一步地，我研究了觸覺傳感在高精度操作任務（如工業插接與布料處理）中的應用，提出了自監督策略學習與視覺-觸覺預訓練方法，顯著提升了任務成功率。 最后，我構建了一個新的對齊視覺、觸覺與語言的多模態數據集，以支持機器人領域的多模態學習研究。 通過理論分析、仿真實驗與真實機器人實驗，本論文全面展示了多模態感知如何增強機器人操作任務中的泛化能力、適應性與安全性。 //www2.eecs.berkeley.edu/Pubs/TechRpts/2025/EECS-2025-68.html

隨著自動化系統的發展，機器學習正日益融入決策過程，并在諸如簡歷篩選、投資組合配置、貸款風險評估和保險審批等應用中為人類決策者提供支持。在本論文中，我探討了將機器學習與決策過程結合時所面臨的各類挑戰，重點關注數據偏差、魯棒性、公平性、異構數據源以及面向決策的建模等問題。在每一章中，我從不同角度研究這些問題，并提出相應的定制算法加以解決。 論文的第一部分聚焦于面向決策的訓練，即在預測模型訓練過程中將最終決策結果納入優化目標。研究表明，端到端學習問題的最優解對應于能引導至貝葉斯最優行為的預測結果。 第二部分則轉向處理預測系統輸出對人類生活產生實際影響的情形，特別是與公平性相關的問題。關于公平性的第一章研究了集中式環境下的群體公平（Group Fairness），并提出了一種包含無偏梯度估計的公平性正則項。這一方法簡化了收斂速率和泛化誤差界的構建，為在群體公平至關重要的現實應用中提供了一種可擴展的保障手段。 另一個與人類相關的數據問題是，出于隱私考慮，這些數據通常無法集中傳輸至服務器。第二章在此基礎上，將公平學習方法擴展至聯邦學習環境，其中不同客戶端持有數據集的不同部分。基于函數追蹤機制，該章節提出了一種適用于全局層面的群體公平性正則項，可與現有多數聯邦學習算法結合使用，且在計算與通信開銷方面要求較低。 論文的最后一部分再次回到決策問題，提出了一種方法，用于在目標領域中整合來自不同（可能存在偏差的）參考分布的信息以做出決策。該方法通過在各個參考分布周圍構造最優傳輸球（Optimal Transport Balls），并對其交集進行優化，從而使決策者能夠在所有參考分布一致的最壞情況分布下做出魯棒決策。 關鍵詞：機器學習、優化、面向決策的學習、公平學習、分布式魯棒優化

隨著人工智能在醫學實踐中的逐步融合，對數據高效模型的需求變得尤為重要，特別是在醫學領域獲取大量標注數據集的高成本和復雜性背景下。本論文圍繞三個核心主題展開：

1. 利用主動學習解決標簽稀缺問題：主動學習被用來戰略性地選擇最具信息量的數據點進行標注，從而最大化有限標注資源的效用。該研究提出了一種新穎的對抗表示主動學習框架，有效結合了對抗學習和主動學習，提升了在有限標注數據場景下模型的性能。此外，通過一個集中于醫學癥狀識別的應用案例，該研究展示了如何通過主動學習應對遠程醫療環境中長尾、多標簽分布的挑戰。
2. 利用半監督學習和領域適應最大化未標注數據的利用：本論文通過開發方法，推動了半監督學習領域的前沿研究，充分利用醫學環境中大量未標注數據的優勢。所提出的AdaEmbed半監督領域適應模型解決了領域偏移問題，使得在某一臨床環境中訓練的AI模型能夠有效適應新的未標注領域。通過在不同手術室之間遷移手術活動識別模型，本主題進一步探討了領域適應在實現可泛化AI解決方案中的重要性。
3. 通過預訓練基礎模型提升模型的魯棒性和效率：為了克服數據有限的問題并增強模型的魯棒性，本論文探討了在醫療應用中使用預訓練模型和基礎模型。通過開發一種基于視頻的AI系統評估面部癱瘓，展示了如何利用預訓練組件提供準確且標準化的評估。此外，通過對創傷護理文檔的結構化分析，使用大規模語言模型展示了AI如何將非結構化的臨床筆記轉化為有組織、可操作的見解，從而提高創傷護理的效率和效果。

通過代碼數據學習來解決軟件任務的編程工具在提升開發人員生產力方面展現了早期的潛力。然而，這些工具在魯棒性方面以及它們對軟件安全性和可靠性的最終影響上仍然存在顯著差距——這些問題甚至對經驗豐富的開發人員來說仍是挑戰。本論文旨在從安全性和可靠性的角度推動代碼機器學習領域的發展。我們提出了訓練機器學習模型的新技術，以使其具備強大的推理能力，能夠處理與安全性和可靠性相關的問題。 我們首先介紹了利用監督學習信號來增強程序分析的方法。作為這一方法的實例，我們提出使用模仿學習框架，從符號執行中學習一個有效且快速的模糊測試器。首先，符號執行專家為大量程序生成高質量輸入數據集。然后，利用該數據集訓練一個神經網絡模糊測試器，使其模仿專家的行為。訓練好的模糊測試器隨后被部署以測試新程序。

此外，我們研究了分布漂移問題，這是阻礙深度學習模型在現實場景中有效檢測漏洞的關鍵問題。分布漂移發生在訓練和評估所用的數據集與實際遇到的漏洞分布不一致時。為了解決這個問題，我們提出了一種兩階段的訓練方法。首先，模型在大量的合成漏洞上進行訓練，然后進一步在一個更接近實際漏洞分布的數據集上進行訓練。 最后，我們從兩個互補的角度探討了代碼生成中的安全性問題。我們不僅尋求改進生成安全代碼的能力，還研究了從對抗角度降低安全級別的可能性。為實現這些目標，我們提出了一個統一的微調框架，采用專門的優化目標，既優化安全性又保持模型生成功能性正確代碼的能力。

在過去的十年里，經典機器學習與現代機器學習之間的差距不斷擴大。現代學習的預測性能不可比擬地更好，但更容易對經典學習進行分析，并保證其安全性、效率、公平性等特性。在本論文中，我探討了通過審慎和戰略性地結合經典技術，是否有可能將這些期望的特性恢復到現代機器學習中。我將經典與現代學習的結合歸納為兩種高級策略：（1）封裝，即通過經典分析技術從現代的、不透明的模型中提取可靠的性能保證，或（2）替換，即從經典的基礎構建現代模型的某些組件，以提高整體的效率、可處理性和/或表達能力。這些努力在機器學習的多個領域帶來了新的進展。本論文的最重要貢獻涉及元分析，這是一種結構化的問答形式，作為循證醫學的基礎。經典元分析技術基于隨機對照試驗，其因果效度受到信任；相比之下，現代回歸模型是在大型觀察性數據庫上訓練的，其因果效度不被信任。我展示了如何在不犧牲效度的情況下將不可信的數據納入元分析中。這涉及對完全共形預測的基本改進，這些改進具有普遍的意義。在一個更聚焦的醫療保健應用中，我推廣了經典的、手工設計的心率變異性統計，使其能夠通過監督學習進行微調，成為深度神經網絡的一部分，從而生成更準確的、生理學知情的模型。我還提出了一些可以在未來機器學習模型和算法中使用的基礎計算原語。第一個是一種算法，可以在O(log T)的并行時間內（近似）運行T步非線性RNN。該算法的關鍵創新在于通過一種證明一致的局部、可并行修正方案，用深度上的非線性替代時間上的非線性。通過這種方式，經典線性動態系統（也稱為狀態空間模型）可以堆疊起來形成快速的非線性序列模型。另一個新的計算原語是在所有正交多項式序列集合上進行基于梯度的優化。這種優化形式與信號處理和優化中的許多不同問題都有聯系。最后，我提出了基于學習理論和優化中廣泛使用的幾何邊界概念的公平性標準，以規避計算的不可處理性。

隨著機器學習系統逐漸成為我們日常生活的組成部分，尤其是基礎模型的顯著進步，我們必須評估它們的可信性、公平性，并探索改進這些關鍵方面的方法。本論文探討了機器學習模型性能、魯棒性和公平性的測量與提升。此外，我們還研究了這些系統在新應用領域的設計和部署，并將這些指標作為重要目標。

本論文旨在使機器學習在總體上變得更加可信和強大。第一個主題是評估機器學習模型的魯棒性和公平性及其改進策略。我們的方法結合了分布魯棒優化（DRO）和人類難以察覺的對抗攻擊，同時提高了模型的魯棒性和公平性。通過分析機器學習系統的魯棒性和公平性，我們直觀地將機器感知與人類感知更接近。除了魯棒性和公平性之外，我們還研究了梯度流方法，以緩解數據稀缺問題，并在少樣本學習環境中提高分類系統的性能。我們證明了梯度流方法能夠全局收斂，并且在下游遷移學習任務中展示了其生成有用數據樣本的能力。

最后，我們專注于機器學習算法在材料科學領域的創新應用。具體來說，我們設計了機器學習系統來加速分子模擬中罕見事件的采樣。與傳統采樣方法相比，我們的方法在速度上有顯著提高，同時對這些罕見事件的概率估計也更加魯棒。

在整個論文中，我們展示了機器學習在多個方面的改進，包括公平性和魯棒性。我們還展示了它在傳統應用如機械模擬中的強大能力。未來的工作將擴展這些系統，以應對更復雜和更高維度的挑戰。通過不斷的努力，本論文為開發更加可靠和強大的機器學習系統做出了貢獻。。

本論文的核心目標是通過提高深度學習模型的標簽和訓練效率來增強深度學習的實用性。為此，我們研究了基于信息論原理的數據子集選擇技術，特別是主動學習和主動采樣。主動學習提高了標簽效率，而主動采樣提高了訓練效率。監督式深度學習模型通常需要大量的帶標簽數據進行訓練。標簽獲取可能既昂貴又耗時，且訓練大型模型資源密集型，這限制了其在學術研究和“大科技”公司之外的應用。深度學習中現有的數據子集選擇方法通常依賴于啟發式方法或缺乏一個原理化的信息論基礎。相比之下，本論文檢查了數據子集選擇的幾種目標及其在深度學習中的應用，力求采用一種由信息論啟發的更原理化的方法。

我們首先在單次前向傳播的深度神經網絡中區分了認知不確定性和隨機不確定性，這提供了有用的直覺和洞見，關于不同形式的不確定性及其對數據子集選擇的相關性。然后，我們提出并研究了在（貝葉斯）深度學習中進行主動學習和數據子集選擇的各種方法。最后，我們將各種現有和提出的方法與在權重或預測空間中信息量的近似聯系起來。

支撐這項工作的是一個原理化且實用的信息論量符號，包括隨機變量和觀察到的結果。這篇論文展示了從統一視角出發工作的好處，并強調了我們的貢獻對深度學習實際應用潛在影響的可能性。

本博士論文包含了對統計因果模型領域的幾個貢獻。統計因果模型是嵌入因果假設的統計模型，允許對受外部操縱(干預)影響的隨機系統的行為進行推斷和推理。本文在因果效應估計、因果結構學習和分布魯棒(非分布廣義)預測方法等方面進行了深入的研究。我們提出了新的和一致的線性和非線性因果效應估計工具變量設置，采用數據依賴的均方預測誤差正則化。我們提出的估計量顯示，在某些情況下，均方誤差比標準和最先進的估計量都有所改善。我們表明，最近對分布穩健預測方法的研究與計量經濟學中經過充分研究的估計量有關。由此證明了一般k類估計具有分布魯棒性。此外，我們提出了一個關于干預誘發分布的分布穩健性的一般框架。在這個框架中，我們推導了分布魯棒預測方法可識別的充分條件，并給出了一些不可能的結果，證明了這些條件的必要性。提出了一種新的結構學習方法，適用于以有向樹為因果圖的加性噪聲模型。我們證明了消失可辨識性設置中的一致性，并提供了一種方法來檢驗具有漸近家族誤差控制的子結構假設，該方法在選擇后仍然有效。最后，我們提出了學習非線性時間序列模型總結圖的啟發式思想。