亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

隨著基礎模型（包括大規模視覺語言模型）的最新進展，許多研究者探討了將多模態數據作為視覺問答輸入的結合方法。在醫療領域，視覺問答的一個關鍵應用是自動化醫學報告生成，其中可能提供胸部X光圖像和患者基于文本的癥狀數據，目的是生成相關的醫學報告。然而，很少有研究分析這些模型與單模態微調的大型語言模型（LLM）的性能差異，更少有研究比較這些多模態模型在提供癥狀信息作為輸入時的表現。此外，過去的研究通常使用簡單的評估指標，如n-gram重疊（例如BLEU和ROUGE分數），這些指標對于能夠生成不同句子但具有相同語義意義的生成式基礎模型并不有效。 本文的主要貢獻有兩個。首先，我們比較了多種醫學報告生成方法在胸部X光醫學報告數據集上的表現，包括單模態微調的醫學LLM、沒有癥狀數據的多模態模型和包含癥狀數據的多模態模型。其次，我們引入了四種新的評估指標，用于評估生成醫學報告與參考醫學報告之間的相似性，分別為：單詞對、句子平均、句子對和句子對（生物）。我們的結果表明，針對醫學報告生成的多模態方法遠優于單模態方法，且提供癥狀數據略微提高了生成報告的準確性。我們還發現，我們新提出的句子對評估指標比所有之前的指標更能準確衡量生成報告與參考報告之間的相似性，這一點通過全面的定量和定性案例研究對比得到了證實。 這項研究從根本上推動了醫學報告生成的前沿，進一步增強了使用多模態模型和癥狀輸入的準確性優勢，并引入了幾種更為全面、定制化的評估生成醫學報告的評分指標。

在過去十年的繁榮發展之后，視頻理解的研究已到達一個關鍵的節點，單純依賴海量數據和復雜的架構已不再是適用于所有情況的萬能解決方案。數據不平衡的普遍存在阻礙了深度神經網絡（DNNs）有效學習潛在的因果機制，導致在遇到分布變化時（如長尾不平衡和擾動不平衡）性能顯著下降。這一現象促使研究者開始探索替代方法，以捕捉視頻數據中的因果模式。為了應對這些挑戰并提高DNNs的魯棒性，因果建模作為一種原則被提出，旨在發現觀察到的相關性背后的真實因果模式。

本文主要研究視頻語義理解領域，探索因果建模在推進兩個基礎任務中的潛力：視頻關系檢測（Video Relation Detection, VidVRD）和視頻問答（Video Question Answering, VideoQA）。

總結來說，本論文的主要貢獻如下：

• 我們提出了一種干預性視頻關系檢測方法，稱為IVRD，旨在解決VidVRD中關系的長尾不平衡問題。盡管尾部關系具有信息性，但由于其在數據集中稀少，難以預測。我們特別提出了一套分層的關系原型，這迫使關系推理模塊關注實體之間動態交互的視覺內容，而非依賴于對象與關系標簽之間的偽相關性。通過引入因果推理，IVRD為改善長尾不平衡情況下的視頻理解提供了一個有前景的方向，使模型能夠更好地泛化到現實世界場景中，特別是在稀有或不常見的關系在場景理解中扮演關鍵角色時。
• 我們引入了一種視頻問答中的不變性定位方法，稱為IGV，這是一種與模型無關的學習框架，旨在解決由答案-環境之間的偽相關性帶來的負面影響。IGV通過定位問題關鍵的（因果）場景，發現因果推理模式。具體而言，IGV利用了因果場景與答案之間的關系在環境變化時仍保持不變這一事實，并且去除因果場景應導致問題回答失敗。通過定位這些關鍵場景，IGV使VideoQA模型能夠專注于準確推理所需的視覺內容，同時避免環境負面的影響，從而顯著提升了模型的推理能力。
• 我們提出了視頻問答中的等變性定位方法EIGV，進一步增強了魯棒性和視覺可解釋性。基于IGV，EIGV還引入了等變性，促使回答過程對因果場景和問題中的語義變化更為敏感。相較之下，不變性定位要求回答過程對環境場景的變化不敏感。這兩種正則化機制協同工作，區分因果場景與環境場景，并通過呈現視覺-語言對齊提供更多的透明性。通過結合不變性和等變性定位的優勢，EIGV創建了一個更加魯棒且可解釋的VideoQA框架。
• 我們發現了視頻問答中的時空推理，解決了長視頻和多對象樣本（即復雜視頻問答）上的低準確性問題。現有的VideoQA實踐（包括預訓練模型如SeVila [162]）大多是在短視頻片段（約15秒）和少數實體（約2個）上進行訓練的，因此在復雜視頻（超過80秒且包含5個以上對象）上表現較差。原因在于長視頻不可避免地引入大量冗余和偽相關性，因為許多與問題無關的環境對象存在。為應對這一挑戰，我們首先強調建模問題關鍵的時間片段和空間對象的重要性，接著提出了時空推理（Spatio-Temporal Rationalization, STR）方法，通過可微選擇模塊自適應地收集問題關鍵的時間片段和對象，并通過跨模態交互進行推理。結合更合理的候選答案解碼策略，STR有效識別出與問題無關的幀和對象作為因果模式，尤其在復雜場景下顯著改善了預測性能。

本文的一個局限性在于對所識別因果場景的評估。在整個研究過程中，我們依賴于問題回答（QA）總體性能作為所發現因果場景質量的間接指標，基于這樣一個推理：更準確地定位因果場景可能會提供更豐富的問題-關系視覺線索，從而提升QA性能。然而，值得注意的是，基于因果場景的直接量化指標將提供更具說服力的見解。遺憾的是，由于缺乏人類級別的定位標注，當前工作中未能實現這種度量。因此，未來的研究將著力建立一個專門針對因果場景的評估基準，涉及對回答過程所依賴的視覺元素進行人類標注。這一舉措將有助于更全面和嚴格地評估因果場景的發現。

總之，本文的貢獻拓展了因果建模在視頻語義理解中的前沿應用，賦能AI系統掌握因果模式，并在應對視頻理解挑戰任務中提升性能。

理解圖像內容是許多應用的重要組成部分，例如自動駕駛、增強現實、機器人、醫學影像和遙感。隨著深度神經網絡的突破，語義圖像理解在過去幾年中取得了顯著進展。然而，神經網絡需要大量標注數據才能進行適當訓練。由于大規模真實世界數據集的標注成本高昂，網絡可以在具有現成或較低成本標注的數據集（如自動標注的合成數據）上進行訓練。然而，神經網絡通常對領域偏移（domain shifts）敏感，因此在與訓練數據不同的領域中表現較差。因此，無監督領域適應（UDA）和領域泛化（DG）方法的目標是使在源域（例如合成數據）上訓練的模型在未標注或甚至未見過的目標域（例如真實世界數據）上表現良好。

大多數UDA/DG研究專注于設計適應和泛化技術以克服領域偏移的問題。然而，學習框架中其他方面對領域魯棒性的影響大多被忽視。因此，我們從更全面的角度研究領域魯棒性，探討不同學習框架方面對UDA和DG的影響，包括網絡架構、通用訓練方案、圖像分辨率、裁剪大小和上下文信息。特別是，我們解決了現有DG和UDA方法中的以下問題：(1) 我們研究了最新架構對領域魯棒語義/全景分割的影響，并設計了一種專為領域泛化和領域適應分割量身定制的網絡架構，而不是依賴過時的分割架構來評估DG/UDA策略。(2) 為了避免對源域的過擬合，我們提出了保持先驗知識的通用訓練策略。(3) 為了在DG/UDA增加的GPU內存消耗下實現精細的分割細節，我們提出了一個領域魯棒且內存高效的多分辨率訓練框架。(4) 為了解決目標域的局部外觀歧義，我們提出了一種增強空間上下文關系學習的方法。以下段落詳細介紹了這些貢獻。

由于之前的UDA和DG語義分割方法大多基于過時的DeepLabV2網絡和ResNet骨干網絡，我們對較新的架構進行了基準測試，揭示了Transformer的潛力，并設計了DAFormer網絡架構，專為UDA和DG量身定制。它由分層Transformer編碼器和多級上下文感知特征融合解碼器組成。DAFormer網絡通過三種簡單但至關重要的訓練策略來穩定訓練并避免對源域的過擬合：在源域上進行稀有類采樣，通過緩解自訓練對常見類別的確認偏差，改善偽標簽的質量；Thing-Class ImageNet特征距離和學習率預熱有助于從ImageNet預訓練中轉移特征。通過這些技術，DAFormer在UDA和DG中實現了顯著的性能提升，甚至能夠學習像火車、公交車和卡車等難以分類的類別。

此外，我們研究了全景分割的主要架構設計及其UDA能力。我們表明，之前的全景UDA方法在設計上做出了次優選擇。基于這些發現，我們提出了EDAPS，一種特別為領域適應全景分割設計的網絡架構。它使用一個共享的領域魯棒Transformer編碼器，以促進語義和實例特征的聯合適應，同時針對領域適應語義分割和實例分割的具體需求設計了任務特定解碼器。

雖然DAFormer和EDAPS能夠更好地區分不同的類別，但我們觀察到它們缺乏精細的分割細節。我們將其歸因于使用了下采樣的圖像，導致了低分辨率的預測。然而，直接使用全分辨率圖像在UDA/DG中由于其較高的GPU內存消耗而不可行。使用高分辨率圖像的隨機裁剪進行訓練雖然緩解了這一問題，但在捕捉長程、領域魯棒的上下文信息方面表現不足。因此，我們提出了HRDA，一種用于UDA和DG的多分辨率訓練方法，結合了小型高分辨率裁剪以保留精細分割細節和大型低分辨率裁剪以捕捉長程上下文依賴關系，同時保持可管理的GPU內存占用。HRDA能夠適應小物體并保留精細分割細節，顯著提高了之前UDA和DG方法的性能。

即使有了DAFormer和HRDA改進的區分能力和高分辨率性能，UDA方法在目標域中具有類似視覺外觀的類別上仍然表現掙扎，因為沒有可用的真實標簽來學習細微的外觀差異。為了解決這個問題，我們提出了一個掩碼圖像一致性（MIC）模塊，通過學習目標域的空間上下文關系作為穩健視覺識別的額外線索，來增強UDA。MIC通過對隨機遮蔽的目標圖像的預測與基于完整圖像生成的偽標簽之間的一致性進行約束。為了最小化一致性損失，網絡必須學會從上下文中推斷被遮蔽區域的預測。由于其簡單且通用的概念，MIC可以集成到各種UDA方法中，涵蓋不同的視覺識別任務，如圖像分類、語義分割和目標檢測。MIC顯著提高了不同識別任務和領域差距的最新性能。

總體而言，本論文揭示了在領域魯棒的視覺場景理解中，從網絡架構和通用訓練策略等學習框架的不同方面進行全面考量的重要性。所提出的方法大幅提升了從合成到真實、白天到夜晚、晴朗到惡劣天氣等多個感知任務的領域適應性能。例如，在GTA→Cityscapes的語義分割中，它們實現了+18.4 mIoU的總體提升。超越領域適應，DAFormer和HRDA甚至在更具挑戰性的領域泛化設置中也表現出色，在從GTA泛化到5個未見的真實世界數據集時，性能提升了+12.0 mIoU。實現已開源并可在//github.com/lhoyer上獲取。

大型基礎模型在實現人工智能領域的最新突破中發揮了核心作用。通過同時將數據集和模型規模擴展到前所未有的水平，這些基礎模型在蛋白質結構預測、圖像/視頻生成、代碼生成、聊天機器人等許多領域表現出色。然而，它們的計算和內存成本也急劇增長，使得這些基礎模型在實際應用中的部署變得困難，尤其是在資源受限的邊緣設備上。此外，巨大的訓練成本也顯著阻礙了新基礎模型的發展，并引發了對巨大能源消耗和二氧化碳排放的擔憂。為了解決這些問題，構建有效的模型加速技術對于縮小計算供需之間的差距至關重要。 本論文將涵蓋模型加速的三個重要方面。首先，我們將討論高效表示學習，包括用于高分辨率視覺的EfficientViT（一種新的視覺Transformer架構）和用于條件圖像生成的條件感知神經網絡（一個新的控制模塊）。其次，我們將介紹硬件感知的加速技術，以創建針對不同硬件平臺和效率限制的專用神經網絡。第三，我們將介紹TinyTL，這是一種內存高效的遷移學習技術，用于實現設備上的模型定制。通過我們的設計，我們可以顯著提高深度神經網絡在硬件上的效率，而不損失準確性，使它們更易于訪問并降低其服務成本。例如，我們的模型在A100 GPU上實現了48.9倍的吞吐量提升，同時在零樣本實例分割性能上略微優于最新的模型。在條件圖像生成方面，我們的方法實現了52倍的計算成本降低，而性能沒有下降。

大型基礎模型在許多人工智能領域（包括自然語言處理[1], [2]、計算機視覺[3]–[5]、科學領域的AI應用[6]等）引發了革命性的變化。通過擴大模型規模并在網絡規模的數據集上訓練，這些基礎模型展示了驚人的少樣本/零樣本學習能力，能夠解決復雜的任務。這些卓越的表現引發了在實際應用中使用這些基礎模型的熱潮，將人工智能引入了我們的工作和日常生活。 然而，由于模型規模和計算成本的增加，這些基礎模型的訓練和推理成本非常高昂。例如，GPT-3[7]模型擁有1750億個參數，僅存儲它就已經超出了目前最強大的GPU（如NVIDIA H100 GPU）的容量。這對在云平臺上提供這些模型服務或在邊緣設備上部署它們提出了巨大挑戰。此外，高昂的訓練成本還導致了巨大的能源消耗和二氧化碳排放，引發了對這些AI基礎模型的可持續性問題的擔憂。 在本論文中，我們旨在研究模型加速技術，以提高深度神經網絡的效率，從而應對這一挑戰。我們的方法從三個方面加速深度神經網絡。首先，我們將討論高效的表示學習，旨在構建高效的構建模塊/神經網絡架構，從原始數據中提取有用信息。其次，我們將討論硬件感知的加速方法，旨在為不同的硬件平臺和效率約束定制專用的神經網絡，以獲得精度和硬件效率之間的最佳平衡。第三，我們將討論高效的模型定制，允許內存高效的設備端學習，以提供定制化的AI服務而不犧牲隱私。我們總結了本論文的主要內容如下：

**1.1 論文大綱

• 第2章 描述了高效表示學習的技術。內容基于[8]和[9]。首先，Transformer架構是當前大型基礎模型的核心組件。然而，Transformer架構在處理長序列時表現不佳，因為其計算成本隨著輸入序列長度的增加而呈二次增長。我們提出了EfficientViT，這是一種用于高分辨率視覺的新型視覺Transformer架構。它通過僅使用硬件高效的操作，達到了全局感受野和強大的容量。EfficientViT在不同的硬件平臺上提供了顯著的性能提升。其次，添加控制是將圖像/視頻生成模型轉化為人類生產工具的關鍵步驟。我們提出了條件感知神經網絡（CAN），這是一種為圖像生成模型添加控制的新方法。與以往的條件控制方法并行，CAN通過動態操控神經網絡的權重來控制圖像生成過程。CAN在擴散Transformer模型中持續帶來顯著改進。

• 第3章 介紹了硬件感知的AutoML技術，以有效地為不同的硬件平臺和效率約束定制專用的深度神經網絡。內容基于[10]和[11]。不同的硬件平臺具有不同的屬性（例如并行度、緩存大小、帶寬等）。針對不同的目標硬件平臺和不同的效率約束，我們需要定制化的神經網絡以實現性能與效率之間的最佳平衡。然而，手動為每個案例定制神經網絡是不可擴展的。因此，我們提出了硬件感知的AutoML技術來應對這一挑戰。我們的方法在不同的硬件平臺上提供了顯著的加速，包括手機、CPU、GPU、FPGA等。此外，我們的方法在多個低功耗計算機視覺挑戰賽中獲得了第一名。

• 第4章 介紹了TinyTL[12]，一種用于內存高效的設備端學習技術。TinyTL凍結了權重，只學習內存高效的偏置模塊，因此不需要存儲中間激活。為了保持適應能力，我們引入了一種新的內存高效偏置模塊，即輕量殘差模塊，通過學習小的殘差特征圖來優化特征提取器，僅增加了3.8%的內存開銷。廣泛的實驗表明，TinyTL在與微調整個網絡相比僅有微小的準確性損失的情況下，顯著節省了內存。

優化和機器學習是當今決策領域的兩個主要領域。近年來，數據的日益豐富促進了這兩個領域交叉點的進展，從而催生了更好的決策支持工具。優化通過改進傳統機器學習模型的訓練方法顯著提升了這些模型的性能，而機器學習則通過準確的預測能力改進了許多優化算法，從而實現了更優的決策。

然而，將優化理論與現代機器學習方法（如神經網絡和核函數）相結合面臨兩大主要挑戰。首先，這些模型不滿足優化理論中的基本凸性假設。其次，這些模型主要用于具有大量參數和高維數據的任務，因此需要高度高效且可擴展的算法。這種對效率的關注限制了對離散變量和優化中典型的一般約束的考慮。本論文介紹了應對這些挑戰的新算法。

本文分為四章，涵蓋嚴格的理論、計算工具和多樣化的應用。在第一章中，我們將穩健優化的最新工具擴展到非凸和非凹的環境中，從而使得生成對輸入擾動具有魯棒性的神經網絡成為可能。在第二章中，我們開發了一個整體的深度學習框架，通過適當修改損失函數，共同優化神經網絡的魯棒性、穩定性和稀疏性。在第三章中，我們介紹了TabText，這是一種靈活的方法論，它利用大語言模型的力量從表格數據中預測患者流動。最后，在第四章中，我們提出了一種基于數據驅動的方法，通過稀疏化核方法解決多階段隨機優化問題。

優化算法是機器學習和統計推斷的基石。隨著大規模數據集的出現，計算挑戰日益增加，迫使人們追求更高效的算法。現代優化技術通常針對特定的機器學習問題進行定制，這些方法利用問題的獨特結構特征，使其比當前應用于這些問題的方法效率更高。另一個關鍵方面是理解所得到估計量的估計精度。在某些情況下，盡管在訓練集上實現精確優化可能不切實際，但某些簡單而有效的啟發式方法在適當的統計框架內可以表現出令人贊嘆的估計精度。 在本文中，我們從優化和統計的角度研究了幾種大規模算法。第2章和第3章研究了兩種針對結構約束的連續優化算法。第2章集中討論了具有圓柱形約束的無界約束的一種廣義Frank-Wolfe方法。第3章則研究了具有少量極點的多面體約束的類似坐標下降（CD）方法。這兩種方法由于對問題結構的敏感性而表現出最先進的性能。 第4章研究了一種帶有解釋器-響應對之間可能存在不匹配的線性回歸變體。我們研究了一種簡單且高效的啟發式方法，并在統計環境中對其估計誤差進行了嚴格分析。 第5章和第6章研究了兩種決策樹算法。第5章研究了最優決策樹的計算，并引入了一種新的分支定界方法，用于具有一般連續特征的最優決策樹。第6章則轉向在足夠雜質減少條件下對CART算法的分析。我們為滿足該條件的信號函數證明了嚴格的誤差界，并討論了一些滿足該條件的函數類。 第7章研究了一種具有形狀約束的密度估計問題。我們提出了一種立方-牛頓法框架用于計算，并研究了有限混合的逼近性質。

生成式人工智能旨在制定特定類型的數據分布，以便能夠生成模仿底層分布的真實樣本的新數據實例。值得一提的是，在計算機視覺中，生成模型和判別模型是兩大主要類別。后者旨在基于特定數據實例準確預測類別、對象位置、分割等，而前者探索和制造復雜的數據流形。有人可能會爭論，由于旨在模擬現實世界中無限制領域的巨大復雜性的數據，計算機視覺中的生成式人工智能需要更加先進。然而，即使是最復雜的網絡設計，也很難準確地制定我們自然世界中的確切數據分布，因此還有很大的改進空間。 隨著最近生成式人工智能技術的突破，現在的研究人員和工程師創建了開始處理現實世界需求的高性能生成解決方案作為商業產品，幸運的是，這篇論文也參與其中。在這篇論文中，作者旨在通過探索最佳可能的視覺表征形式（即神經隱式嵌入、頻域表征、基于變換器的表征），以盡可能捕獲更多的視覺信息，進一步推動生成式人工智能的性能。毫無疑問，數據表征是生成式人工智能的一個關鍵前提，因為它揭示了模型能力的上限。此外，從一個更廣泛但不那么精確的角度來看，生成建模的目標——模擬精確的數據分布，也可以視為一種表征學習。在論文的最后部分，作者還探討了超越視覺表征的主題，向更一般的跨模態表征進發，適應多種類型的數據模態，這是朝著更具挑戰性的目標邁進的啟發式步驟：通用人工智能。

這篇論文始于UltraSR，探索適合圖像超分辨率的隱式神經視覺表征，通過任意上采樣比例合成圖像細節。UltraSR的核心思想將隱式神經表征與可學習的周期性編碼相結合，以連續函數的形式在高頻流形中制定視覺細節。當UltraSR探索神經視覺表征時，Spectral Hint GAN（SH-GAN）采取了不同的路線，深入涉及頻域中的視覺特征進行圖像完成。SH-GAN提出了一個新穎的頻譜網絡模塊：Spectral Hint Unit（SHU），以及兩種新策略：異構過濾和高斯分割。SH-GAN因以下原因超越了以往的圖像完成方法：通過基于StyleGAN的共調制框架有效地填充低頻圖像結構，以及通過SHU有效地填充高頻圖像紋理。最近在文本到圖像（T2I）擴散模型的進展激發我們探索新的工作Prompt-Free Diffusion，在這項工作中，我們用SeeCoder代替CLIP文本編碼器來捕獲視覺線索，從T2I系統中移除了提示的需要。SeeCoder自動提取各種視覺線索，包括但不限于語義、紋理、背景等，并將它們傳遞給擴散模型。我們的合成結果既高質量又緊密跟隨SeeCoder編碼的參考視覺線索。與Prompt-Free Diffusion并行，我們提出了Versatile Diffusion，這是第一個提出統一的多模態多流擴散管道的工作，均勻處理多種跨模態任務，生成圖像、文本和變體。Versatile Diffusion具有更廣泛的范圍，我們的目標是將不同模態的表征合并到一個生成網絡中，向通用生成式人工智能的大膽一步邁進。

總之，所有工作都提供了有關數據表征的寶貴見解，其中UltraSR、SH-GAN和Prompt-Free Diffusion積極探索了三種方案下的最佳視覺表征：隱式神經表征、頻域表征和基于變換器的表征。在最后一部分，Versatile Diffusion探索了圖像、文本和圖文跨模態的統一表征和生成。UltraSR在所有比例上的DIV2K數據集上比基線模型高出0.05 dB。SH-GAN在FFHQ數據集上達到FID 3.41，在Places2數據集上達到7.10，獲得了大規模自由形式圖像完成任務中的新最佳水平。Prompt-Free Diffusion和SeeCoder完成了以驚人質量完成流行的示例-based圖像生成任務。Versatile Diffusion在Coco2014數據集上的CLIP相似度為0.269和0.858；FID為11.20和4.57，測量文本到圖像和圖像變化，超越了所有方面的基線Stable Diffusion。

當在非結構化和半結構化環境(如倉庫、住宅和零售中心)中操作時，機器人經常需要從雜亂的箱子、貨架或桌子中交互式地搜索和檢索特定的對象，這些對象可能部分或完全隱藏在其他對象后面。我們將此任務定義為機械搜索，其目標是在盡可能少的操作中檢索到目標對象。在這些場景中，由于傳感器噪聲、遮擋和未知物體特性的存在，魯棒地感知和操作目標具有挑戰性。由于這些感知和操作挑戰，從數據中學習端到端的機械搜索策略變得非常困難。相反，我們將機械搜索策略分成三個模塊，一個感知模塊從輸入觀察中創建一個中間表示，一組低級操作原語，以及一個高級操作選擇策略，該策略根據感知模塊的輸出迭代選擇要執行的低級原語。我們探索了在操作原語方面取得的進展，如推和抓取，帶有未知對象的場景分割和占用分布預測，以推斷目標對象的可能位置。此外，我們證明了使用模擬的深度圖像或點云可以為感知網絡快速生成大規模的訓練數據集，同時允許它們泛化到真實世界的對象和場景。結果表明，在模擬和物理實驗中，與基準策略相比，集成這些組件可以產生一個高效的機械搜索策略，提高15%的成功率，并減少提取目標對象所需的操作次數。

深度神經網絡(DNNs)使計算機能夠在許多不同的應用中脫穎而出，如圖像分類、語音識別和機器人控制。為了加快DNN的訓練和服務，并行計算被廣泛采用。向外擴展時，系統效率是一個大問題。在分布式機器學習中，高通信開銷和有限的設備上內存是導致系統效率低下的兩個主要原因。

//www2.eecs.berkeley.edu/Pubs/TechRpts/2022/EECS-2022-83.html

本文研究了在分布式機器學習工作負載下，在數據和模型并行性方面減輕通信瓶頸并實現更好的設備上內存利用的可能方法。

在通信方面，我們的Blink項目緩解了數據并行訓練中的通信瓶頸。通過打包生成樹而不是形成環，Blink可以在任意網絡環境中實現更高的靈活性，并提供近乎最佳的網絡吞吐量。為了消除模型并行訓練和推理過程中的通信問題，我們從系統層上升到應用層。我們的sensAI項目將多任務模型解耦到斷開的子網中，其中每個子網負責單個任務或原始任務集的子集的決策制定。

為了更好地利用設備上的內存，我們的小波項目有意增加任務啟動延遲，在加速器上的不同訓練任務波之間交錯使用內存峰值。通過將多個訓練波集中在同一個加速器上，它提高了計算和設備上的內存利用率。

機器學習是一種變革性的計算工具，它正在革新許多技術和科學應用。然而，最近在人工智能和機器學習方面的成功，以及隨之而來的模型的廣泛部署，已經改變了經典的機器學習管道。首先，可用數據的絕對規模——在數量和維度上——已經爆炸。此外，現代機器學習架構具有指數級的設計選擇和超參數，但它們都是使用通用的隨機梯度方法進行優化的。這突出了自適應梯度方法的需要，該方法在沒有事先知道實例的情況下充分執行。接著并期望它們即使在不分布的輸入中也能提供良好的預測——這強調了對可靠模型的需要。最后，隨著我們收集越來越多的用戶數據，我們希望在向公眾發布這些模型時，基于這些數據訓練的模型不會損害訓練集中存在的個人的隱私。在這篇論文中，我們證明了解決這些新出現的問題需要優化方面的基本進步。更具體地說，我們首先提出了理解自適應梯度算法的最優性的新的理論結果，并展示了在基于梯度的采樣器的背景下自適應方法的實際用例。然后，我們提出了可擴展的最小最大優化方法，以有效地解決魯棒目標。最后，我們開發了私有優化方法，在更嚴格的隱私要求下最優地學習，以及自適應方法，在簡單的實例上增加“適當數量的噪聲”并顯著降低隱私的代價。

//searchworks.stanford.edu/view/14053711