亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

生成式數據增強（GDA）已成為緩解機器學習應用中數據稀缺問題的有前景技術。本論文提供了GDA領域的全面綜述和統一框架。首先，我們簡要介紹GDA，討論其動機、分類法和與合成數據生成的主要區別。接下來，我們系統地分析了GDA的關鍵方面 - 選擇生成模型、使用它們的技術、數據選擇方法、驗證方法以及各種應用。我們提議的統一框架對廣泛的GDA文獻進行了分類，揭示了例如缺乏通用基準的缺口。這篇論文總結了有前景的研究方向，包括有效的數據選擇、大規模模型在GDA中的應用的理論發展和為GDA建立基準。通過建立一個結構化的基礎，本論文旨在促進生成式數據增強這一重要領域的更有凝聚力的發展和加快進展。

在當代機器學習領域中，深度學習算法已經成為眾多任務的強大工具，展示了前所未有的準確性和能力[1; 2; 3]。然而，它們效能的關鍵基石在于它們能夠訪問大量的數據[4; 5; 6]。在當今的數字環境中，收集如此廣泛和原始的數據集，矛盾地，證明是復雜的，并可能昂貴得令人望而卻步。這種數據收集的復雜性源于多方面的挑戰，包括但不限于隱私關注[7; 8]，多樣化的數據來源，以及需要費勁標注的需求[9]。 因此，科學界已經轉向數據增強技術，作為一個務實的解決方案，以抵消可用數據的匱乏。數據增強是指一套用于人為擴大數據集的容量和多樣性的技術，通過對其現有條目進行控制修改，而不改變它們的固有語義解釋[11; 12]。傳統的數據增強方法[10]，雖然很好，但主要圍繞線性變換或初級的非線性修改。盡管這些方法有益，但它們已經顯示出了局限性，尤其是在它們顯著提高模型性能的能力方面，特別是當底層數據多樣化時。

認識到這些局限性，研究人員越來越感興趣于探索更為復雜的數據增強途徑。在這一追求中的一個顯著方向是集成生成模型進行數據增強，即生成式數據增強(GDA)。生成模型的吸引力在于它們固有的模擬數據復雜概率分布的能力[13; 14; 15]，從而提供了更為細致和廣泛的增強景觀。通過挖掘這種潛力，生成式數據增強為改進深度學習模型性能提供了一個有前景的視野，特別是在數據有限的情境中。 本文提供了關于生成式數據增強(GDA)的全面綜述。雖然該領域已經見證了眾多的方法和方法論，但這些技術的結構化和統一的理解通常是難以捉摸的。許多作品將GDA應用于某個數據集，但在GDA的發展上鮮有創新和貢獻。統一的框架可以通過提供清晰的結構和分類來解決這個問題，使研究人員更容易識別缺口并基于現有方法進行構建。

為了解決這個缺口，我們提出了一個統一框架，系統地對GDA的廣泛景觀進行了分類。這個框架作為一個路線圖，指導讀者了解GDA的多方面：從選擇生成模型，到利用它們的技術，選擇高質量合成數據的策略，驗證這些數據的方法，以及GDA被證明是關鍵的各種應用。

總數組織

第2節：初步 - 本節提供了關于生成式數據增強(GDA)的基礎知識。本文中使用的核心概念、關鍵術語、符號和概念都將在此處呈現。第3節：選擇生成模型 - 在此，我們深入探討了我們可用的各種生成結構。從傳統的VAEs[16; 17; 18; 19; 20; 21]和GANs[22; 23; 24; 25; 26; 27; 28; 29; 30]，到新興的基于GPT[31; 32; 33; 34; 35; 36; 37; 38; 39; 40]和基于擴散的創新[41; 42; 43; 44; 45; 46; 47]，我們闡明了它們的機制、優點、缺點和使用場景。第4節：利用技術 - 本段專門探討如何有效利用選定的生成模型。我們探索了潛在空間操作和提示工程，評估它們對數據質量和相關性的影響。第5節：合成數據的選擇策略 - 考慮到生成的大量合成數據，我們如何篩選最好的數據？本節深入探討了幫助提高合成數據質量的技術，無論是既定的還是新興的。第6節：合成數據的驗證 - GDA的一個關鍵方面是驗證生成樣本的可靠性。在此，我們涵蓋了確定合成數據集的質量和相關性的理論和實證方法。第7節：GDA的應用 - 在這一部分，GDA的多功能性是首要的。我們概述了其在多個領域的變革潛力，從醫療保健的醫學成像到農業等領域的應用。第8節：生成式數據增強的統一框架 - 基于前幾節的見解，我們介紹并詳細描述了我們提議的統一框架。本節闡明了框架結構背后的理念以及如何簡化從模型選擇到應用的GDA過程。第9節：當前挑戰和未來方向 - 當我們接近綜述的結束時，本節對GDA的持續挑戰進行了反思，并設想了潛在的突破。它為希望進一步拓展GDA邊界的研究者提供了指導。統一框架也可以視為本文的流程，在圖1中可以直觀地看到。本綜述的主要貢獻如下：

廣泛且最新的編譯：從過去三年中的230多部開創性工作中摘錄，本綜述提供了關于生成式數據增強(GDA)的最全面的評論，有效地捕捉了該領域的快速進展。

統一框架提案：我們引入了一個結構化和有凝聚力的GDA框架，包括模型選擇、利用技術、合成數據選擇、驗證和應用。這為研究者和實踐者提供了一個系統的指南，用于改進GDA并在各種背景下實施GDA。

深入選擇和驗證：我們的綜述深入探討了合成數據選擇和驗證的細微差別，這在以前的研究中很少受到關注，強調了GDA技術的有效部署中它們的重要性。

未來路線圖：從廣泛的文獻綜述中受益，我們辨別并討論了現有的挑戰和潛在的突破途徑，為GDA的未來研究提供了一個有遠見的路線圖。

在這篇論文中，我們探討了一些快速、穩健和高效的方法，這些方法在許多領域都具有普遍的適用性。具體來說，我們探討了高斯表示在計算機視覺和機器人學的多個應用領域中的使用。 在第一部分，我們為經典的隱藏表面問題提供了一個替代方法。具體而言，我們為3D高斯設計了一個基于射線的可微渲染器，它可以用于以統一方式解決多個經典的計算機視覺問題。例如，我們可以僅基于梯度優化從顏色、輪廓或光流重建3D形狀；這些重建對輸入錯誤具有魯棒性，且相當快速（在筆記本電腦CPU上需要幾分鐘）。同樣地，我們可以求解已知對象的精確相機姿勢估計，與經典方法給出的質量相當。我們的貢獻包括隱藏表面問題的替代公式，犧牲了保真度以換取實用性，從而獲得了快速的運行時間和高質量的梯度信息。我們擴展了這個渲染器，加入了可微光流，并展示了如何從重建中導出彩色網格。我們展示了從日常物體的自然采集視頻上的示例。我們還將介紹我們如何直接從網格中獲得3D高斯表示，而不需要采樣點集的工作。 在我們的另一研究線中，我們展示了高斯表示如何為機器人學中的經典算法（如立體深度匹配、運動規劃、視覺測距和社交導航）的無梯度優化提供強大的基礎表示。我們開發了基于用戶偏好和數據集變化進行優化的技術。我們展示了如何直接根據用戶偏好調整高斯表示，而不需要進行真實數據收集或精細調整的度量設計。此外，我們展示了這些優化器可以僅基于算法響應采樣配置，發現多個可能用于不同環境的算法配置。 最后，我們將討論一個基于回歸的、不依賴引用的替代方案，用于分析學術貢獻，而不是傳統的引用指標。

這篇博士論文解決了大型語言模型（LLMs）的兩個重要挑戰：魯棒性和可擴展性。首先，我們通過學習代碼表示的視角來提高大型語言模型的魯棒性。我在這里強調我們在ContraCode上的工作，該模型學習了對保留標簽編輯具有魯棒性的代碼表示。其次，我們從系統角度解決可擴展性挑戰。我們提出了Checkmate，這是一個通過最優再物化超越GPU內存容量限制來支持模型訓練的系統。此外，Skyplane，一種優化云對象存儲之間大批量數據傳輸的系統，使得在云端訓練更大的預訓練數據集成為可能。總的來說，這些貢獻為提高大型語言模型的魯棒性和可擴展性提供了一條路徑。

在1945年，Vannevar Bush設想出了一種名為memex的假想設備，該設備能夠存儲和索引人類的所有知識，使用戶能夠通過"全新形式的百科全書"查詢和導航知識。盡管Bush設想的memex是一種基于機械微膠片的設備，但他的遠見遠超出了該設備的物理形態。他預見了深度語言理解、知識存儲和推理系統的發展。大型語言模型（LLMs）通過學習可以查詢和推理的語言表示，已經朝這個方向取得了重大進展。不同于以往的語言模型，這些神經網絡在大量數據上進行訓練，以預測單詞并理解語言。他們在某些基準測試上達到了人類水平的表現，但也面臨著限制其廣泛部署的重大挑戰。具體來說，大型語言模型在兩個維度上面臨重要難關：魯棒性和可擴展性。大型語言模型的魯棒性是一個多面的挑戰。雖然大型語言模型在理解和生成文本方面取得了顯著進步，但他們仍然在處理幻覺、對輸入擾動的敏感性和組合泛化上存在困難。另一方面，可擴展性是一個關于規模和計算資源的挑戰。對于大型語言模型，交叉熵損失隨著模型規模、數據集規模和用于訓練的計算量的增加而呈冪律增長。在這篇博士論文中，我為持續改進大型語言模型的魯棒性和可擴展性做出了貢獻。

第二章：增強大型語言模型的魯棒性

在第二章中，我們研究了提高大型語言模型魯棒性的策略。這個討論的一個核心問題是語言建模目標是否會導致學習魯棒的語義表示，或者僅僅是基于局部上下文預測標記。為了回答這個問題，我們轉向源代碼的情境，其中程序的語義是由其執行定義的。我們探索了對比預訓練任務ContraCode，它學習代碼的功能而不是形式。ContraCode預訓練一個神經網絡，區分功能上類似的程序變體與眾多非等效的干擾項。這種策略在JavaScript總結和TypeScript類型推斷精度上顯示出改善。我們還介紹了一個新的零射擊JavaScript代碼克隆檢測數據集，結果表明與其他方法相比，ContraCode更具魯棒性和語義意義。

第三章：解決大型語言模型的可擴展性挑戰

在第三章中，我們開始解決大型語言模型的可擴展性挑戰，首先考察了在訓練大型模型過程中出現的"內存壁"問題。在這里，我們介紹了Checkmate，一個在DNN訓練中優化計算時間和內存需求之間權衡的系統。Checkmate解決了張量重制化優化問題，這是先前檢查點策略的一種推廣。它使用現成的MILP求解器確定最優的重制化計劃，并加速了數百萬次的訓練迭代。該系統可以擴展到復雜、現實的架構，并且是硬件感知的，使用基于特定加速器的配置文件成本模型。Checkmate使得能夠訓練實際網絡，其輸入最大可達5.1倍。

第四章：大型預訓練數據集的管理

在第四章中，我們探討了大型預訓練數據集的管理，這也是可擴展性挑戰的另一個方面。具體而言，我們研究了如何在云端目標之間收集和移動這些數據集。我們介紹了Skyplane，一個使用云感知網絡覆蓋來進行云對象存儲間批量數據傳輸的系統。它使用混合整數線性規劃來確定數據傳輸的最優覆蓋路徑和資源分配，從而優化價格和性能的平衡。Skyplane在單一云中的傳輸性能比公共云傳輸服務高出4.6倍，跨云傳輸性能高出5.0

本文的目的是表明，研究機器學習系統中潛在的組成和函數結構使我們能夠更好地理解它們。本文探索了機器學習許多子領域的范疇理論表述，包括優化、概率、無監督學習和有監督學習。本文首先研究了當用一般的范疇理論結構取代梯度時，各種優化算法的行為。證明了這些算法的關鍵性質在非常寬松的假設下是成立的，并通過數值實驗證明了這一結果。本文還探索了動態系統的范疇論視角，使我們能夠從簡單操作的組成中構建強大的優化器。其次，從范疇理論的角度研究了概率建模與梯度優化之間的關系;本文從這個角度來研究最大似然估計如何在從統計模型到監督學習算法的轉換中保持某些關鍵結構。

//ora.ox.ac.uk/objects/uuid:ec72e338-d95e-4bd6-9412-7ac76b7ddc15

接下來，我們從函數的角度來研究無監督學習。我們基于非監督學習算法的函式表示的范疇論性質，開發了非監督學習算法的分類法，并證明了這些分類法是算法行為的預測。用這個視角推導出了一系列用于聚類和流形學習的新無監督學習算法，并證明了這些新算法在真實世界數據上可以優于常用的替代算法。還用這些工具證明了關于流行的無監督學習算法的行為和局限性的新結果，包括細化界限和在噪聲面前的穩定性。最后，轉向監督學習，并證明數據科學和機器學習中許多最常見的問題都可以表示為Kan擴展。本文用這個角度推導出新的分類和監督聚類算法。同時在真實數據上對這些算法的性能進行了測試。

機器學習(ML)系統的規模正在迅速增長，正在獲得新的能力，并越來越多地部署在高風險環境中。為了滿足對安全ML系統日益增長的需求，我首先討論如何使系統可靠地執行。隨后，我將討論如何使系統按照人的價值觀行動。最后，我將討論如何使ML系統更安全的開放問題。 機器學習(ML)系統越來越多地部署在安全關鍵設置中。與任何強大的技術一樣，這些系統的安全是重中之重。在這項工作中，我們描述了引導機器學習(ML)系統向更安全方向發展的研究。本研究將ML安全分為可靠性和對齊兩個方面進行研究。可靠性可以被認為是降低系統在面對對抗或新事件時無法達到預期目標的傾向。同時，對齊可以被認為是將ML系統引導到特定的期望方向的能力。換句話說，可靠性減少了脆弱性和風險暴露，而對齊減少了來自強大定向ML系統的內在風險。在這里，我們概述了我們在這兩個領域所做的工作

在這項工作中，我們探索了提高機器學習系統各方面效率的理論和算法。首先，我們研究了在ML中實現高效機器不學習的算法原理。我們提出了兩種無監督學習算法，它們在在線數據刪除方面實現了超過100倍的改進，同時產生了統計質量與標準k-means++基線相當的集群。

其次，我們探索混合維嵌入，這是一種嵌入層架構，其中特定嵌入向量的維數隨其查詢頻率的變化而變化。通過理論分析和系統實驗，我們證明了使用混合維可以大大減少內存使用，同時保持甚至提高預測性能。使用Criteo Kaggle數據集上一半的參數或使用16倍的參數進行點擊率預測，混合維層將精度提高0.1%。他們在GPU上的訓練速度也超過2倍。

最后，我們提出了一種用于ML部署監控的新方法MLDemon。MLDemon集成了未標記數據和少量按需標簽，從而對給定數據流上部署的模型當前的準確性進行實時估計。受預算限制，MLDemon決定何時獲得額外的、可能昂貴的、專家監督標簽來驗證模型。在基準測試中，MLDemon優于之前的方法。我們還提供了理論分析，表明MLDemon對于廣泛的一類分布漂移是極小極大速率最優的。

圖是數據和系統表示的強大工具。許多類型的復雜和高度結構化的數據都可以用圖表示，比如社交網絡、計算機網絡和分子。圖還可以用來表示計算機系統，例如分布式存儲網絡和對等通信網絡。在本論文中，我們討論了處理大規模圖數據和使用圖來設計更好的系統的方法。

我們首先討論兩種處理大規模圖數據的方法。雖然它們非常強大，但圖數據集對其處理和存儲提出了獨特的挑戰。圖神經網絡(GNNs)是將深度學習應用于圖結構數據的一種有效方法。但是，由于圖的互連和高度結構化的特性，訓練GNN的計算可能非常昂貴。研究了一種提高GNN訓練效率的分層聚合方法。另一種理解圖數據集的方法是檢查小的、重復的模式的頻率。我們提出了時間活動狀態塊模型(Temporal Activity State Block Model)，這是一種用于計算時間圖中預期母題頻率的分析模型，它增加了邊在大時間跨度內到達的復雜性。

接下來我們將介紹兩種應用圖來設計更好系統的方法。在分布式存儲系統中，在服務器故障的情況下，通常需要使用冗余存儲數據，而在何處以及以何種頻率創建這種冗余的設計可以表示為一個圖問題。部分重復(FR)代碼是一種用于實現這一目的的方法，旨在最大化存儲容量，同時確保故障節點可以通過從幸存節點發送替換數據來替換。我們提出了負載平衡的分數重復碼，這是FR碼的加強，有額外的保證，如何迅速地更換失敗的節點。接下來我們考慮在對等網絡中發送消息的問題。這個問題可以用一個圖來表示哪個對等點擁有另一個對等點想要的數據。索引編碼是一種設計從中央服務器到一組接收器的客戶端通信的方法。我們將這種方法應用于點對點模型，并引入和研究了嵌入索引編碼。

//searchworks.stanford.edu/view/14230534

在本文中，我們研究了生成模型的幾個重要標準，并引入評價指標來解決每個問題，同時討論了生成模型評價中的上述問題。特別是，我們研究了測量生成輸出的感知現實主義的挑戰，并引入了一個人在循環中的評估系統，利用心理物理學理論，以人類知覺文獻和眾包技術為基礎，構建一個高效、可靠、并采用一致的方法比較不同的模型。除此之外，我們還分析了解纏性(Disentanglement)，這是評估已學習表示的一個日益重要的特性，通過使用持久同調測量生成模型數據流形的內在特性。

//searchworks.stanford.edu/view/13883847

常見的圖像編輯方法側重于低級特征。在本論文中，我利用機器學習使圖像編輯在更高的概念層次上運行。從根本上說，所提出的方法旨在通過結合通用的視覺知識，從可能被編輯的信息中提取出必須在編輯過程中維護的視覺信息。因此，新方法可以以人類可理解的方式轉換圖像，比如將一個物體轉換為另一個物體，將照片程式化到特定藝術家的畫作中，或將日落加到白天拍攝的照片中。我們探索在不同的設置和不同數量的監督設計這樣的方法: 逐像素標簽，逐圖像標簽，和沒有標簽。首先，利用逐像素監督，我提出了一種新的深度神經網絡架構，可以從場景布局和可選目標風格合成逼真的圖像。其次，使用每個圖像監督，我探索了域翻譯的任務，其中一個類的輸入圖像被轉換為另一個類。最后，我設計了一個框架，可以從一組未標記的圖像中發現結構和紋理的分離操作。我們在廣泛的應用中提供令人信服的視覺效果，包括交互式照片繪圖工具、對象變形、虛擬和真實環境之間的域間隙減少，以及圖像紋理的逼真操作

第一節課的重點是分析今天能夠進行并行計算的典型個人計算機中的算法行為，第二節課的重點是今天能夠進行分布式計算的典型公共云中的此類個人計算機集群中的算法行為。我們將從第1節中簡要介紹的基本原理開始，并努力理解過去幾十年來算法的重大突破。并行計算是指在一臺機器上使用多個處理器和共享內存進行計算。并行計算和分布式計算雖然密切相關，但它們都提出了獨特的挑戰——主要是并行計算情況下的共享內存管理和分布式計算情況下的網絡通信開銷最小化。理解并行計算的模型和挑戰是理解分布式計算的基礎。課程內容反映了這一點，首先在并行環境中涵蓋各種經典的、數值的和圖形的算法，然后在分布式環境中涵蓋相同的主題。目的是強調每個設置帶來的獨特挑戰。

//github.com/lamastex/scalable-data-science/blob/master/read/daosu.pdf