亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

大型生成模型帶來了驚人的成果，并徹底改變了人工智能。在本論文中，我將討論我在推進這些模型基礎上的研究，重點解決從現有數據中學習的瓶頸以及超越現有知識發現的挑戰。首先，我將描述我們為消除Transformer架構的上下文大小限制所做的努力。我們的建模和訓練方法，包括BlockwiseTransformer和RingAttention，允許在保持可擴展性的同時實現近乎無限的上下文大小。接下來，我將討論大上下文在世界模型學習和決策中的應用。這包括Large World Model，這是世界上首個人工智能，能夠在百萬個標記的上下文中同時對文本、圖像和小時級視頻進行建模。然后，我將介紹我的研究，旨在讓AI能夠發現數據并自主學習。我將討論我們在無需人為指定領域知識的情況下學習游戲技能的工作，為超越模仿現有數據的學習鋪平道路。最后，我將展望我們應構建的下一代大型生成模型，重點關注高效擴展、推理以及在一般領域中的發現能力的進展。

構建能與世界互動的自主代理是人工智能（AI）的核心。本論文引入了“語言代理”，這是一類新的代理，它們利用大型語言模型（LLMs）進行推理以采取行動，標志著與傳統通過廣泛規則設計或學習的代理的一種轉變。它分為三個部分開發：

第一部分通過介紹基于與大規模、真實世界計算環境（如互聯網或代碼接口）的互動的一組新的AI問題和基準，激發了對語言代理的需求。這些“數字自動化”任務為減輕繁瑣的勞動和改善我們的生活提供了巨大的價值，但對于以前的代理或LLM方法在開放式自然語言和長期決策方面提出了重大挑戰，這需要新的方法論。 第二部分為語言代理奠定了方法論基礎，其核心思想是應用LLM推理來實現多功能和可泛化的代理行動和計劃，這也通過外部反饋和內部控制增強了LLM的推理，使其更加扎根和深思熟慮。我們展示了語言代理能解決多種語言和代理任務（特別是在第一部分提出的數字自動化任務），并在先前基于LLM的方法和傳統代理上取得了顯著的改進。 第三部分綜合了第一部分和第二部分的洞察，并概述了一個有原則的語言代理框架。該框架提供了模塊化抽象，以組織各種基于LLM的方法作為代理，理解它們與人類認知的差距，并激發并開發新方法，朝向通用目的的自主代理。從基礎的經驗任務和方法到統一的概念框架，本論文建立了語言代理作為AI研究前沿的一個獨特且嚴謹定義的領域的研究。

構建能與各種環境互動的自主代理是人工智能（AI）的核心問題[266]。從高層次上來說，這篇論文提出了一種全新的代理類型和一種全新的環境類型（圖1.1）： ? 現有的代理要么主要遵循特定領域的規則來行動（基于規則的代理，如DeepBlue [38]、Eliza [272]或Shaky the robot [229]），要么主要在特定領域數據上進行訓練以行動（基于學習的代理，如AlphaGo [281]、Atari DQN [206]或用于手部操控的ADR [8]）。本論文介紹了語言代理，這些代理利用語言模型進行推理以行動，這減輕了構建傳統代理所需的密集型特定領域努力，并且在各種領域中實現了少量樣本的泛化。這代表了構建通用自主代理目標的一個重大步驟。 ? 現有代理要么與人類或物理世界互動（實用但不可擴展），要么與游戲或模擬互動（可擴展但不實用）。這篇論文引入了數字自動化，一種新型任務，其中代理與大規模真實世界數字環境（如互聯網）互動。這為代理在開放式行動和長期視野上做出決策提供了新的挑戰，同時也提供了巨大的機會來減輕我們的數字勞動并發現新知識。 傳統代理和環境有什么問題？在傳統基于規則或基于學習的代理可能也能感知和用語言行動的情況下，“語言代理”的定義是什么？為什么我們必須轉向大規模真實世界數字環境來進一步發展，而不是使用傳統的代理測試床如游戲？我將簡要使用文本冒險游戲領域來闡述這些點并激發論文的其余部分。

在機器學習領域，我們致力于開發能夠學習的算法，即在沒有被特別編程完成某項任務的情況下，積累關于如何完成任務的知識。在這篇論文中，我們從兩個不同的角度來探討學習：我們可以應用高效機器學習者的領域以及我們可以通過更有效地解決底層優化問題來改進學習的方式。機器學習方法通常非常依賴數據。雖然現代機器學習在解決實際問題方面取得了巨大成功，但這些成功案例主要局限于有大量相關領域數據可用的設置。元學習領域旨在通過創建“學會如何學習”的模型（即能夠在給出相對較少的示例時迅速適應新任務的模型）來開發具有改進的樣本效率的模型。在本論文中，我們關注使用超網絡進行任務適應的攤銷元學習者，這些學習者成本非常有效，只需通過超網絡進行一次前向傳播即可學會如何執行新任務。我們展示了這些攤銷元學習者可以以超出其在小樣本學習設置中的典型用途的新方式來利用。

我們針對攤銷元學習者開發了一種基于集合的中毒攻擊，這種攻擊讓我們能夠定制一組協同作用的輸入，用作適應新任務的訓練數據（即作為支持集）時，這些輸入能夠欺騙系統的學習算法。這樣共同制作的對抗性輸入可以協同操縱分類器，對于具有可微適應機制的攤銷學習者來說，這種輸入尤其容易計算。我們還在可解釋性領域利用攤銷學習者進行“數據集調試”，在此過程中，我們開發了一種稱為Meta-LOO的數據價值或樣本重要性策略，可用于檢測噪聲或分布外數據；或者將一組示例提煉到其最有用的元素。

從我們的第二個角度看，機器學習和優化是密切相關的；實際上，學習可以被表述為以模型參數為目標的訓練損失最小化問題——盡管實際上我們還需要我們的算法具有泛化能力，這不是更廣泛優化的關注點。選擇的優化策略影響了算法學習的速度以及找到的解決方案（即模型參數）的質量。通過研究優化，我們可以改善我們的模型的學習效果和速度。

在這篇論文中，我們采取了雙管齊下的方法來實現這一目標。首先，我們開發了一種在線超梯度基礎的超參數優化策略，通過支持廣泛的超參數同時保持可擴展性，改進了現有的最佳技術。值得注意的是，我們的方法支持優化算法的超參數，如學習率和動量，這是文獻中類似方法不支持的。其次，我們開發了一種適用于深度學習的非凸損失景觀的二階優化策略。我們的算法近似了一個鞍點是排斥而非吸引的鞍點自由版本的Hessian，以一種適用于深度學習問題的方式。

基于圖的機器學習是一種新興的數據分析方法，適用于可以通過實體之間的成對關系很好地建模的數據。這包括社交網絡、道路網絡、蛋白質-蛋白質相互作用網絡和分子等示例。盡管大量研究致力于設計新型機器學習模型，但對我們現有工具的理論屬性的關注較少。在這篇論文中，我們專注于基于圖的機器學習模型的魯棒性屬性，特別是譜圖濾波器和圖神經網絡。魯棒性是處理噪聲數據、保護系統免受安全漏洞的侵害以及在某些情況下，對可遷移性等方面至關重要的屬性。我們特別關注與基礎圖的拓撲結構相關的魯棒性這一具有挑戰性和組合性的問題。論文的第一部分提出了穩定性界限，以幫助理解基于圖的模型對哪些拓撲變化具有魯棒性。除了理論成果，我們還進行實驗來驗證這一理論提供的直覺。在第二部分中，我們提出了一種靈活且查詢高效的方法，用于對圖分類器進行黑盒對抗性攻擊。對抗性攻擊可以被視為對模型不穩定性的搜索，并為輸入與決策邊界之間提供了一個上限。在論文的第三部分和最后部分，我們提出了一種新的圖分類器魯棒性證書。使用一種可以在不同干擾級別對圖的各個部分進行驗證的技術，我們提供了對給定模型具有魯棒性的干擾的精細理解。我們相信這篇論文中的發現提供了新的見解，并激勵了進一步研究基于圖的機器學習模型的穩定性和不穩定性。

圖是一種通用的數據結構，它使用邊來模擬實體之間的二元互動，這些實體在圖中被建模為節點（也稱為頂點）。現實世界中的許多類型的數據存在于圖域上，或可以被建模為存在于圖域上，例如在傳感器、生物和社會網絡中收集的數據。在過去的十年中，信號處理和機器學習社區開發了大量工具來分析和學習存在于圖結構域上的數據。圖信號處理（GSP）社區將圖視為信號生存的不規則域，并通過概括和適應信號處理思想來分析這些數據，以開發工具如譜圖濾波器和譜圖神經網絡[36, 111, 101, 50, 121, 43, 100]。另一方面，深度學習社區通過設計基于消息傳遞的神經網絡來處理圖上的學習，這些神經網絡適用于圖域，特別是考慮到所需的不變性和等變性屬性[18, 57, 7, 62, 19]。

盡管不斷增加的建模方法和旨在處理圖結構數據的架構，但對它們的屬性和特性的關注較少。很少有論文致力于這些模型的理論分析。即使從實證角度來看，大多數模型也僅僅是基于它們的預測準確性進行評估。 在這篇論文中，我們專注于基于圖的機器學習模型的魯棒性屬性，包括來自圖信號處理社區的主要工具——譜圖濾波器，以及圖機器學習社區中最常用的工具——圖神經網絡。

魯棒性可以有多種含義，因此我們首先提供本論文中采用的高層定義。具體來說，我們旨在理解輸入圖在推理時的小干擾效應。如果這些干擾不會在模型的輸出中造成大的變化，我們稱模型對這些干擾具有魯棒性。我們將考慮并討論采用不同魯棒性定義的其他工作，并在上下文中概述它們的含義。更廣泛地說，魯棒性覆蓋我們的定義和其他上下文意味著機器學習流程中的小變化會在機器學習流程的其他部分引起小變化。 關于基礎圖的魯棒性研究有許多動機。我們提供了一個非詳盡的列表，為每個實例提供一個實際的現實世界例子：

從噪聲數據推斷的圖。大腦活動可以通過功能性腦網絡來建模，其中節點代表感興趣的腦區，邊緣是根據功能性磁共振成像（fMRI）生成的時間序列數據推斷出來的。在這種情況下，我們期望時間序列數據包含隨機不確定性，這反過來會導致推斷出的圖噪聲大且可能不可靠。因為這種拓撲噪聲是由原始數據中不希望的噪聲引起的，因此希望圖的噪聲具有魯棒性是可取的。

對抗魯棒性。基于圖的模型可能部署在存在不良行為者的環境中。例如，可以將在線社交網絡建模為一個圖，而不良行為者在這個領域的存在是公認的。不良行為者可能試圖通過故意制造干擾來操縱模型，例如通過向其他賬戶發送連接請求來添加邊，或通過創建假冒檔案來添加節點。在這里，我們希望我們的模型即使在最壞的情況下（即不良行為者濫用模型時）也能表現良好。

可遷移性。考慮使用3D掃描儀數字化的物理對象，形成點云。這個點云可以使用三角化算法轉換成圖，生成網格圖。在這種情況下，圖方便地表示幾何對象。然而，由于環境中的輕微變化，如照明或相機或對象的精確位置，對同一對象的兩次掃描可以給出不同的網格圖。在這些情況下，底層實體的圖表示不是唯一的。然而，希望模型能為代表同一底層實體的圖產生相同或相似的表示。這個屬性更廣泛地被稱為可遷移性。魯棒性對于可遷移性是必需的，因為模型未能適應輸入中的即使是小變化，我們也不能期望它適應大變化。

進化圖。時態圖是拓撲結構隨時間逐漸變化的圖。例如，可以通過底層資產價格的相關性來建模金融網絡。因為資產的相關性可能在很長一段時間內變得更加相關或不相關，圖的拓撲結構會隨時間演變。在這種情況下，通常希望模型給出的表示也能隨時間逐漸變化。

部分可觀測性。有時我們擁有的圖數據只部分代表圖中節點之間的底層關系。例如，一個在線社交網絡為我們提供了現實世界友誼的近似。這是一個近似，因為現實生活中不是朋友的人可能會在社交網絡上連接，而現實生活中的朋友可能還沒有在在線平臺上連接。在許多情況下，我們希望學到的表示能捕捉到人們的現實世界友誼，盡管只有通過在線友誼圖的部分知識。 盡管有許多動機研究基礎拓撲變化的魯棒性，但很少有研究致力于理解基于圖的機器學習和圖信號處理模型的這些魯棒性屬性。在這篇論文中，我們提出了五個技術章節，解決了這種理解的局限性。我們將考慮通過各種視角對許多常用模型的拓撲擾動的魯棒性。我們將解決尚未探索但重要的挑戰，即將拓撲屬性與穩定性聯系起來，即圖的特定特征的變化如何影響魯棒性。

本論文的核心目標是通過提高深度學習模型的標簽和訓練效率來增強深度學習的實用性。為此，我們研究了基于信息論原理的數據子集選擇技術，特別是主動學習和主動采樣。主動學習提高了標簽效率，而主動采樣提高了訓練效率。監督式深度學習模型通常需要大量的帶標簽數據進行訓練。標簽獲取可能既昂貴又耗時，且訓練大型模型資源密集型，這限制了其在學術研究和“大科技”公司之外的應用。深度學習中現有的數據子集選擇方法通常依賴于啟發式方法或缺乏一個原理化的信息論基礎。相比之下，本論文檢查了數據子集選擇的幾種目標及其在深度學習中的應用，力求采用一種由信息論啟發的更原理化的方法。

我們首先在單次前向傳播的深度神經網絡中區分了認知不確定性和隨機不確定性，這提供了有用的直覺和洞見，關于不同形式的不確定性及其對數據子集選擇的相關性。然后，我們提出并研究了在（貝葉斯）深度學習中進行主動學習和數據子集選擇的各種方法。最后，我們將各種現有和提出的方法與在權重或預測空間中信息量的近似聯系起來。

支撐這項工作的是一個原理化且實用的信息論量符號，包括隨機變量和觀察到的結果。這篇論文展示了從統一視角出發工作的好處，并強調了我們的貢獻對深度學習實際應用潛在影響的可能性。

隨著大型語言模型在近年來能力的大幅提升，提高我們對其輸出的控制能力變得越發重要。在本論文中，我討論了我開發的幾種控制方案，范圍從純推理時控制到基于微調的對齊方法。我首先將討論適用于非結構化自然語言生成的高度通用方法，包括一種稱為FUDGE的推理時控制方案以及一種基于強化學習的微調方法，稱為RLCD。接下來，我將討論更專門的方法，這些方法可以用于更結構化領域的控制，如分子設計、程序合成和語義解析。最后，我將展示如何將這些想法與通過提示進行的結構化規劃結合使用，以將我們的控制擴展到更長的輸出——在自動故事生成應用中范圍達到數千詞。

近期大型語言模型（LLMs）的發展顯著推進了在廣泛自然語言任務上的最新技術水平。然而，雖然這類模型能夠生成流暢的文本，但在推理時要充分控制它們的行為可能很困難。例如，開箱即用的預訓練語言模型頻繁地生成帶有偏見或有害的文本，這可能是因為在它們的預訓練數據中大量存在這類文本。

因此，控制生成——在推理時控制模型的行為，以產生符合期望的軟性或硬性約束的輸出——是確保在現實世界設置中道德使用這些強大技術的必要條件。實際上，去除問題偏見只是控制生成廣泛應用領域中的一個例子。控制生成的應用范圍從維持期望的風格或正式程度，到保持對參考文檔或現實世界事實的忠實，甚至非語言任務（使用模型處理非語言領域），如設計具有理想藥物屬性的分子。

因此，近年來已經投入了大量努力來開發控制語言模型輸出的方法。這些努力包括僅在推理時操作的各種方法，以及依賴于修改底層模型分布的方法，無論是通過微調還是通過強化學習。

盡管如此，控制LLMs的任務非常復雜，隨著時間的推移只會變得更加困難：語言模型在能力上持續改進的同時變得越來越不可解釋，我們對最強大的模型的訪問權限更加有限，這些模型越來越多地隱藏在私有APIs后面，而我們要求的控制目標變得越來越困難。為了詳細說明后一點：僅僅兩三年前，我們可能滿足于簡單地控制輸出段落的一般主題，這些段落僅幾十個令牌長，但今天一個主要挑戰是在可能跨越數千甚至數萬個令牌的輸出段落上控制事實準確性，既要考慮提供的上下文也要考慮現實世界的知識。 在本論文中，我將討論我開發的幾種方法，這些方法在許多不同的設置中解決了控制生成的問題。 自然語言的控制首先，在第二章，我將討論用于非結構化自然語言的一般控制方法，包括純推理時控制以及基于強化學習的微調。

對于純推理時控制，我提出了一種用于控制文本生成的靈活且模塊化的方法——生成未來判別器（FUDGE）。給定一個現有的基礎語言模型（LM）用于從感興趣的分布中生成文本，FUDGE允許在僅需要訪問基礎LM的輸出邏輯的情況下，基于期望的屬性a（例如，正式程度）進行條件化。FUDGE學習一個在部分序列上操作的屬性預測器，并使用此預測器的輸出來調整基礎LM的原始概率。我們展示了FUDGE模型對應于基礎LM給定屬性a的條件分布的貝葉斯分解。此外，FUDGE可以輕松地組合多個期望屬性的預測器。我們在三個任務上評估了FUDGE——詩句完成、語言生成中的主題控制以及機器翻譯中的正式性變化——并在所有三個任務中觀察到提升。 與純推理時控制相比，微調（包括基于RL的方法）需要并利用對基礎語言模型更大的訪問權限。雖然在前期需要額外的培訓或微調模型的成本，但它們可以通過從微調模型中進行普通采樣來減少推理時的成本（與可能需要更昂貴的解碼程序來啟用控制的推理時控制方法相比）。

基于RL的微調方法最近變得越來越受歡迎。在本論文中，我將提出一種RL方法，名為對比蒸餾的強化學習（RLCD），它不使用人類反饋就可以使語言模型遵循用自然語言表達的原則（例如，更無害）。RLCD從兩個對比的模型輸出中創建偏好對，一個使用正面提示來鼓勵遵循給定原則，另一個使用負面提示來鼓勵違反它們。使用兩個不同的提示會導致模型輸出在平均上更加分化，從而在沒有人類注釋的情況下產生更清晰的偏好標簽。然后我們使用偏好對來訓練一個偏好模型，進而用強化學習改善一個基礎未對齊的語言模型。經驗上，RLCD在三個不同的對齊任務——無害性、有幫助性和故事大綱生成——上優于RLAIF和上下文蒸餾基線，并在用于模擬偏好數據的7B和30B模型規模上均有表現。 針對結構化領域的控制接下來，在第三章，我將討論我為將控制擴展到結構化領域而進行的幾項工作。這一部分的大部分內容將聚焦于我開發的一種方法——隨機迭代目標增強，我們將其應用于分子設計和程序合成等多個領域。 例如，在分子設計任務的背景下：分子設計中的生成模型傾向于是參數豐富、對數據需求高的神經模型，因為它們必須生成復雜的結構化對象作為輸出。由于缺乏足夠的訓練數據，估計這樣的模型可能具有挑戰性。通過隨機迭代目標增強，我們提出了一種用于迭代創建額外分子目標的自訓練方法。我們首先將生成模型與一個簡單的屬性預測器一起進行預訓練。然后將屬性預測器用作似然模型，用于從生成模型中篩選候選結構。額外的目標通過隨機EM迭代的過程中迭代產生，并用于最大化候選結構被接受的對數似然。由于生成模型在預訓練后已經相當合理，因此一個簡單的拒絕（重加權）采樣器就足以抽取后驗樣本。我們展示了在無條件和條件分子設計上相比于強基線的顯著提升。特別是，我們的方法在條件分子設計中的絕對增益超過了先前最先進技術10%。最后，我們展示了我們的方法在其他領域（如程序合成）也是有用的。

在本節的最后，我還將簡要討論我在這一領域與他人合作的一些其他項目，涉及其他結構化領域（如語義解析和填字游戲）的控制生成方法。

長篇故事生成最后，在第四章，我將應用諸如FUDGE之類的可控生成思想于生成更長長度的高質量語言模型輸出——在故事生成領域達到數千詞——的任務。

首先，在我關于遞歸重新提示和修訂（Re3）的工作中，我們考慮了自動生成超過兩千詞的更長故事的問題。與之前關于更短故事的工作相比，長距離情節連貫性和相關性在這里是更為核心的挑戰。我們提出了遞歸重新提示和修訂框架來解決這些挑戰，通過（a）提示一個通用語言模型構建一個結構化的總體計劃，以及（b）通過重復地將來自計劃和當前故事狀態的上下文信息注入語言模型提示來生成故事段落。然后我們通過（c）對不同續篇進行重新排序以保持情節連貫性和前提相關性，最后（d）編輯最佳續篇以保證事實一致性進行修訂。與直接從相同基礎模型生成的類似長度故事相比，人類評估員判斷Re3的故事在擁有連貫的總體情節方面（絕對增加14%）和與給定初始前提相關方面（增加20%）顯著更多。

然后，我們通過提出詳細大綱控制（DOC）框架來進一步改進我們在Re3中的先前工作，該框架用于在自動生成數千詞長的故事時改善長距離情節連貫性。DOC由兩個互補的組件組成：一個詳細的大綱制作者和一個詳細的控制器。詳細的大綱制作者創建一個更詳細、分層結構化的大綱，將創造性負擔從主要起草過程轉移到規劃階段。詳細的控制器確保在生成過程中仍然尊重更詳細的大綱，通過控制故事段落與大綱細節保持一致。在自動生成故事的人類評估中，DOC在情節連貫性（22.5%的絕對增益）、大綱相關性（28.2%）和有趣性（20.7%）上顯著優于Re3。人類還判斷DOC在交互式生成設置中的可控性要高得多。

最后，我將討論幾項最近和正在進行的工作，這些工作進一步探索了長篇故事生成的不同方面，如個性化、節奏和事實一致性，以及使用更新的LLMs來提高計算效率的一些改進。

視覺語言模型（VLMs）最近已經展示出了強大的效能，作為可以解析關于視覺內容的自然查詢并生成類似人類輸出的視覺助手。在這項工作中，我們探討了這些模型基于感知信息展示人類式推理的能力。為了解決一個關鍵問題，即這些推理能力在多大程度上是完全一致和基于實際的，我們還測量了這些模型的推理一致性。我們通過提出基于思維鏈（CoT）的一致性度量來實現這一點。然而，這樣的評估需要一個包括高級推理和詳細推理鏈的基準，這是昂貴的。我們通過提出一個LLM-人在回路中的管道來解決這一挑戰，這顯著降低了成本，同時確保了高質量數據集的生成。基于這個管道和現有的粗粒度注釋數據集，我們構建了CURE基準，以測量VLMs的零樣本推理性能和一致性。我們評估了現有的最先進的VLMs，并發現即使在表現最佳的模型（BLIP-2）的情況下，也無法展示出強大的視覺推理能力和一致性，這表明需要大力努力，使VLMs能夠像人類一樣系統地和一致地進行視覺推理。作為早期步驟，我們提出了一個旨在提高VLMs的推理性能和一致性的兩階段培訓框架。第一階段涉及使用由LLMs自動生成的逐步推理樣本對VLMs進行監督微調。在第二階段中，我們進一步通過LLMs提供的反饋來增強訓練過程，以生成高度一致和基于實際的推理鏈。我們經驗性地突出了我們框架的有效性，并顯示了在推理性能和一致性方面的相對改進為4%。

//www.zhuanzhi.ai/paper/7973da2bc3cb888154e7d2c0ed548c64

盡管在深度學習方面已經取得了巨大的實踐進展，但我們對是什么使深度學習工作得很好以及為什么這樣做缺乏清晰的理論理解。在本文中，我們采用“自然科學”的方法來構建深度學習的理論。我們首先確定在跨越各種不同背景的實際深度網絡中出現的各種經驗屬性。然后，我們討論了這些實證發現可以如何用來通知理論。具體而言，我們證明:(1)與監督學習相比，經過自監督學習訓練的先進深度網絡盡管過度參數化，但在特定條件下仍能實現有限的泛化差距。(2)具有相似性能和架構的模型通常會收斂到相似的內部表示，即使它們的訓練方法有很大的不同(例如:監督學習和自監督學習)(3)插值分類器服從一種分布泛化形式——它們從訓練分布中收斂到一種條件采樣器類型。(4)深度網絡的數據擴展特性對訓練數據集的結構和噪聲水平的變化具有魯棒性。

//dash.harvard.edu/handle/1/37372168

我們的發現強調，盡管缺乏最壞情況的保證，深度網絡隱含地以可預測的、結構化的方式運行，從而為未來的理論分析奠定了基礎。

強化學習(RL)為數據驅動決策提供了一個通用框架。然而，正是這種通用性使得這種方法適用于廣泛的問題，也導致了眾所周知的效率低下。在這篇論文中，我們考慮了有趣的決策類所共有的不同屬性，這些屬性可以用來設計計算效率和數據效率都很高的學習算法。具體來說，這項工作研究了決策問題的各個方面的低秩結構和經典確定性規劃的效果稀疏性，以及基于端到端模型的方法所依賴的性能。我們首先展示了后繼表示中的低秩結構如何使高效在線學習算法的設計成為可能。類似地，我們展示了如何在Bellman算子中找到相同的結構，我們使用Bellman算子來制定最小二乘時間差分學習算法的有效變體。我們進一步探索狀態特征中的低秩結構，以學習完全允許在低維空間中進行高效規劃的有效轉換模型。然后，我們進一步了解基于模型的端到端方法，以便更好地理解它們的屬性。我們通過約束優化和隱式微分的視角來研究這類方法。通過隱式視角，我們得到了這些方法的屬性，這些屬性使我們能夠確定它們執行良好的條件。在本文的最后，探索了如何利用經典規劃問題的效果的稀疏性來定義一般的領域無關啟發式方法，通過使用基于潛在的獎勵塑造和提升函數近似，可以用來大大加快領域相關啟發式方法的學習。

//dspace.mit.edu/handle/1721.1/144562

深度學習在經驗上非常有影響力，但在理論理解上滯后。神經網絡在結構和訓練算法上都比傳統的機器學習模型復雜得多，所以傳統的理論直覺可能不適用。本文旨在從理論上更好地理解深度學習中的泛化問題。在論文的第一部分，我們研究了所有數據都有標簽的監督設置下的泛化。我們的主要工具是泛化界:通過推導和研究泛化界，我們可以深入了解深度學習中影響泛化的各種因素。

首先，我們比較了正則化神經網絡和神經正切核(NTK)的統計特性。通過建立神經網絡常見的正則化訓練損失與基于輸出邊際的泛化界之間的聯系，我們證明了正則化神經網絡比NTK解具有更好的泛化效果。其次，我們基于邊緣的新概念——全層邊緣，推導出神經網絡的新泛化邊界。與傳統的基于規范的泛化測度相比，這些邊界更依賴于數據，更具有深度，并突出了數據依賴的Lipschitzness在泛化中的重要作用。我們以經驗證明，這些邊界對于激勵新的訓練目標和理解和解密現有的正則化策略是有用的。

在論文的第二部分，我們把我們的焦點轉向涉及未標記數據的設置。在這些情況下，很難證明為什么許多算法可以工作，盡管它們有廣泛的經驗成功。

首先，我們研究了視覺設置，并提出了一個理論框架來理解最近的半監督學習和領域適應的自訓練算法。通過利用自然圖像的現實結構屬性，我們表明，在未標記數據上的自訓練導致可證明的準確性增益。此外，我們的理論框架和相關假設可以用來表明，自監督對比學習在線性探針評價下獲得了可證明的良好特征。最后，我們研究了為什么預訓練語言模型可以幫助處理NLP設置中的下游任務。我們通過潛在的潛在變量生成模型來考慮預訓練和下游任務相關的設置。我們表明，當這個生成模型是HMM或記憶增強HMM時，預訓練允許解決下游任務的可證明保證。

//searchworks.stanford.edu/view/14230987