亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在機器學習領域，我們致力于開發能夠學習的算法，即在沒有被特別編程完成某項任務的情況下，積累關于如何完成任務的知識。在這篇論文中，我們從兩個不同的角度來探討學習：我們可以應用高效機器學習者的領域以及我們可以通過更有效地解決底層優化問題來改進學習的方式。機器學習方法通常非常依賴數據。雖然現代機器學習在解決實際問題方面取得了巨大成功，但這些成功案例主要局限于有大量相關領域數據可用的設置。元學習領域旨在通過創建“學會如何學習”的模型（即能夠在給出相對較少的示例時迅速適應新任務的模型）來開發具有改進的樣本效率的模型。在本論文中，我們關注使用超網絡進行任務適應的攤銷元學習者，這些學習者成本非常有效，只需通過超網絡進行一次前向傳播即可學會如何執行新任務。我們展示了這些攤銷元學習者可以以超出其在小樣本學習設置中的典型用途的新方式來利用。

我們針對攤銷元學習者開發了一種基于集合的中毒攻擊，這種攻擊讓我們能夠定制一組協同作用的輸入，用作適應新任務的訓練數據（即作為支持集）時，這些輸入能夠欺騙系統的學習算法。這樣共同制作的對抗性輸入可以協同操縱分類器，對于具有可微適應機制的攤銷學習者來說，這種輸入尤其容易計算。我們還在可解釋性領域利用攤銷學習者進行“數據集調試”，在此過程中，我們開發了一種稱為Meta-LOO的數據價值或樣本重要性策略，可用于檢測噪聲或分布外數據；或者將一組示例提煉到其最有用的元素。

從我們的第二個角度看，機器學習和優化是密切相關的；實際上，學習可以被表述為以模型參數為目標的訓練損失最小化問題——盡管實際上我們還需要我們的算法具有泛化能力，這不是更廣泛優化的關注點。選擇的優化策略影響了算法學習的速度以及找到的解決方案（即模型參數）的質量。通過研究優化，我們可以改善我們的模型的學習效果和速度。

在這篇論文中，我們采取了雙管齊下的方法來實現這一目標。首先，我們開發了一種在線超梯度基礎的超參數優化策略，通過支持廣泛的超參數同時保持可擴展性，改進了現有的最佳技術。值得注意的是，我們的方法支持優化算法的超參數，如學習率和動量，這是文獻中類似方法不支持的。其次，我們開發了一種適用于深度學習的非凸損失景觀的二階優化策略。我們的算法近似了一個鞍點是排斥而非吸引的鞍點自由版本的Hessian，以一種適用于深度學習問題的方式。

本論文的核心目標是通過提高深度學習模型的標簽和訓練效率來增強深度學習的實用性。為此，我們研究了基于信息論原理的數據子集選擇技術，特別是主動學習和主動采樣。主動學習提高了標簽效率，而主動采樣提高了訓練效率。監督式深度學習模型通常需要大量的帶標簽數據進行訓練。標簽獲取可能既昂貴又耗時，且訓練大型模型資源密集型，這限制了其在學術研究和“大科技”公司之外的應用。深度學習中現有的數據子集選擇方法通常依賴于啟發式方法或缺乏一個原理化的信息論基礎。相比之下，本論文檢查了數據子集選擇的幾種目標及其在深度學習中的應用，力求采用一種由信息論啟發的更原理化的方法。

我們首先在單次前向傳播的深度神經網絡中區分了認知不確定性和隨機不確定性，這提供了有用的直覺和洞見，關于不同形式的不確定性及其對數據子集選擇的相關性。然后，我們提出并研究了在（貝葉斯）深度學習中進行主動學習和數據子集選擇的各種方法。最后，我們將各種現有和提出的方法與在權重或預測空間中信息量的近似聯系起來。

支撐這項工作的是一個原理化且實用的信息論量符號，包括隨機變量和觀察到的結果。這篇論文展示了從統一視角出發工作的好處，并強調了我們的貢獻對深度學習實際應用潛在影響的可能性。

機器學習（ML）通過其近期前所未有的進步正在改變社會。自回歸模型的普及正在重塑社會的各個層面，從專業領域到學術追求，甚至休閑活動。智能AI系統的一個核心方面是它們處理和理解長時間的時間信息流，如文本、音頻或視頻數據的能力。在這篇論文中，我們深入探討了學習數據中長期依賴性的問題，從兩個主要角度來解決它：模型架構和學習算法。與其致力于在當代基準分數上獲得邊際改進，這些分數通常更依賴于工程優化，本論文的重點是深入理解潛在的時間機制，探索替代學習算法，并為未來在計算效率方面的改進提供基礎。

在第一章中，我們提出了一種新方法，將眾所周知的ML模型之一，循環神經網絡（RNN）的多個實例互聯。我們提出的實證證據表明，模型架構的修改在系統組件內引發不同的時間行為。這一發現可以被利用來區分長期依賴性和短期依賴性，為使用專門為每個設計的架構鋪平了道路。

第二章聚焦于在線學習算法，這種方法顯著偏離了用于訓練時間ML模型的傳統方法。這些算法在觀察到每個輸入后立即更新其參數，與更常用的方法形成對比，后者必須觀察整個輸入序列才能更新模型參數。我們研究了實時循環學習（RTRL）在眾所周知的RNN模型中的表現，并提出了一種數學上合理的近似方法。這種新方法提供了更好的近似，盡管它只與某些架構兼容。

在最后一章中，我們同時從這兩個方面應對學習長期依賴性的挑戰。我們提出了一種分層架構，能夠通過將其分解為更小的自包含子序列來處理擴展序列。與這種架構一起，我們提出了一種學習算法，使得在抽象空間中的學習成為可能，從而繞過了專注于短期序列細節的需求。這種架構和算法的結合導致了計算效率的顯著提高。重要的是，我們的方法不僅增強了當前模型的能力，而且還為未來模型架構和學習算法的共同設計開辟了令人興奮的途徑。

如何從人工智能體中引出我們想要的行為？**指導智能系統行為的一種方法是通過獎勵設計。通過指定要優化的獎勵函數，我們可以使用強化學習（RL）使智能體能夠從自己的經驗和互動中學習。**因此，RL在能夠手動指定與預期行為良好對齊的獎勵函數的場景中取得了巨大成功（例如，使用分數作為游戲的獎勵）。然而，隨著我們發展必須在豐富多樣的現實世界中學習更復雜行為的智能系統，獎勵設計變得日益困難——并且至關重要。為了應對這一挑戰，我們認為改善獎勵信號將需要結合人類輸入的新方法。

本論文包含兩個主要部分：直接使用人類輸入或間接使用我們對人類的一般知識進行獎勵設計。在第一部分，我們提出了一個框架，用于從直接人類反饋中構建穩健的獎勵模型。我們提出了一種適用于大規模預訓練的視覺-語言模型的獎勵建模公式，這導致在視覺和語言分布偏移下更具泛化性的多模態獎勵函數。在第二部分，我們使用關于人類的廣泛知識作為獎勵設計的新型輸入形式。在人類協助設置中，我們提議使用人類賦能作為任務不可知的獎勵輸入。這使我們能夠訓練輔助智能體，避開現有基于目標推斷方法的限制，同時也旨在保護人類自主權。最后，我們研究了在人工智能體中激發探索性行為的情況。與之前為了鼓勵探索而無差別地優化多樣性的工作不同，我們提議利用人類先驗知識和普遍的世界知識來設計內在獎勵函數，從而導致更類似于人類的探索。為了更好地理解指導人類行為的內在目標如何能夠為智能體設計提供信息，我們還比較了人類和智能體在一個開放式探索設置中的行為與通常作為內在獎勵提出的信息論目標的一致性。我們以對獎勵設計挑戰和未來工作方向的一些反思結束。

從機器中引出所需行為是人工智能（AI）研究中的一個根本挑戰。盡管我們已經看到深度神經模型在生成文本（Brown et al., 2020a; Touvron et al., 2023）和圖像（Ho et al., 2020; Rombach et al., 2022）到控制機器人代理（Agarwal et al., 2023; Brohan et al., 2023）方面的能力日益顯著，但確保這些系統一致地生成與人類目標（即價值對齊（Shapiro & Shachter, 2002; Hadfield-Menell et al., 2016）或智能體對齊（Leike et al., 2018））一致的行為仍然是一個未解決的問題。同時，隨著這些系統在現實世界中的部署，實施和評估對齊變得越來越重要。 解決這個問題的一種方法是通過模仿學習來訓練智能體。也就是說，如果我們人類——從與智能系統互動的日常用戶到設計這些系統的從業者——知道理想行為可能是什么樣的，一個自然的解決方案就是創建這些行為的演示，并通過最大似然目標訓練模型來產生同樣的行為。這種模仿學習的方法在可以收集大量高質量演示數據的情況下可能非常有效（例如，在訓練大型語言模型（Brown et al., 2020a）或視覺-語言模型（Alayrac et al., 2022）的情況下利用現有的互聯網規模的文本和圖像數據，或讓人類生成機器人任務演示（Sammut et al., 1992; Jang et al., 2022））。然而，更多時候，獲取高質量且覆蓋理想行為分布的演示的過程是艱難且昂貴的。此外，僅從演示中學習可能很困難——這個過程可能導致脆弱的策略，如果智能體偏離給定演示太遠就會失敗（Camacho & Michie, 1995; Ross & Bagnell, 2010; Wang et al., 2017）。 強化學習（RL）（Sutton & Barto, 2018）提供了一個訓練智能代理的替代框架。與模仿“理想行為”的演示不同，RL使智能體能夠通過優化實現高獎勵的行為來從自己的經驗中學習。當給定的獎勵函數與理想行為良好對齊時，這個過程強化了表現出所述理想行為的學習策略。因此，在這個框架中，我們將指定理想行為的挑戰推遲到獎勵設計上。盡管我們已經看到在能夠手動指定與理想行為對齊的獎勵函數的情況下深度RL技術取得了巨大成功（例如，在游戲中使用分數（Samuel, 2000; Mnih et al., 2013）），但隨著我們試圖訓練現實世界中復雜行為的策略，獎勵設計逐漸變得更具挑戰性。獎勵設計的重要性和難度的同時增加在獎勵工程原理中得到了體現（Dewey, 2014）。實際上，即使在獎勵設計看似簡單的情況下，輕微的誤設定或漏洞也可能通過獎勵黑客或游戲化導致不良行為（Amodei et al., 2016; Leike et al., 2017）。隨著我們為越來越復雜的任務設置開發更通用的代理，我們如何在獎勵設計過程中加強人類監督？ 在這篇論文中，我們認為，為越來越通用和能力強大的代理進行獎勵設計將需要結合人類輸入的新方法。我們注意到，使用人類輸入指導獎勵設計本身并不是新穎的——以前的工作已經廣泛研究了使用人類輸入指導智能體目標的一系列方法。例如，逆強化學習從人類演示中提取獎勵函數（Russell, 1998; Ng et al., 2000; Ziebart et al., 2008），主動學習或教學可以用來通知獎勵估計（Lopes et al., 2009; Cakmak & Lopes, 2012; Hadfield-Menell et al., 2016; Sadigh et al., 2017b），或者可以使用深度神經網絡從人類反饋中建模獎勵（Leike et al., 2018）。在這里，反饋可以從對生成行為的偏好（Christiano et al., 2017; Lee et al., 2021, 2023）到直接獎勵草圖（Cabi et al., 2020）不等。Jeon et al. (2020) 提出了獎勵合理隱含選擇，這是一種統一形式，用于由人類提供的獎勵學習的不同形式的信息。Shah et al. (2020) 通過展示獎勵學習問題可以重新構想為協助的特殊情況，進一步統一了獎勵學習和協助的范式。

這篇論文的目標是通過使用直接或間接形式的人類輸入，以兩種主要方式推動獎勵設計的前沿：在前者中，我們專注于在從直接人類反饋中學習獎勵模型的環境中構建穩健性并提高人類反饋效率。在后者中，我們提出了使用我們對人類的一般知識設計更復雜行為的獎勵的新方法——即人類協助和探索。

具體來說，第2章首先介紹了從不同形式的聚合人類反饋中學習獎勵模型的一般設置。在這個領域，我們展示了我們的工作，即通過重新構思獎勵建模問題，使其適應于大規模、預訓練的視覺-語言模型，從而為高維輸入開發更具泛化性的獎勵模型。在這里，我們展示了對于語言和視覺分布變化的增強魯棒性。這使我們能夠將多模態獎勵模型擴展到豐富的、真實世界的設置中，在那里可以有許多不同的方式來完成相同的基礎任務或目標。接下來，我們詢問：我們能否基于我們對人類的一般知識設計獎勵？

第3章介紹了我們在輔助代理的獎勵設計方面的工作。輔助提出了獨特的挑戰，其中同一任務的獎勵函數可以根據每個人的獨特偏好而變化，并且當代理錯誤地推斷出個人目標時極易出現失敗模式。我們如何設計獎勵，以平衡輔助與保持個體人類自主權和偏好？我們提出重新構思輔助的目標，明確地增加人類控制，通過使用人類賦能作為獎勵輸入，這顯著提高了在輔助下的客觀人類性能，以及對助手有用性的主觀評價。第4章和第5章探討了更具挑戰性的領域：為激發探索行為而設計的獎勵。

雖然先前的工作提出了用于RL代理探索的內在獎勵函數，但這些內在獎勵通常旨在無差別地最大化多樣性。因此，它們無法很好地適應真實世界探索的復雜性，其中可以有無限多樣和有趣的狀態。另一方面，人類能夠以一種由豐富的先驗知識以及一些內在目標指導的方式探索新環境。第4章提出了用豐富的人類先驗知識指導探索，這些知識被提煉到大型語言模型中。這使我們能夠通過利用對有意義行為的先驗知識進行開放式環境的探索，這些行為是常識性的并且對上下文敏感。第5章介紹了我們對比人類和代理在開放式環境中探索行為的工作。最后，在第6章中，我們反思所學到的經驗教訓，并討論令人興奮的未來方向。

//www2.eecs.berkeley.edu/Pubs/TechRpts/2023/EECS-2023-231.html

作者介紹：

加州大學伯克利分校的四年級博士研究生，由Pieter Abbeel教授在伯克利人工智能研究（BAIR）實驗室指導。我在英屬哥倫比亞大學獲得工程物理學士學位，并輔修榮譽數學，我的指導教授是Machiel Van der Loos和Elizabeth Croft，他們是合作先進機器人與智能系統（CARIS）實驗室的成員。 此前，我還曾是FAIR（Meta）的訪問研究員，并在DeepMind和X公司，即“月球工廠”實習過。 我主要對幫助基于強化學習的代理從人類那里學習感興趣——無論是理解人類偏好、通過交互學習，還是獲取世界先驗知識。例如，我以前的一些工作包括從人類數據中訓練多模態獎勵模型、學習協助和賦能個人，以及利用常識性的人類先驗進行開放式探索。

視覺語言模型（VLMs）最近已經展示出了強大的效能，作為可以解析關于視覺內容的自然查詢并生成類似人類輸出的視覺助手。在這項工作中，我們探討了這些模型基于感知信息展示人類式推理的能力。為了解決一個關鍵問題，即這些推理能力在多大程度上是完全一致和基于實際的，我們還測量了這些模型的推理一致性。我們通過提出基于思維鏈（CoT）的一致性度量來實現這一點。然而，這樣的評估需要一個包括高級推理和詳細推理鏈的基準，這是昂貴的。我們通過提出一個LLM-人在回路中的管道來解決這一挑戰，這顯著降低了成本，同時確保了高質量數據集的生成。基于這個管道和現有的粗粒度注釋數據集，我們構建了CURE基準，以測量VLMs的零樣本推理性能和一致性。我們評估了現有的最先進的VLMs，并發現即使在表現最佳的模型（BLIP-2）的情況下，也無法展示出強大的視覺推理能力和一致性，這表明需要大力努力，使VLMs能夠像人類一樣系統地和一致地進行視覺推理。作為早期步驟，我們提出了一個旨在提高VLMs的推理性能和一致性的兩階段培訓框架。第一階段涉及使用由LLMs自動生成的逐步推理樣本對VLMs進行監督微調。在第二階段中，我們進一步通過LLMs提供的反饋來增強訓練過程，以生成高度一致和基于實際的推理鏈。我們經驗性地突出了我們框架的有效性，并顯示了在推理性能和一致性方面的相對改進為4%。

//www.zhuanzhi.ai/paper/7973da2bc3cb888154e7d2c0ed548c64

強化學習(RL)為數據驅動決策提供了一個通用框架。然而，正是這種通用性使得這種方法適用于廣泛的問題，也導致了眾所周知的效率低下。在這篇論文中，我們考慮了有趣的決策類所共有的不同屬性，這些屬性可以用來設計計算效率和數據效率都很高的學習算法。具體來說，這項工作研究了決策問題的各個方面的低秩結構和經典確定性規劃的效果稀疏性，以及基于端到端模型的方法所依賴的性能。我們首先展示了后繼表示中的低秩結構如何使高效在線學習算法的設計成為可能。類似地，我們展示了如何在Bellman算子中找到相同的結構，我們使用Bellman算子來制定最小二乘時間差分學習算法的有效變體。我們進一步探索狀態特征中的低秩結構，以學習完全允許在低維空間中進行高效規劃的有效轉換模型。然后，我們進一步了解基于模型的端到端方法，以便更好地理解它們的屬性。我們通過約束優化和隱式微分的視角來研究這類方法。通過隱式視角，我們得到了這些方法的屬性，這些屬性使我們能夠確定它們執行良好的條件。在本文的最后，探索了如何利用經典規劃問題的效果的稀疏性來定義一般的領域無關啟發式方法，通過使用基于潛在的獎勵塑造和提升函數近似，可以用來大大加快領域相關啟發式方法的學習。

//dspace.mit.edu/handle/1721.1/144562

在本文中，我們開發并分析了三種不同機器學習環境下的魯棒性算法。在論文的第一部分，我們介紹了隱藏分層的問題——當一個分類模型在數據的某些未標記子類上表現不佳時——并提出了一種檢測和緩解這個問題的方法。以前的工作研究了如何在已知子類標簽的情況下處理這個問題。基于經驗觀察，未標記的子類通常在深度神經網絡的特征空間中是可分離的，我們轉而使用聚類技術估計數據的子類標簽。然后，我們使用估計的子類標簽作為分布魯棒優化目標中的一種噪聲監督形式，以便訓練一個對子類間變化更魯棒的模型。我們在幾個魯棒的圖像分類基準上證明了我們的方法的有效性。我們簡要討論了以下幾種替代方法:1)使用有限數量的子類標簽來進一步提高性能，2) 使用對比學習來學習不太容易受隱藏分層影響的表示。在論文的第二部分，我們研究了結構化分布漂移下的分類模型評價問題。給定來自“源”分布的標記樣本和來自“目標”分布的未標記樣本，重要性加權是執行這種評估的標準方法;然而，重要性加權在高維設置中會遇到困難，當源分布中不包含目標分布的支持時，重要性加權就會失敗。我們表明，人們可以通過對分布轉移性質的一些預見來回避這些問題;具體來說，我們提出了一種使用用戶定義的“切片函數”(旨在捕獲可能的分布偏移軸的二進制函數)來估計目標分布上的性能的算法。我們從理論上描述了我們的方法對切片函數中的噪聲和不完全性的魯棒性，并在各種分類任務上驗證了它的有效性。在論文的第三部分，我們提出了一種加速梯度法來有效地最小化一類光滑結構非凸函數，我們稱之為“類凸”函數。該算法是經典凸函數加速梯度下降法的推廣，對迭代間可能存在的非凸性具有較強的魯棒性。我們提供了一階求值次數的上界和下界，我們的算法需要找到一個近似最優，這表明我們的算法具有最優復雜度到對數因子

//searchworks.stanford.edu/view/14172616

疾病知識圖譜是一種連接、組織和訪問有關疾病的不同信息的方式，對人工智能(AI)有許多好處。為了創建知識圖譜，需要以疾病概念之間關系的形式從多模態數據集中提取知識，并對概念和關系類型進行規范化。我們介紹一種用于疾病關系提取和分類的多模式方法REMAP。REMAP機器學習方法將局部、不完全知識圖譜和醫學語言數據集嵌入到緊湊的潛向量空間中，然后對齊多模態嵌入以提取最佳疾病關系。應用REMAP方法構建了一個疾病知識圖譜，關聯關系為96,913個，文本數據集為124萬句。在人類專家標注的數據集上，REMAP通過融合疾病知識圖和文本信息，將基于文本的疾病關系提取提高了10.0%(準確率)和17.2% (F1-score)。此外，REMAP利用文本信息推薦知識圖譜中的新關系，比基于圖的方法高出8.4%(準確性)和10.4% (F1-score)。系統化的知識正在成為人工智能的支柱，創造了將語義注入人工智能并將其充分整合到機器學習算法中的機會。雖然先前的語義知識可以幫助從文本中提取疾病關系，現有的方法不能充分利用多模態數據集。REMAP是一種融合結構化知識和文本信息的多模式疾病關系提取和分類方法。REMAP提供了一個靈活的神經體系結構，可以很容易地發現、訪問和驗證AI驅動的疾病概念之間的關系。

//zitniklab.hms.harvard.edu/projects/REMAP/

本博士論文包含了對統計因果模型領域的幾個貢獻。統計因果模型是嵌入因果假設的統計模型，允許對受外部操縱(干預)影響的隨機系統的行為進行推斷和推理。本文在因果效應估計、因果結構學習和分布魯棒(非分布廣義)預測方法等方面進行了深入的研究。我們提出了新的和一致的線性和非線性因果效應估計工具變量設置，采用數據依賴的均方預測誤差正則化。我們提出的估計量顯示，在某些情況下，均方誤差比標準和最先進的估計量都有所改善。我們表明，最近對分布穩健預測方法的研究與計量經濟學中經過充分研究的估計量有關。由此證明了一般k類估計具有分布魯棒性。此外，我們提出了一個關于干預誘發分布的分布穩健性的一般框架。在這個框架中，我們推導了分布魯棒預測方法可識別的充分條件，并給出了一些不可能的結果，證明了這些條件的必要性。提出了一種新的結構學習方法，適用于以有向樹為因果圖的加性噪聲模型。我們證明了消失可辨識性設置中的一致性，并提供了一種方法來檢驗具有漸近家族誤差控制的子結構假設，該方法在選擇后仍然有效。最后，我們提出了學習非線性時間序列模型總結圖的啟發式思想。

題目： Stochastic Graph Neural Networks

簡介：

圖神經網絡（GNN）對圖數據中的非線性表示進行建模，并在分布式智能體協調，控制和規劃等方面進行了應用。當前的GNN架構假設理想情況，并且忽略由于環境，人為因素或外部攻擊而發生的波動。在這些情況下，如果未考慮拓撲隨機性，則GNN無法解決其分布式任務。為了克服這個問題，我們提出了隨機圖神經網絡（SGNN）模型：一種GNN，其中分布式圖卷積模塊解決了隨機網絡的變化。由于隨機性引入了新的學習范式，因此我們對SGNN輸出方差進行統計分析，以識別學習濾波器為實現向擾動場景的魯棒轉移而應滿足的條件，最終揭示隨機鏈路損耗的顯式影響。我們進一步為SGNN開發了基于隨機梯度下降（SGD）的學習過程，并推導了學習速率收斂的條件，在該條件下該學習過程收斂于平穩點。數值結果證實了我們的理論研究，并將SGNN魯棒與傳統GNN的優勢進行了比較，后者在學習過程中忽略了圖形擾動。