亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

自然現象的不可約復雜性促使圖神經網絡成為執行圖結構數據上表示學習任務的標準模型。盡管它們捕捉局部與全局模式的能力十分出色，但與長距離和高階依賴相關的問題為這些模型帶來了相當大的挑戰。本工作通過首先識別負面影響圖神經網絡在學習強依賴于長距離交互事件的表示時性能的各個方面，來應對這些挑戰。特別是，當圖神經網絡需要在遠距離節點之間聚合消息時，消息傳遞機制會將指數級增長的信息量過度壓縮到靜態向量中。 值得注意的是，對于某些類別的圖（即路徑、樹、網格、環形和梯形），底層的連通性允許消息沿著邊緣傳遞，而不會遇到來自其他路徑的顯著干擾，從而將信息的增長量控制在線性級別上。 當底層圖不屬于上述類別時，會出現過度壓縮現象，因為信息的傳播發生在通過邊緣相連的節點之間，這導致了計算圖反映節點的連通性。這一現象導致節點對來自圖遠端的信息變得不敏感。為了提供一種緩解此類瓶頸的新架構設計視角，一個統一的理論框架揭示了網絡的寬度、深度和圖拓撲對消息傳遞神經網絡中過度壓縮現象的影響。 然后，論文轉向通過拓撲神經網絡利用高階交互。憑借多關系歸納偏見，拓撲神經網絡通過更高維度的結構傳遞消息，有效地提供信息流的快捷方式或額外路線。通過這種構建，底層的計算圖不再與輸入圖結構耦合，從而緩解了上述瓶頸，同時也考慮了高階交互。受到圖注意力網絡中開發的掩蔽自監督學習機制以及由單純形和胞腔復合體提供的豐富連通性的啟發，提出了兩種不同的注意力架構：單純形注意力網絡和胞腔注意力網絡。 這些架構背后的理念是利用特定排列的節點組內單純形或胞腔復合體提供的擴展鄰域概念。特別是，這些拓撲注意力網絡利用底層復合體的上下鄰接性來設計能夠衡量來自不同區域信息重要性的各向異性聚合。通過這樣做，它們捕捉到傳統圖神經網絡可能錯過的依賴關系。 最后，通過增強的細胞同構網絡引入了一個高階結構之間的通信方案，它通過讓一個胞腔復合體的所有細胞從它們的下層鄰域接收消息來增強拓撲消息傳遞方案。這種升級使得在胞腔復合體內的節點組之間，特別是以環狀結構排列的，能夠直接互動。這種增強的方案為高階和長距離交互提供了更全面的表示，展示了在大規模和長距離基準測試上的非常高性能。 在深度學習的不斷演進的景觀中，數據中存在的關系模式已變得至關重要，用以解決圖結構數據的表示學習任務。本論文從這一視角出發，探索了拓撲神經網絡的領域，強調了代數拓撲學領域的概念與在離散拓撲空間上執行表示學習任務之間的協同作用。本工作的目標結構旨在確保在理解高階交互及其在推進神經架構方面的角色上具有深度和廣度。

具體而言，本論文的目標是：

• 基礎知識：深入圖論和代數拓撲學領域，了解如何利用圖、單純形復合體和胞腔復合體來構建高級神經架構，以在拓撲空間上執行表示學習任務（第2章）。
• 當代GNNs的挑戰：解析圖神經網絡（GNNs），指出它們的局限性，特別強調過度壓縮現象。通過理解網絡深度、寬度和拓撲的影響，本論文為展示拓撲方法如何在處理長距離交互時緩解圖神經網絡的瓶頸奠定了基礎（第3章）。
• 設計拓撲擴展：開發新型的拓撲神經網絡架構，如單純形注意力網絡、胞腔注意力網絡和增強的拓撲消息傳遞（CIN++），這些架構融合了代數拓撲的原則，以納入長距離和高階交互（第4章）。
• 實證評估：對所提出的模型進行實驗評估，實證地確認這些主張，并將所提出的架構與該領域現有的最先進方法進行比較，突出了在結構化學習場景中納入拓撲方法的優勢和有效性（第5章）。
• 更廣泛的視角：討論拓撲神經網絡在各個領域的影響，同時也討論其限制，并提供未來的發展方向（第6章）。

動態穩定移動操縱器的使用正從受控研究實驗室擴展到真實世界。然而，自主操縱技能仍然專門用于單一任務，并且只能處理對象物理屬性的有限變化，這阻礙了機器人在非結構化人類環境中的部署。本論文關注于動態穩定移動操縱器的整體運動規劃和控制，以及為控制器提供實時適應由于與物體交互而引起的機器人動力學變化。

動態穩定移動操縱器，即配備機器人手臂的積極平衡移動機器人，在為人類設計的環境中工作潛力非常大。然而，它們的靈活性和順應性需要高控制復雜性。傳統的控制策略將移動和操縱問題分別處理，需要額外的啟發式方法來實現整體協調。此外，基于逆動力學的控制器不考慮系統未來的演變，這對平衡控制至關重要。另一方面，在本論文中，我們提出了一種基于模型預測控制（MPC）的整體運動規劃和控制公式。我們的方法利用了完整的機器人動力學，并共同優化平衡、基座追蹤、末端執行器追蹤和環境交互。我們在一個球平衡操縱器的廣泛實驗中驗證了所提出的整體MPC控制器。

當機器人動力學不準確或操縱新物體時，模型不確定性可能嚴重影響MPC的性能和通用性。為了解決這個問題，我們提出了兩種在線適應方案，用于MPC系統動力學中的物體參數，我們在一個球平衡操縱器的開門和舉起物體任務中展示了這一點。盡管我們最初將外部環境建模為線性系統，但對于更復雜的操縱任務或機器人動力學中的不確定性，需要更具描述性的表示。因此，我們提出將模型誤差近似為三角函數基函數的線性組合。假設當機器人執行類似操縱任務時，動力學的基本結構不會發生顯著變化，我們從相關實驗中收集的數據學習基函數的超參數，例如，讓機器人打開具有不同剛度系數的門。執行新任務時，基函數的超參數保持不變，而線性參數在線適應。我們在仿真和硬件實驗中測試了得到的多任務學習MPC控制器，并與其他自適應MPC控制器進行了廣泛比較。

最后，為了在參數不確定性下獲得更好的跟蹤性能，我們將機器人操縱器自適應控制中導出的控制Lyapunov函數（CLF）約束納入最優控制問題的不等式集合中。因此，我們獲得了一種結合了CLFs和MPC優勢的自適應控制器，在機器人與未知物體交互時提供了改進的性能，并減少了對MPC預測范圍調整的依賴。我們通過與幾個基線的比較展示了所提方法的優勢，并在一個四足機器人搬運磚塊和拖拽重箱的硬件測試中驗證了它。

從人本主義的角度建立人工智能系統的迫切性日益增加，因為從個性化推薦系統到語言和圖像生成模型的大規模機器學習系統每天都在與人互動。在這篇論文中，我們提出了一條從人本主義的角度建立這些系統的指導方針。我們的指南包含三個步驟：（i）識別學習任務中所關注的人的角色和他們的核心特性；（ii）以一種有用且可靠的方式對這些特性進行建模；和（iii）以原則性的方式將這些模型納入學習算法的設計中。我們將這一指南應用于兩個應用：個性化推薦系統和決策支持系統。對于推薦系統，我們按照指南（i）關注用戶不斷變化的偏好，（ii）將它們模型化為動態系統，和（iii）開發具有可證明保證的高效在線學習算法，與具有不同偏好動態的用戶互動。對于決策支持系統，我們（i）選擇決策者的風險偏好作為關注的核心特性，（ii）將它們模型化到系統的目標函數中，和（iii）為在多樣風險偏好下學習模型提供具有統計保證的一般程序。我們最后討論了以人為中心的機器學習的未來，以及這一領域中跨學科研究的角色。

機器學習模型對抗性攻擊的脆弱性的理解日益重要。在對抗性機器學習中，一個基本問題是在存在所謂的規避攻擊的情況下量化需要多少訓練數據，其中數據在測試時會被損壞。在本論文中，我們采用了“球內精確性”概念，從學習理論的角度研究了對抗性魯棒學習的可行性，考慮樣本復雜性。我們首先得出了兩個負面結果。我們證明，在無分布設置下，任何非平凡的概念類都不能在對手能夠擾動單個輸入位的情況下得到魯棒學習。然后，我們展示了樣本復雜性的下界：單調合取的類以及布爾超立方體上的任何超類，其樣本復雜性至少是對手預算（即每個輸入上可以擾動的最大位數）的指數函數。特別地，這意味著在均勻分布下，不能對那些可以擾動輸入的 ω(log n) 位的對手進行魯棒學習。

作為獲得魯棒性學習保證的第一條途徑，我們考慮限制用于訓練和測試數據的分布類別。我們關注概率分布在輸入數據上滿足Lipschitz條件的學習問題：附近的點具有類似的概率。我們證明，如果對手被限制在擾動 O(log n) 位的情況下，那么可以在對數Lipschitz分布類別的條件下魯棒地學習單調合取類。然后，我們擴展了這一結果，展示了在相同的分布和對抗環境中學習 1-決策列表、2-決策列表和單調 k-決策列表的可行性。最后，我們展示對于每個固定的 k 值，k-決策列表類在 log(n) 有界對手條件下具有多項式樣本復雜性。考慮中間的 k-決策列表子類的優勢在于，我們能夠為這些情況獲得改進的樣本復雜性界限。

作為第二條途徑，我們研究了學習模型，其中學習者通過使用局部查詢獲得了更多的能力。我們首先考慮的學習模型使用局部成員查詢（LMQ），在該模型中，學習者可以查詢接近訓練樣本的點的標簽。我們證明，在均勻分布下，即使在學習者除了隨機示例外還可以訪問LMQ的情況下，對于擾動預算為 O(log n) 的對手，魯棒學習合取類和任何超類對于對數Lipschitz分布仍然不可避免地需要對對手的預算呈指數依賴。面對這個負面結果，我們引入了局部等價查詢預測器，該預測器返回假設和目標概念在訓練樣本中的某個點周圍區域內是否一致，以及如果存在反例的話也會返回反例。我們證明了一個分離結果：一方面，如果查詢半徑 λ 嚴格小于對手的擾動預算 ρ，那么在多種概念類別中是不可能進行無分布魯棒學習的；另一方面，當 λ = ρ 時，我們能夠在無分布環境中開發出魯棒的經驗風險最小化算法。然后，我們基于在線學習保證來限制這些算法的查詢復雜性，并在合取式特殊情況下進一步改進這些界限。接著，我們提供了一個在 {0, 1} n 上的半空間魯棒學習算法。最后，由于在 R n 上的半空間查詢復雜性是無界的，我們轉而考慮具有有界精度的對手，并在這種情況下給出了查詢復雜性的上界。

盡管在深度學習方面已經取得了巨大的實踐進展，但我們對是什么使深度學習工作得很好以及為什么這樣做缺乏清晰的理論理解。在本文中，我們采用“自然科學”的方法來構建深度學習的理論。我們首先確定在跨越各種不同背景的實際深度網絡中出現的各種經驗屬性。然后，我們討論了這些實證發現可以如何用來通知理論。具體而言，我們證明:(1)與監督學習相比，經過自監督學習訓練的先進深度網絡盡管過度參數化，但在特定條件下仍能實現有限的泛化差距。(2)具有相似性能和架構的模型通常會收斂到相似的內部表示，即使它們的訓練方法有很大的不同(例如:監督學習和自監督學習)(3)插值分類器服從一種分布泛化形式——它們從訓練分布中收斂到一種條件采樣器類型。(4)深度網絡的數據擴展特性對訓練數據集的結構和噪聲水平的變化具有魯棒性。

//dash.harvard.edu/handle/1/37372168

我們的發現強調，盡管缺乏最壞情況的保證，深度網絡隱含地以可預測的、結構化的方式運行，從而為未來的理論分析奠定了基礎。

強化學習(RL)為數據驅動決策提供了一個通用框架。然而，正是這種通用性使得這種方法適用于廣泛的問題，也導致了眾所周知的效率低下。在這篇論文中，我們考慮了有趣的決策類所共有的不同屬性，這些屬性可以用來設計計算效率和數據效率都很高的學習算法。具體來說，這項工作研究了決策問題的各個方面的低秩結構和經典確定性規劃的效果稀疏性，以及基于端到端模型的方法所依賴的性能。我們首先展示了后繼表示中的低秩結構如何使高效在線學習算法的設計成為可能。類似地，我們展示了如何在Bellman算子中找到相同的結構，我們使用Bellman算子來制定最小二乘時間差分學習算法的有效變體。我們進一步探索狀態特征中的低秩結構，以學習完全允許在低維空間中進行高效規劃的有效轉換模型。然后，我們進一步了解基于模型的端到端方法，以便更好地理解它們的屬性。我們通過約束優化和隱式微分的視角來研究這類方法。通過隱式視角，我們得到了這些方法的屬性，這些屬性使我們能夠確定它們執行良好的條件。在本文的最后，探索了如何利用經典規劃問題的效果的稀疏性來定義一般的領域無關啟發式方法，通過使用基于潛在的獎勵塑造和提升函數近似，可以用來大大加快領域相關啟發式方法的學習。

//dspace.mit.edu/handle/1721.1/144562

這篇論文表明，通過神經符號模型的視角來看待智能系統比傳統的深度學習方法有幾個好處。神經符號模型包含符號程序性構造，如循環、條件和連續的神經成分。符號部分使模型具有可解釋性、泛化性和穩健性，而神經部分處理智能系統的復雜性。具體而言，本文提出了兩類神經符號模型——狀態機和神經符號transformers，并以基于強化學習的自主系統和多機器人系統為例對它們進行了評估。這些案例研究表明，學習的神經符號模型是人類可讀的，可以外推到看不見的場景，并可以處理規范中的穩健目標。為了有效地學習這些神經符號模型，我們引入了利用機器學習和程序合成的最新技術的神經符號學習算法。

//dspace.mit.edu/handle/1721.1/143249

近年來，我們已經看到了預訓練神經網絡來學習可遷移到視覺和NLP中看不見的下游任務的表征的巨大好處。然而，這種學習范式在諸如設計優化或控制等決策方面的研究還不多。在這篇論文中，我們概述了兩個問題設置，可以受益于在決策制定的背景下的預訓練。首先，我們描述了一個用于自動化設計優化的設置，特別是電路設計優化，在該設置中，特定領域的先驗數據可以有效地提高基于模型的優化方法的樣本效率。本文對如何提高基于模型的進化算法和貝葉斯優化方法的樣本效率提出了新的思路，并進行了實證和理論分析。在第二個問題設置中，我們將討論如何從大型任務無關數據集中利用無監督的預訓練來提取行為表征，并進行少量的模仿學習。我們發現，當新任務的例子演示稀缺時，預訓練agent提取技能是使他們準備進行少樣本模仿的一個實用方向。

//www2.eecs.berkeley.edu/Pubs/TechRpts/2022/EECS-2022-35.html

本博士論文包含了對統計因果模型領域的幾個貢獻。統計因果模型是嵌入因果假設的統計模型，允許對受外部操縱(干預)影響的隨機系統的行為進行推斷和推理。本文在因果效應估計、因果結構學習和分布魯棒(非分布廣義)預測方法等方面進行了深入的研究。我們提出了新的和一致的線性和非線性因果效應估計工具變量設置，采用數據依賴的均方預測誤差正則化。我們提出的估計量顯示，在某些情況下，均方誤差比標準和最先進的估計量都有所改善。我們表明，最近對分布穩健預測方法的研究與計量經濟學中經過充分研究的估計量有關。由此證明了一般k類估計具有分布魯棒性。此外，我們提出了一個關于干預誘發分布的分布穩健性的一般框架。在這個框架中，我們推導了分布魯棒預測方法可識別的充分條件，并給出了一些不可能的結果，證明了這些條件的必要性。提出了一種新的結構學習方法，適用于以有向樹為因果圖的加性噪聲模型。我們證明了消失可辨識性設置中的一致性，并提供了一種方法來檢驗具有漸近家族誤差控制的子結構假設，該方法在選擇后仍然有效。最后，我們提出了學習非線性時間序列模型總結圖的啟發式思想。

隨著互聯網的興起，每天都有不同形式的大量的文本數據產生：新聞、研究文獻、 博客、論壇文字以及社交媒體評論等。很多重要有用的信息隱藏在其中，如何從這些自 由文本中自動抽取所需要的信息是一個關鍵并且重要的一步。信息抽取任務就是為此目 標而誕生。本文主要研究信息抽取子任務之一的實體關系抽取任務。該任務旨在識別文 本中出現的實體，并判斷出實體之間存在的關系。

傳統的有監督實體關系抽取通常采用基于流水線的方法，即實體模型和關系模型 分開訓練。在測試階段，先用實體模型識別出實體，然后關系模型找出這些實體之間的 關系。這種流水線的方法存在著錯誤傳播的缺點，前一個任務的錯誤會累積到后一個任 務。為了緩解這一問題，研究人員提出了聯合模型。聯合模型將兩個子模型統一建模， 可以進一步利用兩個任務之間的潛在信息，以緩解錯誤傳播的缺點。聯合模型的難點是 如何加強實體模型和關系模型之間的交互，比如實體模型和關系模型的輸出之間存在著 一定的約束，在建模的時候考慮到此類約束將有助于聯合模型的性能。

另一方面，為了解決實體關系抽取數據集難以獲得的問題，遠程監督的方法也被提 出來。其主要思想是利用知識庫和大規模文本數據對齊，自動構建大規模的訓練集。然 而，遠程監督方法的缺點是自動構建的訓練集中存在著很多的噪音數據，這些噪音數據 的存在對遠程監督實體關系抽取有著很大的負面影響。此外，在有些應用場景中可能沒 有現成的知識庫可以用來進行遠程監督，如何解決類似的數據噪音和數據缺失問題也是 一大挑戰。

根據實體關系抽取方法的研究現狀，本文從數據和聯合模型兩個角度探索了幾種實 體關系抽取聯合模型，并且探究了所提出模型的優勢和不足。具體來說，本文的主要貢 獻有

• 1. 為了緩解遠程監督中的噪音樣本問題，本文提出利用少量高質量異構的人工標注 數據集幫助遠程監督實體關系抽取任務。本文設計了一個基于多任務學習的融合 框架，并且在融合過程中考慮到子模型之間的一致性約束，從而實現知識的遷移。本文提出的系統在標準遠程監督數據集能夠顯著的提高聯合抽取的性能（數據角 度）。
• 2. 為了解決某些領域沒有現成知識庫無法進行遠程監督的問題，本文提出利用語言 學規則進行遠程監督。首先應用領域無關的語言學規則自動構建訓練集，然后使用 分類器在得到的訓練集上進行訓練，最后利用分類器進一步抽取語言學規則無法 覆蓋的新的實體關系。本文提出的算法很快并且適用于大規模數據。在 Amazon 在 i 線評論數據集上的實驗表明了本文提出的算法明顯優于多個基準模型（數據角度）。
• 3. 為了加強實體模型和關系模型之間的交互，本文提出基于風險最小化訓練方法的 聯合實體關系抽取模型，通過優化全局的損失函數以達到加強實體模型和關系模 型之間聯系的目的。在 ACE05 數據集上的實驗證明了提出模型的有效性（聯合模 型角度）。
• 4. 為了同時考慮到實體類型和關系類型的信息，本文提出一個基于圖卷積網絡的聯 合模型用于實體關系抽取。我們構造了實體-關系二分圖，并在圖上運行圖卷積網 絡，從而捕獲多個實體和多個關系之間的信息。在 ACE05 數據集上的實驗證明了 提出模型的有效性（聯合模型角度）。

//www.czsun.site/