亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

機器學習(ML)通過其近期前所未有的進步正在改變社會。自回歸模型的普及正在重塑社會的各個層面,從專業領域到學術追求,甚至休閑活動。智能AI系統的一個核心方面是它們處理和理解長時間的時間信息流,如文本、音頻或視頻數據的能力。在這篇論文中,我們深入探討了學習數據中長期依賴性的問題,從兩個主要角度來解決它:模型架構和學習算法。與其致力于在當代基準分數上獲得邊際改進,這些分數通常更依賴于工程優化,本論文的重點是深入理解潛在的時間機制,探索替代學習算法,并為未來在計算效率方面的改進提供基礎。

在第一章中,我們提出了一種新方法,將眾所周知的ML模型之一,循環神經網絡(RNN)的多個實例互聯。我們提出的實證證據表明,模型架構的修改在系統組件內引發不同的時間行為。這一發現可以被利用來區分長期依賴性和短期依賴性,為使用專門為每個設計的架構鋪平了道路。

第二章聚焦于在線學習算法,這種方法顯著偏離了用于訓練時間ML模型的傳統方法。這些算法在觀察到每個輸入后立即更新其參數,與更常用的方法形成對比,后者必須觀察整個輸入序列才能更新模型參數。我們研究了實時循環學習(RTRL)在眾所周知的RNN模型中的表現,并提出了一種數學上合理的近似方法。這種新方法提供了更好的近似,盡管它只與某些架構兼容。

在最后一章中,我們同時從這兩個方面應對學習長期依賴性的挑戰。我們提出了一種分層架構,能夠通過將其分解為更小的自包含子序列來處理擴展序列。與這種架構一起,我們提出了一種學習算法,使得在抽象空間中的學習成為可能,從而繞過了專注于短期序列細節的需求。這種架構和算法的結合導致了計算效率的顯著提高。重要的是,我們的方法不僅增強了當前模型的能力,而且還為未來模型架構和學習算法的共同設計開辟了令人興奮的途徑。

付費5元查看完整內容

相關內容

博士論文是由攻讀博士學位的研究生所撰寫的學術論文。它要求作者在博士生導師的指導下,選擇自己能夠把握和駕馭的潛在的研究方向,開辟新的研究領域。由此可見,這就對作者提出了較高要求,它要求作者必須在本學科的專業領域具備大量的理論知識,并對所學專業的理論知識有相當深入的理解和思考,同時還要具有相當水平的獨立科學研究能力,能夠為在學科領域提出獨創性的見解和有價值的科研成果。因而,較之學士論文、碩士論文,博士論文具有更高的學術價值,對學科的發展具有重要的推動作用。

我們正處于一個新技術時代的邊緣,技術無縫地融入我們的日常生活。進入這個勇敢的新世界需要始終在線的人工智能和增強現實的融合。然而,我們仍然需要克服許多挑戰才能實現這一愿景。這篇論文解決了仍然存在的三個關鍵挑戰:3D重建、3D場景理解和3D場景編輯。增強現實應用要求對世界進行重建,并不斷用新信息更新。因此,我們首先解決了在在線系統中逐步融合噪聲和異常數據的挑戰。我們從數據驅動的角度出發,利用學習到的場景表示,通過機器學習的力量提高現有方法的效率。然而,僅有空間意識是不夠的。因此,我們轉向3D場景理解,我們面對為3D語義分割模型注釋數據集的高成本挑戰。我們引入了一個自動化的語義注釋流程,達到人類注釋質量,將最先進模型的預測統一到一個共享的標簽空間中,并通過3D提升進一步改進。此外,我們將在線重建流程擴展到語義映射,通過一個時空注意力機制克服有限的接收字段問題,這個機制有效地結合了2D和3D以及過去的信息。在最后部分,我們探索了使用神經輻射場進行3D場景編輯。因此,我們提出了一種方法,利用在強大的2D修復方法中編碼的先驗知識來移除場景中的對象。這需要在優化階段設計一個基于信心的視圖選擇機制,以確保最終重建中的多視圖一致性。

付費5元查看完整內容

動態穩定移動操縱器的使用正從受控研究實驗室擴展到真實世界。然而,自主操縱技能仍然專門用于單一任務,并且只能處理對象物理屬性的有限變化,這阻礙了機器人在非結構化人類環境中的部署。本論文關注于動態穩定移動操縱器的整體運動規劃和控制,以及為控制器提供實時適應由于與物體交互而引起的機器人動力學變化。

動態穩定移動操縱器,即配備機器人手臂的積極平衡移動機器人,在為人類設計的環境中工作潛力非常大。然而,它們的靈活性和順應性需要高控制復雜性。傳統的控制策略將移動和操縱問題分別處理,需要額外的啟發式方法來實現整體協調。此外,基于逆動力學的控制器不考慮系統未來的演變,這對平衡控制至關重要。另一方面,在本論文中,我們提出了一種基于模型預測控制(MPC)的整體運動規劃和控制公式。我們的方法利用了完整的機器人動力學,并共同優化平衡、基座追蹤、末端執行器追蹤和環境交互。我們在一個球平衡操縱器的廣泛實驗中驗證了所提出的整體MPC控制器。

當機器人動力學不準確或操縱新物體時,模型不確定性可能嚴重影響MPC的性能和通用性。為了解決這個問題,我們提出了兩種在線適應方案,用于MPC系統動力學中的物體參數,我們在一個球平衡操縱器的開門和舉起物體任務中展示了這一點。盡管我們最初將外部環境建模為線性系統,但對于更復雜的操縱任務或機器人動力學中的不確定性,需要更具描述性的表示。因此,我們提出將模型誤差近似為三角函數基函數的線性組合。假設當機器人執行類似操縱任務時,動力學的基本結構不會發生顯著變化,我們從相關實驗中收集的數據學習基函數的超參數,例如,讓機器人打開具有不同剛度系數的門。執行新任務時,基函數的超參數保持不變,而線性參數在線適應。我們在仿真和硬件實驗中測試了得到的多任務學習MPC控制器,并與其他自適應MPC控制器進行了廣泛比較。

最后,為了在參數不確定性下獲得更好的跟蹤性能,我們將機器人操縱器自適應控制中導出的控制Lyapunov函數(CLF)約束納入最優控制問題的不等式集合中。因此,我們獲得了一種結合了CLFs和MPC優勢的自適應控制器,在機器人與未知物體交互時提供了改進的性能,并減少了對MPC預測范圍調整的依賴。我們通過與幾個基線的比較展示了所提方法的優勢,并在一個四足機器人搬運磚塊和拖拽重箱的硬件測試中驗證了它。

付費5元查看完整內容

從人本主義的角度建立人工智能系統的迫切性日益增加,因為從個性化推薦系統到語言和圖像生成模型的大規模機器學習系統每天都在與人互動。在這篇論文中,我們提出了一條從人本主義的角度建立這些系統的指導方針。我們的指南包含三個步驟:(i)識別學習任務中所關注的人的角色和他們的核心特性;(ii)以一種有用且可靠的方式對這些特性進行建模;和(iii)以原則性的方式將這些模型納入學習算法的設計中。我們將這一指南應用于兩個應用:個性化推薦系統和決策支持系統。對于推薦系統,我們按照指南(i)關注用戶不斷變化的偏好,(ii)將它們模型化為動態系統,和(iii)開發具有可證明保證的高效在線學習算法,與具有不同偏好動態的用戶互動。對于決策支持系統,我們(i)選擇決策者的風險偏好作為關注的核心特性,(ii)將它們模型化到系統的目標函數中,和(iii)為在多樣風險偏好下學習模型提供具有統計保證的一般程序。我們最后討論了以人為中心的機器學習的未來,以及這一領域中跨學科研究的角色。

付費5元查看完整內容

雷達在惡劣條件下以及遠程的感測能力使其成為移動機器人應用中視覺和激光雷達的有價值的替代品。然而,雷達復雜、與場景相關的感測過程和顯著的噪聲缺陷使得使用雷達具有挑戰性。超越迄今為止文獻中占主導地位的經典基于規則的方法,本論文探討了在機器人學的一系列任務中深入且數據驅動的解決方案。

首先,開發了一種深度方法,用于將原始傳感器測量映射到占用概率的網格地圖,其性能顯著超越了經典的過濾方法。捕捉到占用狀態的分布,此外還允許識別和管理預測中的不確定性。該方法完全使用從激光雷達自動生成的部分標簽進行訓練,無需手動標記。

接下來,提出了一個深度模型,用于從模擬的高程圖生成隨機雷達測量值。該模型通過學習前向和后向過程來進行訓練,結合使用對抗性和周期性一致性約束與部分對齊損失,使用激光雷達生成的標簽。通過忠實地復制雷達的感測過程,可以使用在模擬中容易獲得的標簽,為下游任務訓練新模型。在這種情況下,模擬雷達測量值上訓練的分割模型在真實世界中部署時,其性能接近完全在真實世界測量值上訓練的模型。

最后,探討了應用于雷達測距任務的深度方法的潛力。學習的特征空間與經典的相關掃描匹配過程相結合,并針對姿態預測進行優化,使得所提出的方法在性能上顯著超越了之前的最新技術。通過概率性的考慮,姿態的不確定性也得到了成功的描述。在此成功的基礎上,利用傅里葉變換的性質分離了平移和角度的搜索。結果顯示,這種解耦搜索在運行時間性能上有了顯著的提升,使得該方法可以在CPU和嵌入式設備上實時運行,同時仍與文獻中提出的其他雷達測距方法保持競爭力。

付費5元查看完整內容

氣候變化是我們這個時代最緊迫的問題之一,需要社會各個領域迅速動員許多工具和方法。機器學習被提議為其中一種工具,有可能補充和加強現有的氣候變化工作。在這篇論文中,我們提供了幾個方向,用于原則性地設計和使用基于機器學習的方法(特別側重于深度學習)來解決電力領域的與氣候相關的問題。在論文的第一部分,我們提出了統計和優化的方法來估計電網上的關鍵量。具體來說,我們使用基于回歸的工具來評估用于評估電力系統干預的與氣候和健康相關的排放因素。我們還提出了一種基于矩陣補全的方法來估計電力分配系統上的電壓,以實現分布式太陽能的集成。

受到這項工作的啟發,論文的第二部分,我們關注的是設計深度學習方法,這些方法明確捕捉了與應用場景相關的物理學、硬性約束和領域知識。特別是,我們利用深度學習中的隱含層工具來設計預測方法,這些方法對模型輸出將用于的下游(隨機)決策過程有認知。我們還設計了快速、保持可行性的神經近似器,用于具有硬性約束的優化問題,以及證明了能強制執行與部署系統相關的穩定性標準或操作約束的基于深度學習的控制器。這些方法直接適用于電力系統的問題,同時也更廣泛地適用于其他物理和安全關鍵領域。雖然第二部分展示了電力系統如何為深度學習研究提供有成效的方向,但在這篇論文的最后一部分,我們反過來展示了深度學習的洞察如何為電力系統的研究提供有成效的方向。具體來說,我們展示了受隱含層文獻啟發的方法如何被用于評估電網上的與政策相關的逆向問題。我們進一步展示了如何結合隱含層和對抗魯棒深度學習的洞察,使我們能夠為電力系統的兩個核心問題——N-k安全約束最優功率流和隨機最優功率流——提供可擴展的啟發式解決方案,這兩個問題由于其計算難度,很少在實際規模上進行研究。

總的來說,這篇論文展示了如何通過深度學習和電力系統的洞察進行橋接,可以顯著推進這兩個領域的方法,除此之外,還能解決與氣候行動相關的高影響力問題。

付費5元查看完整內容

盡管在深度學習方面已經取得了巨大的實踐進展,但我們對是什么使深度學習工作得很好以及為什么這樣做缺乏清晰的理論理解。在本文中,我們采用“自然科學”的方法來構建深度學習的理論。我們首先確定在跨越各種不同背景的實際深度網絡中出現的各種經驗屬性。然后,我們討論了這些實證發現可以如何用來通知理論。具體而言,我們證明:(1)與監督學習相比,經過自監督學習訓練的先進深度網絡盡管過度參數化,但在特定條件下仍能實現有限的泛化差距。(2)具有相似性能和架構的模型通常會收斂到相似的內部表示,即使它們的訓練方法有很大的不同(例如:監督學習和自監督學習)(3)插值分類器服從一種分布泛化形式——它們從訓練分布中收斂到一種條件采樣器類型。(4)深度網絡的數據擴展特性對訓練數據集的結構和噪聲水平的變化具有魯棒性。

//dash.harvard.edu/handle/1/37372168

我們的發現強調,盡管缺乏最壞情況的保證,深度網絡隱含地以可預測的、結構化的方式運行,從而為未來的理論分析奠定了基礎。

付費5元查看完整內容

強化學習(RL)為數據驅動決策提供了一個通用框架。然而,正是這種通用性使得這種方法適用于廣泛的問題,也導致了眾所周知的效率低下。在這篇論文中,我們考慮了有趣的決策類所共有的不同屬性,這些屬性可以用來設計計算效率和數據效率都很高的學習算法。具體來說,這項工作研究了決策問題的各個方面的低秩結構和經典確定性規劃的效果稀疏性,以及基于端到端模型的方法所依賴的性能。我們首先展示了后繼表示中的低秩結構如何使高效在線學習算法的設計成為可能。類似地,我們展示了如何在Bellman算子中找到相同的結構,我們使用Bellman算子來制定最小二乘時間差分學習算法的有效變體。我們進一步探索狀態特征中的低秩結構,以學習完全允許在低維空間中進行高效規劃的有效轉換模型。然后,我們進一步了解基于模型的端到端方法,以便更好地理解它們的屬性。我們通過約束優化和隱式微分的視角來研究這類方法。通過隱式視角,我們得到了這些方法的屬性,這些屬性使我們能夠確定它們執行良好的條件。在本文的最后,探索了如何利用經典規劃問題的效果的稀疏性來定義一般的領域無關啟發式方法,通過使用基于潛在的獎勵塑造和提升函數近似,可以用來大大加快領域相關啟發式方法的學習。

//dspace.mit.edu/handle/1721.1/144562

付費5元查看完整內容

深度學習模型最近徹底改變了在線環境,為改善用戶體驗打開了許多令人興奮的機會。然而,這些模型也可能通過故意或惡意用戶制造或推廣虛假信息來引入新的威脅。在這篇論文中,我們提出了新的方法來對抗網上虛假信息的擴散。我們專注于自動事實驗證的任務,即根據外部可靠來源檢查給定索賠的準確性。我們分析了事實驗證系統所需的規范,并描述了對大量全面的免費文本信息資源進行操作時對效率的需求,同時確保對具有挑戰性的輸入的魯棒性和對參考證據修改的敏感性。我們的方法是通用的,正如我們所證明的,提高了事實驗證之外的許多其他模型的穩健性、效率和可解釋性。

在本文的第一部分,我們重點研究了句子對分類器的魯棒性、敏感性和可解釋性。我們提出了在大型策劃數據集中識別和量化特性的方法,這些方法不希望導致模型依賴于不可普遍化的統計線索。我們演示了對比證據對如何通過強制模型執行句子對推理來緩解這一問題。為了自動獲得這些例子,我們開發了一種新的基于原理的去噪管道,用于修改反駁證據以同意給定的主張。此外,我們提出了一個半自動的解決方案,從維基百科修訂中創建對比對,并共享一個新的大型數據集。

在第二部分中,我們轉向提高證據檢索和聲明分類模塊的推理效率,同時可靠地控制它們的準確性。我們引入了新的置信度測度,并對共形預測框架進行了新的擴展。我們的方法可以為每個輸入動態分配所需的計算資源,以滿足任意用戶指定的容忍水平。我們在多個數據集上演示了我們經過良好校準的決策規則可靠地提供了顯著的效率提高。

//dspace.mit.edu/handle/1721.1/140022

付費5元查看完整內容

我們探索機器學習(ML)和因果推理之間的關系。通過相互借鑒,我們專注于改進每一個方面。機器學習已經成功地應用于許多問題,但由于缺乏強有力的理論保證,導致了許多意想不到的失敗。當應用于不同的分布時,在訓練分布上表現良好的模型往往會崩潰;微小的擾動可以“欺騙”訓練好的模型,并極大地改變它的預測;訓練算法中的任意選擇會導致截然不同的模型;等等。另一方面,雖然因果推理方法的發展已經取得了巨大的進步,有很強的理論保證,但現有的方法通常不能應用于實踐,因為它們假設有大量的數據。研究ML和因果推理的交集,我們直接解決了ML中缺乏魯棒性的問題,并提高了因果推理技術的統計效率。

本論文工作背后的動機是改進用于指導決策的預測模型和因果模型的構建方法。自始至終,我們主要關注醫療健康上下文中的決策制定。在ML的因果關系方面,我們使用ML工具和分析技術來開發統計上有效的因果模型,可以指導臨床醫生在兩種治療方法之間選擇。在ML的因果關系方面,我們研究如何使用產生觀測數據的因果機制知識來有效地正則化預測模型,而不引入偏差。在臨床環境中,我們展示了如何使用因果知識來建立穩健和準確的模型來預測傳染性感染的傳播。在非臨床環境中,我們研究了如何使用因果知識來訓練在圖像分類中對分布轉移具有魯棒性的模型。

付費5元查看完整內容

機器學習是一種從數據中提取預測模型,從而能夠將預測泛化到未觀察數據的技術。根據已知數據集選擇良好模型的過程需要進行優化。具體地說,優化過程在約束集中生成一個變量來最小化目標。這個過程包含了包括神經網絡訓練在內的許多機器學習管道,這將是我們在本文中進行理論分析的主要試驗場。在各種優化算法中,梯度方法因其高維可擴展性和反向傳播的自然局限性而成為深度學習中的主導算法。然而,盡管基于梯度的算法很受歡迎,但我們從理論的角度對機器學習環境中的這種算法的理解似乎還遠遠不夠。一方面,在現有的理論框架內,大多數上下界是封閉的,理論問題似乎得到了解決。另一方面,理論分析很難產生比實踐者發現的經驗更快的算法。本文回顧了梯度法的理論分析,指出了理論與實踐的差異。然后,我們解釋了為什么會發生不匹配,并通過發展由經驗觀察驅動的理論分析,提出了一些初始解決方案。

//dspace.mit.edu/handle/1721.1/143318

付費5元查看完整內容
北京阿比特科技有限公司