亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

機器學習（ML）通過其近期前所未有的進步正在改變社會。自回歸模型的普及正在重塑社會的各個層面，從專業領域到學術追求，甚至休閑活動。智能AI系統的一個核心方面是它們處理和理解長時間的時間信息流，如文本、音頻或視頻數據的能力。在這篇論文中，我們深入探討了學習數據中長期依賴性的問題，從兩個主要角度來解決它：模型架構和學習算法。與其致力于在當代基準分數上獲得邊際改進，這些分數通常更依賴于工程優化，本論文的重點是深入理解潛在的時間機制，探索替代學習算法，并為未來在計算效率方面的改進提供基礎。

在第一章中，我們提出了一種新方法，將眾所周知的ML模型之一，循環神經網絡（RNN）的多個實例互聯。我們提出的實證證據表明，模型架構的修改在系統組件內引發不同的時間行為。這一發現可以被利用來區分長期依賴性和短期依賴性，為使用專門為每個設計的架構鋪平了道路。

第二章聚焦于在線學習算法，這種方法顯著偏離了用于訓練時間ML模型的傳統方法。這些算法在觀察到每個輸入后立即更新其參數，與更常用的方法形成對比，后者必須觀察整個輸入序列才能更新模型參數。我們研究了實時循環學習（RTRL）在眾所周知的RNN模型中的表現，并提出了一種數學上合理的近似方法。這種新方法提供了更好的近似，盡管它只與某些架構兼容。

在最后一章中，我們同時從這兩個方面應對學習長期依賴性的挑戰。我們提出了一種分層架構，能夠通過將其分解為更小的自包含子序列來處理擴展序列。與這種架構一起，我們提出了一種學習算法，使得在抽象空間中的學習成為可能，從而繞過了專注于短期序列細節的需求。這種架構和算法的結合導致了計算效率的顯著提高。重要的是，我們的方法不僅增強了當前模型的能力，而且還為未來模型架構和學習算法的共同設計開辟了令人興奮的途徑。

本論文旨在研究復雜場景下高精度的有向目標檢測算法。有向目標檢測是 通用水平目標檢測的一個擴展研究方向，其主要特點是可以更精準地定位目標， 并擅長完成包含大量密集排列、大長寬比、方向任意目標的復雜場景的檢測任 務。大量文獻表明，有向目標檢測不僅在計算機視覺領域中有著重要的學術研 究價值，在國防建設、科學技術、醫學治療、食品健康、工業發展、環境保護、 農業養殖、公共安全、文化傳播等領域也具有廣闊的應用價值。 受益于通用水平目標檢測在深度學習時代的蓬勃發展，有向目標檢測器可 以很輕松地基于先進的水平檢測算法進行實現。但是，有向目標檢測的研究常常 需要面對一些獨特的問題挑戰，如不同定義法下由邊界不連續造成的損失陡增、 類正方目標導致的表示歧義等。如何更加高效地實現高精度有向目標檢測已成 為當下的研究熱點。本論文以有向目標檢測為研究重點，在魯棒有向目標檢測 器搭建、高效位姿參數估計、弱監督算法探索以及有向目標檢測工具設計這四個 方面來擴展和完善現有的算法。論文的主要貢獻包含以下幾方面：

? 介紹了如何基于一個水平目標檢測器搭建出一個有向目標檢測器，主要內 容包括不同旋轉框的定義、不同錨框的形式、旋轉框重疊率的計算、回歸 參數的估計以及回歸損失等基礎知識。

? 提出了一種從粗到細的漸進式回歸的有向目標檢測器 R 3Det。本文針對單 階段級聯檢測器中存在的特征不對齊問題設計了特征精修模塊，最終在精 度和速度之間取得了較佳的平衡。

? 在特定旋轉框定義法下，本文通過將角度估計方式從回歸轉換成精細的分 類（CSL 和 DCL）以解決有向目標檢測中的邊界不連續問題，并進一步采 用四邊分類的策略在構造的新數據集 OHD-SJTU 上實現了目標頭部檢測。

? 為同時解決邊界不連續、類正方形檢測以及評估與損失不一致性等問題， 本文提出了高斯分布建模和距離度量技術（GWD 和 KLD）。通過尺度不變 性證明和梯度分析，本文發現使用 KLD 作為最終的回歸損失可以顯著地 提升高精度指標。

? 在保留高斯分布建模的優勢下，本文提出了使用分布之間的相似性度量 (KFIoU) 取代距離度量，更好地解決了評估與損失不一致的問題并在不引 入任何超參數的情況下取得了性能的提升。

? 本文首次在目標檢測領域中提出了一個新的研究課題：基于水平框標注 訓練的弱監督有向目標檢。同時，本文設計了一種新的自監督的網絡架構 (H2RBox)，其通過衡量輸入圖片在不同視圖下的一致性來實現精準的旋轉。框估計。與基于弱監督實例分割的方法相比，H2RBox 具有性能高、速度 快和存儲需求低的優勢，且各方面都接近強監督有向目標檢測算法。

? 從學術研究、工業部署和國產化三個角度出發，本文分別基于 TensorFlow、 PyTorch 和 Jittor 搭建了三種各具特色的有向目標檢測工具：MMRotate、 AlphaRotate 和 JDet，為有向目標檢測的發展和應用提供了便利。

人類智能的一個重要方面是能夠從簡單的想法中組合出越來越復雜的概念，從而實現快速學習和知識的適應。盡管目前的AI系統表現出色，但在這一領域卻有所欠缺，通常無法解決超出其訓練分布范圍的任務。本論文的工作旨在通過將組合性納入深度神經網絡來彌補這一差距，從而增強它們解決新穎和復雜任務的能力，例如根據復雜的規范生成2D圖像和3D資產，或使仿人代理執行多種家庭活動。這篇論文的影響深遠，因為組合性在生物學、機器人技術和藝術制作等領域有眾多應用。通過顯著提高AI系統的組合性能力，這項研究將為不同研究領域中更高效的數據和更強大的模型鋪平道路。

"組合性是現代AI系統所缺少的人類智能的一個關鍵方面。構建概念的能力：結合模式、思想和子目標來構建對世界的結構化表示，然后通過操縱個別組成部分來推理世界，體現在關鍵的認知能力中。人類可以將個別觀察結果融入復雜的知識和信念結構中，對復雜計劃進行小范圍的針對性調整，想象基本情景的替代方案，并創造出受現有作品啟發的新技術或藝術。此類組合能力在AI系統中基本上尚未實現，但實現這一點可能是解鎖主要AI能力（如持續學習、可控和穩健行為、高級規劃、反事實推理和更強大的泛化）的關鍵之一。 本論文專注于開發表現出組合能力的神經網絡，以解決廣泛的任務，如圖像生成、問題回答、數學推理、機器人操控和體現決策。目標是使網絡能夠解決在訓練過程中未曝露的概念、目標或技能組合的任務。 我們對組合AI的研究涵蓋以下兩個軸心：先驗知識和組合結構。先驗知識描述了模型在培訓過程中學習的基本概念和能力集合。在大量數據上訓練的大型深度學習模型[131, 125, 13]包含豐富的先驗知識，但它們缺乏實現組合性的另一個關鍵組成部分——組合結構。為了構建組合結構，我們提出了組合算子來組合基本概念。將組合算子應用于預訓練模型，使我們能夠顯著提高AI系統的組合生成能力。

本論文的前兩部分介紹了如何構建組合結構。第一部分：構思概念和目標：我們開發了可以組合概念或目標以產生高度可控和復雜、細致行為的神經網絡。第二部分：模型組合：我們組合來自不同領域的預訓練模型，以在沒有任何訓練或微調的情況下產生強大的跨模態能力。在第三部分：轉移組合性中，我們介紹了如何通過從預訓練模型轉移知識來以數據高效的方式實現先驗知識。"

機器學習領域見證了對從未整理數據中學習的日益濃厚的興趣，這涉及從未經精心整理或標記的數據中訓練模型。然而，這種類型的數據通常嘈雜、不完整，并充斥著錯誤，使得機器學習算法難以有效學習。本論文關注于開發能夠有效利用未整理數據同時對數據中固有的噪聲和錯誤具有韌性的強健學習方法。具體來說，我們調查了對比學習的韌性，這是一種通過比較語義上相似和不同的樣本對的自監督表示學習的突出技術。 首先，我們深入探討了從未標記數據中學習所固有的基本挑戰。我們發現，消除假陰性和鼓勵困難的負面案例顯著提高了下游性能和訓練效率。隨后，我們將焦點轉移到數據集內無處不在的噪聲。我們特別關注于假陽性對的出現，這是多模態對比學習環境中特別普遍的現象。

在我們研究的最后部分，我們思考了從大規模模型中有效地消除偏見。觀察到，當模型在有偏見的未整理數據上進行預訓練時，它們通常會繼承許多不適當的偏見，從而導致傾斜的預測。為了糾正這一點，我們設計了一種獨立于任何數據或訓練要求的去偏算法。

貫穿整篇論文的共同線索是對未標記、嘈雜和有偏見數據分別所關聯的獨特錯誤類型的韌性和全面的緩解方法，為機器學習研究領域提供了實質性的貢獻。

近年來，機器學習取得了顯著進展，尤其是在使用標記數據訓練模型的監督學習領域。然而，獲取大量標記數據可能是一個成本高昂且耗時的過程，這促使越來越多的人對從未整理數據中學習產生了興趣。 未整理數據指的是那些未經仔細整理或標記的數據，這些數據通常包含噪音，不完整且包含錯誤。從這類數據中學習對機器學習算法來說是一個重大挑戰，因為它們必須能夠有效利用可用信息，同時對固有的噪聲和錯誤具有韌性。本論文關注于以下基本目標：能夠從未整理數據中學習的強健學習算法。 為了實現這一目標，我分析了對比學習，這是一種通過比較語義上相似和不同的樣本對來進行自監督表示學習的突出技術[24, 81, 147]。傳統上，監督學習一直是人工智能（AI）進步的基石，依賴大量的標記數據來訓練模型。然而，收集和標記如此大量的數據可能既昂貴又耗時。此外，在現實世界的應用中，標記數據往往稀缺甚至無法獲得。為了克服這些障礙，研究人員轉向使用無標記數據的無監督和自監督學習技術來訓練模型。然而，這些技術在性能上通常落后于監督方法，主要是因為定義引導模型走向有用表示的目標很困難。 對比學習就在這里發揮了作用。通過設定目標，將語義上相似（正面）和不同（負面）的數據點對在學習到的特征空間中拉近或推遠，對比學習提供了一種從無標記數據構建有用且富有信息的表示的方法。對比學習在包括計算機視覺、自然語言處理、圖表示學習和強化學習等多個領域的能力已被證明，實現了許多基準測試中的最先進性能。

本論文解決了上述瓶頸問題，分為三個部分：第一部分：從未標記數據中學習，第二部分：從嘈雜數據中學習，第三部分：從有偏見的數據中學習。

在第一部分，我解決了負樣本的兩個關鍵問題：假負樣本和困難負樣本。我們首先在第2章提供問題形式化和對比學習的背景。在第3章中，基于Chuang等人的研究[36]，我用一種新的對比損失解決了假負樣本的問題。然后在第4章，基于Robinson等人的研究[163]，我們通過重要性采樣估計擴展了提出的損失，包括困難負樣本采樣。

在第二部分，我將揭示假陽性樣本的問題，特別是在多模態環境中，并開發針對它的強健損失函數。在第5章中，基于Chuang等人的研究[39]，我將對比學習與二元分類聯系起來，并為對比損失開發強健的損失函數。第6章提供了所提出損失的理論基礎，即Wasserstein互信息的變分下界。

在第三部分，我將討論如何消除大規模基礎模型中的偏見，基于Chuang等人的研究[40]。第7章概述了基礎模型的興起，并提出了一種去偏算法，以高效地消除視覺-語言基礎模型的偏見。 第8章建立了表示學習與泛化理論之間的聯系，使用邊界界限，從而為對比學習提供了理論驗證。作為結語，第9章總結了本論文，并進行了一些討論。

雷達在惡劣條件下以及遠程的感測能力使其成為移動機器人應用中視覺和激光雷達的有價值的替代品。然而，雷達復雜、與場景相關的感測過程和顯著的噪聲缺陷使得使用雷達具有挑戰性。超越迄今為止文獻中占主導地位的經典基于規則的方法，本論文探討了在機器人學的一系列任務中深入且數據驅動的解決方案。

首先，開發了一種深度方法，用于將原始傳感器測量映射到占用概率的網格地圖，其性能顯著超越了經典的過濾方法。捕捉到占用狀態的分布，此外還允許識別和管理預測中的不確定性。該方法完全使用從激光雷達自動生成的部分標簽進行訓練，無需手動標記。

接下來，提出了一個深度模型，用于從模擬的高程圖生成隨機雷達測量值。該模型通過學習前向和后向過程來進行訓練，結合使用對抗性和周期性一致性約束與部分對齊損失，使用激光雷達生成的標簽。通過忠實地復制雷達的感測過程，可以使用在模擬中容易獲得的標簽，為下游任務訓練新模型。在這種情況下，模擬雷達測量值上訓練的分割模型在真實世界中部署時，其性能接近完全在真實世界測量值上訓練的模型。

最后，探討了應用于雷達測距任務的深度方法的潛力。學習的特征空間與經典的相關掃描匹配過程相結合，并針對姿態預測進行優化，使得所提出的方法在性能上顯著超越了之前的最新技術。通過概率性的考慮，姿態的不確定性也得到了成功的描述。在此成功的基礎上，利用傅里葉變換的性質分離了平移和角度的搜索。結果顯示，這種解耦搜索在運行時間性能上有了顯著的提升，使得該方法可以在CPU和嵌入式設備上實時運行，同時仍與文獻中提出的其他雷達測距方法保持競爭力。

風險模型對于護理計劃和疾病預防至關重要。已有的臨床模型表現不佳，引起了廣泛的關注和擔憂。一個準確、可解釋、可靠的風險模型將會帶來巨大的益處，但其仍是一項挑戰。本論文旨在開發深度學習模型，利用大規模且具有代表性的電子健康記錄（EHR）數據集，以提供更準確的風險預測，同時提供不確定性估計和醫學解釋的能力。 在這篇論文中，我們研究了三個方向：風險預測、解釋性以及不確定性估計。對于風險預測，我們研究了可以將最少處理的電子健康記錄（EHR）納入模型的深度學習工具，并與已建立的機器學習和臨床模型進行了全面比較。另外，我們將事后解釋應用于深度學習模型以獲取醫學信息，特別關注風險關聯和反事實推理的解釋。我們使用概率建模技術定性地研究了不確定性估計。我們的分析依賴于臨床實踐研究鏈接，該鏈接包含來自初級護理、二級護理和死亡登記的匿名化EHR，并代表了英國人口。

我們引入了一種名為BEHRT的深度學習模型，可以將最少處理的電子健康記錄（EHR）納入風險預測。在沒有專家參與的情況下，它學習了有意義的表示，可以自動聚類高度相關的疾病。與依賴于專家選擇的預測因子的已建立的機器學習和臨床模型相比，我們提出的深度學習模型在廣泛的風險預測任務中表現出優越的性能，并強調了當將風險模型應用于具有嚴重先前分布偏移的人群時，需要重新校準的必要性，以及定期更新模型以在時間數據偏移下保持模型的區分性能的重要性。此外，我們還顯示出深度學習模型解釋是發現風險因素的絕佳工具。通過解釋深度學習模型，我們不僅發現了與已有證據高度一致的因素，也發現了那些在專家驅動的研究中尚未考慮的因素。此外，深度學習模型還捕獲了風險和治療風險之間的相互作用，以及藥物在不同年份的差異性關聯，如果在建模中沒有包含時間背景，這將會很困難。除了關聯性解釋外，我們還引入了一個框架，可以在假設干預下實現準確的風險預測，同時進行反事實推理。這提供了反事實解釋，可以為臨床醫生選擇最能受益的人提供參考。我們使用兩個示例性的案例研究展示了所提出框架的益處。此外，將確定性深度學習模型轉換為概率模型可以帶有不確定性范圍的預測。我們表明，這樣的信息在實踐中有許多潛在的影響，如量化決策的信心，指示數據的不足，區分正確和錯誤的預測，以及指示風險關聯。 深度學習模型在風險預測方面的性能得到了大幅度的提升。不確定性估計的能力可以量化風險預測的信心，進一步指導臨床決策。深度學習模型的解釋可以產生假設以指導醫學研究，并提供反事實分析以協助臨床決策。這些鼓舞人心的證據支持將深度學習方法引入電子健康記錄的巨大潛力，以指導如護理計劃、疾病預防和醫學研究設計等廣泛的健康應用。

強化學習(RL)為數據驅動決策提供了一個通用框架。然而，正是這種通用性使得這種方法適用于廣泛的問題，也導致了眾所周知的效率低下。在這篇論文中，我們考慮了有趣的決策類所共有的不同屬性，這些屬性可以用來設計計算效率和數據效率都很高的學習算法。具體來說，這項工作研究了決策問題的各個方面的低秩結構和經典確定性規劃的效果稀疏性，以及基于端到端模型的方法所依賴的性能。我們首先展示了后繼表示中的低秩結構如何使高效在線學習算法的設計成為可能。類似地，我們展示了如何在Bellman算子中找到相同的結構，我們使用Bellman算子來制定最小二乘時間差分學習算法的有效變體。我們進一步探索狀態特征中的低秩結構，以學習完全允許在低維空間中進行高效規劃的有效轉換模型。然后，我們進一步了解基于模型的端到端方法，以便更好地理解它們的屬性。我們通過約束優化和隱式微分的視角來研究這類方法。通過隱式視角，我們得到了這些方法的屬性，這些屬性使我們能夠確定它們執行良好的條件。在本文的最后，探索了如何利用經典規劃問題的效果的稀疏性來定義一般的領域無關啟發式方法，通過使用基于潛在的獎勵塑造和提升函數近似，可以用來大大加快領域相關啟發式方法的學習。

//dspace.mit.edu/handle/1721.1/144562

這篇論文表明，通過神經符號模型的視角來看待智能系統比傳統的深度學習方法有幾個好處。神經符號模型包含符號程序性構造，如循環、條件和連續的神經成分。符號部分使模型具有可解釋性、泛化性和穩健性，而神經部分處理智能系統的復雜性。具體而言，本文提出了兩類神經符號模型——狀態機和神經符號transformers，并以基于強化學習的自主系統和多機器人系統為例對它們進行了評估。這些案例研究表明，學習的神經符號模型是人類可讀的，可以外推到看不見的場景，并可以處理規范中的穩健目標。為了有效地學習這些神經符號模型，我們引入了利用機器學習和程序合成的最新技術的神經符號學習算法。

//dspace.mit.edu/handle/1721.1/143249

本博士論文包含了對統計因果模型領域的幾個貢獻。統計因果模型是嵌入因果假設的統計模型，允許對受外部操縱(干預)影響的隨機系統的行為進行推斷和推理。本文在因果效應估計、因果結構學習和分布魯棒(非分布廣義)預測方法等方面進行了深入的研究。我們提出了新的和一致的線性和非線性因果效應估計工具變量設置，采用數據依賴的均方預測誤差正則化。我們提出的估計量顯示，在某些情況下，均方誤差比標準和最先進的估計量都有所改善。我們表明，最近對分布穩健預測方法的研究與計量經濟學中經過充分研究的估計量有關。由此證明了一般k類估計具有分布魯棒性。此外，我們提出了一個關于干預誘發分布的分布穩健性的一般框架。在這個框架中，我們推導了分布魯棒預測方法可識別的充分條件，并給出了一些不可能的結果，證明了這些條件的必要性。提出了一種新的結構學習方法，適用于以有向樹為因果圖的加性噪聲模型。我們證明了消失可辨識性設置中的一致性，并提供了一種方法來檢驗具有漸近家族誤差控制的子結構假設，該方法在選擇后仍然有效。最后，我們提出了學習非線性時間序列模型總結圖的啟發式思想。

隨著互聯網的興起，每天都有不同形式的大量的文本數據產生：新聞、研究文獻、 博客、論壇文字以及社交媒體評論等。很多重要有用的信息隱藏在其中，如何從這些自 由文本中自動抽取所需要的信息是一個關鍵并且重要的一步。信息抽取任務就是為此目 標而誕生。本文主要研究信息抽取子任務之一的實體關系抽取任務。該任務旨在識別文 本中出現的實體，并判斷出實體之間存在的關系。

傳統的有監督實體關系抽取通常采用基于流水線的方法，即實體模型和關系模型 分開訓練。在測試階段，先用實體模型識別出實體，然后關系模型找出這些實體之間的 關系。這種流水線的方法存在著錯誤傳播的缺點，前一個任務的錯誤會累積到后一個任 務。為了緩解這一問題，研究人員提出了聯合模型。聯合模型將兩個子模型統一建模， 可以進一步利用兩個任務之間的潛在信息，以緩解錯誤傳播的缺點。聯合模型的難點是 如何加強實體模型和關系模型之間的交互，比如實體模型和關系模型的輸出之間存在著 一定的約束，在建模的時候考慮到此類約束將有助于聯合模型的性能。

另一方面，為了解決實體關系抽取數據集難以獲得的問題，遠程監督的方法也被提 出來。其主要思想是利用知識庫和大規模文本數據對齊，自動構建大規模的訓練集。然 而，遠程監督方法的缺點是自動構建的訓練集中存在著很多的噪音數據，這些噪音數據 的存在對遠程監督實體關系抽取有著很大的負面影響。此外，在有些應用場景中可能沒 有現成的知識庫可以用來進行遠程監督，如何解決類似的數據噪音和數據缺失問題也是 一大挑戰。

根據實體關系抽取方法的研究現狀，本文從數據和聯合模型兩個角度探索了幾種實 體關系抽取聯合模型，并且探究了所提出模型的優勢和不足。具體來說，本文的主要貢 獻有

• 1. 為了緩解遠程監督中的噪音樣本問題，本文提出利用少量高質量異構的人工標注 數據集幫助遠程監督實體關系抽取任務。本文設計了一個基于多任務學習的融合 框架，并且在融合過程中考慮到子模型之間的一致性約束，從而實現知識的遷移。本文提出的系統在標準遠程監督數據集能夠顯著的提高聯合抽取的性能（數據角 度）。
• 2. 為了解決某些領域沒有現成知識庫無法進行遠程監督的問題，本文提出利用語言 學規則進行遠程監督。首先應用領域無關的語言學規則自動構建訓練集，然后使用 分類器在得到的訓練集上進行訓練，最后利用分類器進一步抽取語言學規則無法 覆蓋的新的實體關系。本文提出的算法很快并且適用于大規模數據。在 Amazon 在 i 線評論數據集上的實驗表明了本文提出的算法明顯優于多個基準模型（數據角度）。
• 3. 為了加強實體模型和關系模型之間的交互，本文提出基于風險最小化訓練方法的 聯合實體關系抽取模型，通過優化全局的損失函數以達到加強實體模型和關系模 型之間聯系的目的。在 ACE05 數據集上的實驗證明了提出模型的有效性（聯合模 型角度）。
• 4. 為了同時考慮到實體類型和關系類型的信息，本文提出一個基于圖卷積網絡的聯 合模型用于實體關系抽取。我們構造了實體-關系二分圖，并在圖上運行圖卷積網 絡，從而捕獲多個實體和多個關系之間的信息。在 ACE05 數據集上的實驗證明了 提出模型的有效性（聯合模型角度）。

//www.czsun.site/