亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

機器學習近期的實質性進展主要源于序列模型的突破，這些模型構成了在科學應用中取得廣泛成功的深度學習模型的骨干。然而，現有的方法需要對不同任務、模態和能力進行廣泛的專門化；存在計算效率瓶頸；并且在對更復雜的序列數據建模時，例如涉及長期依賴性時，會遇到困難。因此，繼續開發用于建模一般序列的原則性和實用的方法仍然至關重要。這篇論文開發了一種使用狀態空間模型進行深度序列建模的新方法，這種方法理論上有根據，計算效率高，并在各種數據模態和應用中取得了強大的結果。首先，我們介紹了一類具有眾多表示和屬性的模型，這些模型概括了標準深度序列模型（如循環神經網絡和卷積神經網絡）的優點。然而，我們發現這些模型的計算可能具有挑戰性，并開發了新的結構化狀態空間類別，這些狀態空間在現代硬件上非常快，無論是在擴展到長序列還是在諸如自回歸推斷等其他設置中。最后，我們提出了一個新的數學框架，用于增量建模連續信號，可以與狀態空間模型結合，賦予它們原則性的狀態表示，并提高它們對長距離依賴性的建模能力。總的來說，這新的方法類別為機器學習模型提供了有效和多功能的構建塊，特別是針對大規模的通用序列數據的處理。

深度學習方法在機器學習和人工智能領域取得了顯著進步，在科學和工業應用中獲得了廣泛的成功。序列模型是核心類別的模型，它們是作用于任意輸入序列的參數化映射。這些模型可以應用于各種復雜的序列數據處理任務，包括自然語言理解、語音和音頻、時間序列分析，甚至可以轉化為序列的間接模態，如圖像 [194, 148, 18, 94, 51]。

在海量數據的時代，高效的機器學習算法變得至關重要。然而，許多常見的機器學習算法依賴于在大數據集上計算成本過高的子程序。通常，現有的技術會對數據進行子采樣或使用其他方法來提高計算效率，但這會以引入一些近似誤差為代價。這篇論文表明，往往只需用一種特殊的隨機化方法替代計算密集型的子程序，就能在幾乎不降低質量的情況下獲得足夠的效果。這篇論文的結果是基于自適應采樣文獻中的技術。第1章以一個特定的自適應采樣問題為引子：多臂老虎機中的最佳臂識別。我們首先提供了環境設定和最佳臂識別問題的正式描述。然后，我們介紹了一種名為“連續淘汰”的通用算法，用于解決最佳臂識別問題。在第2章，第3章和第4章，我們將把在第1章中開發的技術應用于不同的問題。在第2章，我們討論了如何將k-medoids聚類問題簡化為一系列的最佳臂識別問題。我們利用這一發現提出了一種基于連續淘汰的新算法，該算法在聚類質量上與先前的最新技術相當，但達到相同解的速度要快得多。在數據生成分布的一般假設下，我們的算法在樣本復雜性上實現了 O( n logn ) 的降低，其中 n 是數據集的大小。

在第3章中，我們分析了訓練基于樹的模型的問題。這類模型的大部分訓練時間都用在分割樹的每個節點上，即確定在哪個特征和相應的閾值處分割每個節點。我們展示了節點分割子程序可以簡化為一個最佳臂識別問題，并介紹了一種訓練樹的最新算法。我們的算法僅依賴于每個可能分割的相對質量，而不是顯式地依賴于訓練數據集的大小，并將數據集大小n的顯式依賴從常用的先前算法的O(n)降低到O(1)。我們的算法通常適用于許多基于樹的模型，如隨機森林和XGBoost。在第4章中，我們研究最大內積搜索問題。我們注意到，與k-medoids和節點分割問題一樣，最大內積搜索問題可以簡化為一個最佳臂識別問題。有了這個觀察，我們為高維數據集中的最大內積搜索問題提出了一個新穎的算法。在對數據的合理假設下，我們的算法將與數據集維數d的顯式比例從O(√d)降低到O(1)。我們的算法具有幾個優點：它不需要對數據進行預處理，能自然處理新增或刪除的數據點，并包含一個超參數來權衡準確性和效率。第5章以總結本論文的貢獻和未來工作的可能方向作為結論。

//searchworks.stanford.edu/view/14783548

深度學習的發展導致了在各種應用領域的各種任務上的顯著性能提升，這些應用領域包括計算機視覺、自然語言處理、強化學習、生成模型，以及最近從圖結構數據中進行的關系學習。這一成功的主要原因是計算能力的提高，這允許深度和高度參數化的神經網絡架構，這些架構可以從原始數據中學習復雜的特征轉換。然而，深度神經網絡的高表示能力往往是以高模型復雜度為代價的，這指的是高參數化，以及與深度學習相關的內存和計算負擔。**在本文中，我依靠參數有效的神經算子，對數據的適當建模假設和網絡結構的歸納偏差，在幾個應用領域提出更簡單的神經網絡模型。**對于我工作的每個應用領域，我使用這些效率原則的組合來設計新穎的方法。首先，在醫學圖像處理的背景下，我觀察到空間對齊的神經圖像比自然圖像表現出更少的自由度，這證明使用低容量卷積算子是合理的。我通過應用參數高效的卷積變體來實現這一點。我展示了早期阿爾茨海默病預測的最先進結果，同時使用的參數減少了多達125倍，乘累加操作減少了17倍以上。對于設計用于識別受試者亞型的神經圖像的無監督方法也得出了類似的結論。其次，我著手緩解從零開始訓練參數高效的深度模型的挑戰。這可以減少在資源受限的"邊緣"設備上訓練深度模型的不可行性。所提方法基于一個簡化的網絡結構假設，即參數無關性，允許在組合多臂匪徒的背景下建模問題。該方法可以動態地，即在訓練期間，在遵循預定義的內存使用預算的同時，在超參數化模型中識別高性能緊湊的子網絡。這是通過將顯著性指標與每個神經元相關聯來實現的，然后用于驅動參數激活，類似于門控機制，同時學習參數。因此，深度神經網絡訓練和推理過程中的計算和內存負擔都顯著減少。最后，提出一種深度概率模型，用于學習動態圖中的無監督節點和社區嵌入。基于網絡固有的社團結構，引入了關于邊形成機制的結構歸納偏差。此外，我還假設節點和社區都是平滑的時間演化，其靈感來自于數據中缺乏破壞性事件。本文提出一種該方法的參數高效實現，在各種動態預測任務上優于最先進的圖卷積網絡。

表示學習已經成為一種多功能工具，能夠利用使用數字技術獲得的大量數據集。該方法的廣泛適用性源于其作為子系統使用的靈活性和在模型架構中納入先驗的可擴展性。數據內部的直觀依賴關系，如像素主要對其鄰近的上下文做出貢獻，可以被形式化和嵌入，以提高泛化，并允許具有很大能力的模型避免過擬合。元學習也被應用于將這些系統擴展到低數據設置，通過將特定任務視為更普遍問題的實現而不損失性能。本文考慮如何利用這些方法的基本兼容性。本工作的主要論點是，歸納偏差提供的計算的清晰度可以用于改進元學習架構，并直接構建元學習器過去經驗和解決問題能力到新任務的遷移。通過融合這些方法開發的方法可以在廣泛的設置和領域中提高與基線模型相比的性能。融合有三種實現方式。第一個將復合分類確定為一種自然設置，并展示了如何使用注意力下數據點的自組織來增強元學習分類器。第二種使用顯式關系推理來調節和重組神經模塊，以在測試時快速準確地適應。自適應神經過程來捕獲關系和時間依賴，以提高預測和不確定性估計的準確性和一致性。在驗證本文的激勵假設時，這些貢獻在其他領域中發現了最先進的應用，包括小樣本圖像分類、粒子控制系統的相互作用的無監督恢復、蛋白質-蛋白質相互作用位點預測以及動力系統的識別和演化。通過這樣做，這項工作有助于使機器智能應用于更廣泛、更精細的問題范圍——作為所考慮問題的解決方案，作為進一步應用的架構模板，以及作為未來研究的方向。

機器學習在過去十年取得了重大進展。其最成功的范式是深度神經網絡，由連續表示層組成，其參數通過梯度下降在大規模數據集上進行優化。

深度神經網絡在許多任務上取得了卓越的性能，如物體識別、語言理解和自動駕駛。然而，他們仍然在推理任務中掙扎，這些任務通常需要操作符號并將多個步驟組合起來，例如，求解數學方程或編寫計算機程序。在這篇論文中，我們的目標是彌合這一差距，并教機器以精確、系統、可解釋和魯棒的方式進行推理，以應對現實環境中的模糊性。**本文采用神經符號方法，結合機器學習和符號推理的互補優勢。符號推理具有精確性和系統性。**但它已被限制在可嚴格形式化的領域。相比之下，主要的機器學習方法很靈活，但眾所周知難以解釋，需要大量數據，并且無法在訓練分布之外進行泛化。集成兩種方法的優勢對于構建具有精確和系統泛化能力的靈活推理機至關重要。具體而言，本文從兩個角度研究了神經符號推理。首先，將機器學習應用于與符號推理相關的任務，如自動定理證明(第2章)。其次，將符號推理啟發的歸納偏差引入機器學習模型，以提高其可解釋性、泛化性和數據效率(第3章和第4章)。結果強調了(1)神經符號模型架構，(2)在適當的抽象水平上進行推理，以及(3)明確的、推理的組合表示，如符號證明。 //dataspace.princeton.edu/handle/88435/dsp015q47rr958

模型必須能夠自我調整，以適應新環境。深度網絡在過去十年取得了巨大成功，特別是當訓練和測試數據來自相同的分布時。不幸的是，當訓練(源)與測試(目標)數據不同時，性能會受到影響，這種情況稱為域移位。模型需要自我更新以應對這些意外的自然干擾和對抗性擾動，如天氣變化、傳感器退化、對抗性攻擊等。如果我們有一些標記的目標數據，可以使用一些遷移學習方法，如微調和少樣本學習，以有監督的方式優化模型。然而，對目標標簽的要求對于大多數現實場景是不實際的。**本文專注于無監督學習方法，以將模型泛化到目標域。

本文研究了完全測試時自適應的設置，在不獲取目標標簽和源數據的情況下，將模型更新到不可控的目標數據分布。換句話說，模型在這個設置中只有它的參數和未標記的目標數據。其核心思想是利用測試時間優化目標，熵最小化，作為可學習模型的反饋機制，在測試時間內關閉循環。我們通過在線或離線的方式優化模型，以測量輸出熵的置信度。這種簡單有效的方法可以降低自然破壞和對抗性擾動圖像分類的泛化誤差。此外，語義分割模型的自適應特性可用于處理場景理解的動態尺度推理。通過對比學習和擴散模型，我們可以學習目標域特征并生成源風格的圖像，進一步提高動態環境下的識別性能。

//www2.eecs.berkeley.edu/Pubs/TechRpts/2022/EECS-2022-229.html

傳統的機器學習范式在單個任務上訓練特定任務模型，已經在許多領域(如計算機視覺和自然語言處理)取得了最先進的性能。為了使機器學習模型具有更廣泛的適用性，遷移學習旨在適應從源任務中學習到的知識，以提高在其他目標任務中的表現。然而，現有的遷移學習范式還有待進一步研究，因此我們對其潛在的局限性、潛在的機制以及實現更智能遷移的解決方案的認識有限。特別是，當知識從一個不太相關的來源轉移時，可能會對目標性能造成負面影響，這種現象稱為負轉移。然而，負遷移的原因尚不明確，負遷移如何影響模型的泛化和樣本效率也不清楚。在這篇論文中，我們的目標是徹底描述和解決機器學習模型中的負遷移，我們仔細研究了流行的視覺和自然語言處理設置中的負遷移，收集了其原因的見解，并提出了提高泛化和樣本效率的解決方案。本文由三個部分組成。第一部分對當前遷移學習模型中的負遷移現象進行了系統的分析。我們在領域適應和多語言自然語言處理模型中正式描述了其條件，并證明任務沖突是負遷移的一個關鍵因素。在第二部分，我們提出了各種對齊方法，通過更好的對齊表示和梯度解決上述任務沖突，增強可轉移模型的泛化。最后，在第三部分，我們探索了有效樣本遷移學習算法，使用較少的訓練和/或校準數據來緩解負遷移。本文的主要貢獻包括對遷移學習中的負遷移問題提出了新的見解，提出了一系列實用的方法和算法，提高了模型的泛化和效率。

//www.lti.cs.cmu.edu/sites/default/files/wang%2C%20zirui%20-%20final%20thesis.pdf

近年來，人工智能研究取得了驚人的發展和進步。這些進步主要是在三個方面取得的:計算機視覺、自然語言處理和機器人技術。例如，圖像識別被廣泛認為是計算機視覺的圣杯，而語言建模和翻譯一直是自然語言處理的基本任務。然而，許多實際應用程序和任務需要解決的不僅僅是這些特定于領域的問題，而是需要解決涉及所有三個領域的問題。一個自主系統不僅需要能夠識別圖像中的物體，而且還需要解釋自然語言的描述或命令，并理解它們如何與它所感知的視覺觀察相關聯。此外，機器人需要利用這些信息進行決策，并決定為了完成任務而采取哪些物理行動。在本文的第一部分，我提出了一種學習如何將自然語言與三維形狀聯系起來的方法，使系統能夠將文本描述中描述的“圓”等詞與三維物體中的圓的幾何屬性進行連接。為了將這兩種模式聯系起來，我們依賴一個跨模態嵌入空間來進行多模態推理，并在沒有細粒度、屬性級分類注釋的情況下學習這個空間。通過學習如何將這兩種模態聯系起來，我們可以執行諸如文本到形狀的檢索和形狀操作等任務，還可以實現新的任務，如文本到形狀的生成。在本論文的第二部分，我們允許主體被具體化，并探索一個依賴于所有三個領域(計算機視覺、自然語言和機器人)的任務:機器人導航通過遵循自然語言指令。不再依賴于固定的圖像或3D對象數據集，代理程序現在位于一個物理環境中，并使用機載相機捕捉自己對空間的視覺觀察。為了在視覺、語言和機器人物理狀態之間建立聯系，我們提出了一個使用拓撲圖執行規劃和控制的系統。這種基本的抽象允許主體將語言指令的部分與環境的相關空間區域聯系起來，并將一系列視覺觀察與物理動作和行動聯系起來。

//searchworks.stanford.edu/view/13876455