亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

基于記憶的元學習是一種強大的技術，可以構建能夠快速適應目標分布中的任何任務的agents。之前的一項理論研究認為，這種顯著的表現是因為元訓練方案激勵agent以貝葉斯最優的方式行為。我們通過一些預測和敲詐任務對這一主張進行了實證研究。在理論計算機科學的啟發下，我們發現元學習和貝葉斯最優agent不僅行為相似，而且在某種意義上，它們甚至共享相似的計算結構，即一個agent系統可以近似地模擬另一個。此外，我們證明貝葉斯最優agent是元學習動態的不動點。我們的研究結果表明，基于記憶的元學習可以作為一種通用技術，用于數值逼近貝葉斯最優agent，也就是說，甚至對于我們目前沒有可處理模型的任務分布也是如此。

在“學習到學習”的范式中，基于記憶的元學習是一種創建代理的強大技術，它能快速適應從目標分布中抽取的任何任務。此外，有人聲稱元學習可能是創建泛化到看不見的環境的系統的關鍵工具。計算神經科學的研究也部分支持了這一觀點，其中對人類的實驗研究表明，快速的技能適應依賴于任務的變化。因此，理解元學習agent如何獲得它們的表征結構并執行它們的計算是至關重要的，因為它可以為架構選擇、訓練任務的設計提供信息，并解決人工智能中的泛化和安全性問題。

以前的理論工作認為，充分優化元學習目標的agent是通過構造的貝葉斯最優，因為元學習目標是貝葉斯最優目標的蒙特卡羅近似。這是令人震驚的，因為貝葉斯最優agent通過最優地權衡勘探和開發來實現收益最大化(或損失最小化)。該理論還提出了一個更強的、結構化的主張:即經過元訓練的agent在幕后執行貝葉斯更新，其中計算是通過嵌入在內存動態中的狀態機實現的，該狀態機跟蹤解決任務類所需的不確定性的充分統計信息。

在這里，我們著手實證綜述元學習agent的計算結構。然而，這帶來了不小的挑戰。人工神經網絡以其難以解釋的計算結構而臭名昭著:它們在具有挑戰性的任務中取得了卓越的表現，但這種表現背后的計算仍然難以捉摸。因此，盡管可解釋機器學習的許多工作集中在I/O行為或記憶內容上，只有少數通過仔細的定制分析來研究引起它們的內部動態(見例[12 18])。

為了應對這些挑戰，我們調整了理論計算機科學與機器學習系統的關系。具體來說，為了在計算級別[19]上比較agent，我們驗證它們是否可以近似地相互模擬。仿真的質量可以根據原始和仿真之間的狀態和輸出相似度來評估。

因此，我們的主要貢獻是研究基于RNN的元學習解決方案的計算結構。具體地說，我們比較元學習代理的計算和貝葉斯最優agent的計算，在他們的行為和內部表示的一套預測和強化學習任務已知的最優解決方案。我們在這些任務中展示了這一點:

• 元學習代理的行為類似貝葉斯最優agent(第4.1節)。也就是說，元學習agent做出的預測和行動實際上與貝葉斯最優agent無法區分。

• 在元訓練過程中，元學習者收斂于貝葉斯最優(第4.2節)。我們的經驗表明，貝葉斯最優策略是學習動態的不動點。

• 元學習代理代表像Bayes-optimal代理這樣的任務(第4.3節)。具體來說，計算結構對應于嵌入在(歐幾里得)內存空間中的狀態機，其中狀態編碼任務的充分統計信息并產生最優操作。我們可以用貝葉斯最優agent執行的計算來近似地模擬元學習代理執行的計算。

空間數據的精確統計分析在許多應用中都很重要。如果不能正確地解釋空間自相關，可能會導致錯誤的結論。與此同時，空間數據集不斷增長的規模帶來了巨大的計算挑戰，因為許多空間分析的標準方法都被限制在幾千個數據點上。

在本論文中，我們探討了高斯馬爾可夫隨機場(GMRFs)如何用于可擴展的空間數據分析。GMRFs與常用的高斯過程密切相關，但具有稀疏性，這使得它們在計算時間和內存方面都很便宜。貝葉斯框架使GMRF作為一個空間先驗，包含了在空間上平滑變化的假設，并給出了一個原則的方法來估計參數和傳播不確定性。

我們開發了一種新的算法，可以將GMRF先驗應用于功能磁共振成像(fMRI)數據中固有的大腦活動，并進行數百萬次觀察。我們表明，我們的方法比以前的工作更快，更準確。提出了一種對后驗不確定性進行估計的逆精度矩陣(即協方差矩陣)中選定元素的近似方法。此外，我們在GMRFs和deep convolutional neural networks之間建立了一個鏈接，這個鏈接已經成功應用于無數的機器學習圖像任務中，形成了一個deep GMRF模型。最后，我們展示了GMRFs如何用于實時機器人搜索和救援行動，以建模受傷人員的空間分布。

//liu.diva-portal.org/smash/record.jsf?pid=diva2%3A1433819&dswid=-2934

空間統計處理描述存在于跨空間測量的數據中的統計模式。以空間位置作為參考的數據在廣泛的領域中是常見的和自然產生的。許多應用是在地理范圍內進行的，例如描述動植物的分布、疾病的傳播或城市中房價的變化。空間數據的一個重要方面是，附近的測量結果往往比距離較遠的更相似，這可以被描述為空間自相關。同一物種的植物更經常發現彼此接近，和房子往往賣類似的價格在同一地區的其他房子，而不是在其他地區的房子。在分析空間數據時，正確地考慮這些依賴關系是得出正確結論和做出可信預測的關鍵。

本文的目的是為了使貝葉斯分析能夠應用于醫學圖像等大尺度空間數據的空間先驗。許多應用需要分層的、結構化的、靈活的貝葉斯空間模型來恰當地描述數據，正確地傳播不確定性，并得出正確的結論。我們通過開發貝葉斯推理的快速算法來解決這個問題，并在幾個應用中展示了它們的性能。

論文分為兩個部分，第一部分是對研究領域的基本介紹，第二部分是研究論文的集合。本章以對這些文章的總結結束。在第二章中，我們回顧了貝葉斯和空間統計模型，特別關注了GMRFs。第三章介紹了貝葉斯推理的方法。第四章介紹了fMRI數據的統計分析，特別是空間先驗。第五章總結了本文的研究成果，并對未來的研究方向進行了展望。

圖神經網絡(GNNs)是廣泛使用的深度學習模型，從圖結構數據學習有意義的表示。由于底層循環結構的有限性質，當前的GNN方法可能難以捕獲底層圖中的長期依賴關系。為了克服這個困難，我們提出了一個圖學習框架，稱為隱式圖神經網絡(IGNN)，其中的預測是基于一個涉及隱式定義的“狀態”向量的不動點平衡方程的解。利用Perron-Frobenius理論推導了保證框架良好性的充分條件。利用隱式微分，我們推出了一個易于處理的投影梯度下降方法來訓練框架。對一系列任務進行的實驗表明，IGNNs始終能夠捕獲長期依賴關系，并優于最先進的GNN模型。

//arxiv.org/abs/2009.06211

非凸優化是機器學習中的基礎問題，迭代優化方法缺乏理論支撐。普林斯頓大學助理教授Yuxin Chen一直從事非凸優化方面的研究，這份報告講述了最近關于非凸統計估計的故事，它們強調了統計模型在實現有效的非凸優化中的重要作用。

Yuxin Chen 目前是普林斯頓大學電氣工程系的助理教授。在加入普林斯頓大學之前，他是斯坦福大學統計系的博士后學者，并在斯坦福大學完成了電子工程博士學位。他的研究興趣包括高維統計、凸與非凸優化、統計學習和信息論。他獲得了2019年AFOSR青年研究員獎。

//www.princeton.edu/~yc5/

非凸優化與統計學

近年來，利用非凸優化方法來解決統計估計和學習問題的研究工作層出不窮。由于非凸優化算法易受虛假局部極小值的影響，傳統工作通常對其持悲觀看法，而簡單的迭代方法，如梯度下降法，在實踐中已經取得了顯著的成功。然而，直到最近，這些理論基礎在很大程度上一直缺乏。這個報告展示了兩個最近關于非凸統計估計的故事，它們強調了統計模型在實現有效的非凸優化中的重要作用。第一個故事是關于一個相位檢索問題的隨機初始化非凸方法:即使沒有仔細的初始化，像梯度下降這樣的簡單算法也可以在對數迭代次數內找到全局解。第二個故事是關于非凸低秩矩陣補全的不確定性量化。我們在非凸估計的基礎上開發了一個去偏估計器，使未知矩陣缺失項的置信區間能得到最優構造。所有這些都是通過一個“一留一出”的統計分析框架實現的，該框架在處理和解耦復雜的統計依賴方面非常強大。

題目： Laplacian Regularized Few-Shot Learning

簡介：

我們為小樣本學習提出了一個拉普拉斯正則化推斷。給定從基類中學習到的任何特征嵌入，我們將包含兩個項的二次二進制賦值函數最小化：（1）將查詢樣本分配給最近的類原型的一元項，以及（2）鼓勵附近查詢樣本成對使用的成對拉普拉斯項具有一致的標簽。我們的推論不會重新訓練基本模型，并且可以將其視為查詢集的圖形聚類，但要受到支持集的監督約束。我們導出了函數松弛的計算有效邊界優化器，該函數在保證收斂的同時為每個查詢樣本計算獨立（并行）更新。在基礎類上進行簡單的交叉熵訓練，并且沒有復雜的元學習策略后，我們對五個基準進行了全面的實驗。我們的LaplacianShot在不同模型，設置和數據集上具有顯著優勢，始終優于最新方法。此外，我們的歸納推理非常快，其計算時間接近于歸納推理，可用于大規模的一次性任務。

在過去的20年里，基因組學、神經科學、經濟學和互聯網服務等許多領域產生了越來越多的大數據集，這些數據集有高維、大樣本，或者兩者兼之。這為我們從數據中檢索和推斷有價值的信息提供了前所未有的機會。同時，也對統計方法和計算算法提出了新的挑戰。一方面，我們希望建立一個合理的模型來捕獲所需的結構，并提高統計估計和推斷的質量。另一方面，面對越來越大的數據集，計算可能成為一個巨大的障礙，以得出有意義的結論。這篇論文站在兩個主題的交叉點，提出了統計方法來捕獲所需的數據結構，并尋求可擴展的方法來優化計算非常大的數據集。我們提出了一種可擴展的靈活框架，用于利用lasso/elastic-net解決大規模稀疏回歸問題; 提出了一種可伸縮的框架，用于在存在多個相關響應和其他細微差別(如缺失值)的情況下解決稀疏縮減秩回歸問題。分別在snpnet和multiSnpnet R包中以PLINK 2.0格式為基因組數據開發了優化的實現。這兩種方法在超大和超高維的英國生物樣本庫研究中得到了驗證，與傳統的預測建模方法相比有了顯著的改進。此外，我們考慮了一類不同的高維問題，異質因果效應的估計。與監督學習的設置不同，這類問題的主要挑戰在于，在歷史數據中，我們從未觀察到硬幣的另一面，因此我們無法獲得處理之間真正差異的基本真相。我們提出適應非參數統計學習方法，特別是梯度增強和多元自適應回歸樣條，以估計處理效果的預測器可用。實現被打包在一個R包causalLearning中。

主題： Large-scale and high-dimensional statistical learning methods and algorithms

摘要： 在過去的二十年中，基因組學，神經科學，經濟學和互聯網服務等許多領域已經產生了越來越大的，具有高維，大樣本量或兩者兼有的數據集。這為我們提供了前所未有的機會，可以從數據中檢索和推斷出有價值的信息。同時，這也給統計方法和計算算法提出了新的挑戰。一方面，我們希望制定一個合理的模型來捕獲所需的結構并提高統計估計和推斷的質量。另一方面，面對越來越大的數據集，計算可能是一個很難得出有意義結論的障礙。本文站在兩個主題的交集上，提出了統計方法來捕獲數據中的所需結構，并尋求可擴展的方法來優化超大型數據集的計算。我們提出了使用套索/彈性網解決大規模稀疏回歸問題的可擴展且靈活的框架，以及在存在多個相關響應和其他細微差別（例如缺失值）的情況下解決稀疏降階回歸的可擴展框架。針對R軟件包snpnet和multiSnpnet中PLINK 2.0格式的基因組數據開發了優化的實現。這兩種方法已在UK Biobank的超大型和超大規模研究中得到證明，并且與傳統的預測建模方法相比有了顯著改進。此外，我們考慮另一類高維問題，即異類因果效應估計。與監督學習不同，此類問題的主要挑戰在于，在歷史數據中，我們從未觀察到硬幣的另一面，因此我們無法獲得治療之間真正差異的地面真理。我們建議采用非參數統計學習方法，尤其是梯度增強和多元自適應回歸樣條，以根據可用的預測因子來估計治療效果。

組合優化是計算機視覺的常用方法。例如，在諸如語義分割、人體姿態估計和動作識別等應用中，為解決條件隨機域(CRFs)中的推理問題而編寫的程序可以生成與圖像視覺特征一致的結構化輸出。然而，在CRFs中求解推理通常是棘手的，而近似方法在計算上要求很高，并且僅限于一元的、成對的和手工制作的高階勢形式。在這篇論文中，我們證明了我們可以學習程序啟發式。策略，用于解決高階CRFs中推理任務的語義分割，采用強化學習。我們的方法有效地解決了推理任務，而沒有對勢的形式施加任何約束。我們在Pascal VOC和MOTS數據集上展示了引人注目的結果。

【導讀】紐約大學的Andrew Gordon Wilson和Pavel Izmailov在論文中從概率角度的泛化性對貝葉斯深度學習進行了探討。貝葉斯方法的關鍵區別在于它是基于邊緣化，而不是基于最優化的，這為它帶來了許多優勢。

貝葉斯方法的關鍵區別是邊緣化，而不是使用單一的權重設置。貝葉斯邊緣化可以特別提高現代深度神經網絡的準確性和校準，這是典型的不由數據完全確定，可以代表許多令人信服的但不同的解決方案。我們證明了深度集成為近似貝葉斯邊緣化提供了一種有效的機制，并提出了一種相關的方法，通過在沒有顯著開銷的情況下，在吸引域邊緣化來進一步改進預測分布。我們還研究了神經網絡權值的模糊分布所隱含的先驗函數，從概率的角度解釋了這些模型的泛化性質。從這個角度出發，我們解釋了那些對于神經網絡泛化來說神秘而獨特的結果，比如用隨機標簽來擬合圖像的能力，并證明了這些結果可以用高斯過程來重現。最后，我們提供了校正預測分布的貝葉斯觀點。