亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

貝葉斯不確定性的量化是許多機器學習應用的關鍵元素。為此，開發了近似推理算法[176]，以相對較低的成本執行推理。盡管最近將近似推理擴展到"大模型×大數據"機制取得了進展，但仍存在許多公開挑戰。例如，如何正確地量化復雜、不可識別的模型(如神經網絡)的參數不確定性?如何正確處理由缺失數據引起的不確定性，并以可擴展的方式進行學習/推理?此外，如何優化地收集新信息，使缺失數據的不確定性進一步減少，從而做出更好的決策?本文對這些研究問題提出了新的研究方向和新的技術貢獻。本文分為兩個部分(主題A和主題B)。在主題A中，我們考慮在監督學習設置下量化模型的不確定性。為了克服參數空間推理的一些困難，本文提出了一個新的研究方向，稱為函數空間近似推理。也就是說，通過將監督概率模型視為隨機過程(對函數的度量)，我們現在可以通過另一類(更簡單的)隨機過程來近似預測函數的真實后驗。為函數空間推理提供了兩種不同的方法，并證明它們返回更好的不確定性估計，以及在復雜模型上改進的經驗性能。在主題B中，我們考慮了無監督學習環境下缺失數據不確定性的量化。本文提出一種基于深度生成模型的缺失數據不確定性量化新方法。它允許我們擺脫傳統方法的計算負擔，并執行準確和可擴展的缺失數據填補。此外，利用生成模型返回的不確定性估計，提出了一個信息論框架，用于高效、可擴展和個性化的主動信息獲取。這使我們能夠最大限度地減少缺失數據的不確定性，并根據新信息做出改進的決策。

機器學習(ML)正在經歷一場范式的轉變——機器學習模型越來越多地被作為一種服務來提供，以自動化各種下游決策，而不是由機器學習專家對特定任務進行端到端的訓練和部署。例如，大型科技公司提供的圖片或文本分類API，被廣泛的第三方應用開發者使用，以及通過網站向數百萬用戶提供各種預測(如天氣、COVID、流量等)，以幫助他們進行規劃。盡管這種新的范式通過使ML更廣泛地可訪問而使其民主化，但它引起了對可信性(用戶無法看到他們是如何被訓練的以及他們的失敗模式)和性能(預測模型不再為特定的下游任務量身定做)的擔憂。本文通過以下方法來解決這些問題:

貢獻1。提出了一種新的方法，通過精確的不確定性量化，向下游決策者傳遞信心，后者將對(高風險)決策進行預測。精確的不確定性量化可以通過預測相關結果的真實概率(例如給定癥狀的病人患病的真實概率)來實現。雖然在大多數情況下，準確地輸出這些概率是不可能的，但對于大型決策任務，學習與真實概率難以區分的概率卻是驚人的可能。不可區分性保證了決策者的可靠性，因為在他們的決策任務中，他們不應該能夠區分預測概率和真實概率之間的區別。作為一個應用程序，我開發了一些預測模型，如醫療診斷、航班延誤預測和貧困預測等領域。我展示了通過使用我的方法，決策者可以自信地做出導致良好結果的決策。

貢獻2。發展一種新的信息理論，以嚴格推理和優化ML預測在廣泛的決策任務中的“有用性”。香農信息理論在機器學習中有著廣泛的應用，但在處理復雜的學習和決策任務時存在一些局限性。例如，考慮從對手攔截的安全加密消息數據集。根據信息論，這些加密信息與對手的計劃具有高度的互信息，而任何計算有界的決策者都不能利用這些信息。為了解決這些局限性，我提出了一個新的框架，稱為“效用信息理論”，它概括了香農熵、信息和散度，以解釋知識或建模能力有限的決策者將如何使用信息。作為一個應用，我將新的信息應用于貝葉斯優化問題，并顯示了比使用香農信息的當前方法在樣本效率方面的數量級改進。

計算上下文理解指的是agent融合不同信息源進行決策的能力，因此，通常被認為是人工智能(AI)等復雜機器推理能力的先決條件。數據驅動和知識驅動方法是追求這種機器意義生成能力的兩種經典技術。然而，雖然數據驅動的方法試圖通過在現實世界中的觀察來模擬事件的統計規律，但它們仍然難以解釋，而且缺乏自然地結合外部知識的機制。相反，知識驅動的方法結合了結構化的知識庫，使基于公理原則的符號推理成為可能，并產生更多可解釋的預測; 然而，它們往往缺乏估計推斷的統計顯著性或魯棒地適應輸入中的擾動的能力。為了解決這些問題，我們使用混合AI方法作為綜合兩種方法的優勢的一般框架。具體而言，我們繼承了神經符號的概念，將其作為一種使用領域知識來指導深度神經網絡學習進程的方法。領域知識以多種形式出現，包括:(i) 圖模型，它描述了實體之間的關系，如依賴、獨立、因果、相關和部分相關; (ii) 常識性知識，包括空間知識、物體的物理屬性、語義關系和功能知識; 專家智能體以演示或軟標簽的形式提供特權信息; (iv) 習得的行為原語和先驗，這些行為原語和先驗可能構成可推廣和可轉移的任務執行;以及(v)輔助任務、目標和約束條件——為約束優化精心選擇。

無論可用的領域知識類型是什么，相同的實際目標仍然是:學習有意義的神經表征，用于下游感興趣的任務。神經表征學習的潛在目標是在統計上識別agent輸入數據或觀察中變化的最佳解釋因素，通常需要對輸入中多種模式或觀點之間的互補性的直覺。雖然已經有很多關注于學習特定任務的有效神經表征，然后將學習到的表征轉移或適應其他任務，相對較少的重點放在有各種類型的領域知識的表征學習。這些知識可用于恢復潛在生成過程的信息，設計學習問題的有效建模策略，確保模型的可轉移性或泛化性，或理解視圖之間的互補性。本文研究了將上述類型的領域知識與神經表示相結合的方法，以提高以下問題領域的模型性能和通用性:神經常識推理、多模態機器人導航和自動駕駛。本文提供了一系列工具、方法、任務、國際AI挑戰和排行榜、數據集和知識圖;此外，這項工作還成功組織了兩場關于自動駕駛安全學習的國際研討會。

傳統的機器學習范式在單個任務上訓練特定任務模型，已經在許多領域(如計算機視覺和自然語言處理)取得了最先進的性能。為了使機器學習模型具有更廣泛的適用性，遷移學習旨在適應從源任務中學習到的知識，以提高在其他目標任務中的表現。然而，現有的遷移學習范式還有待進一步研究，因此我們對其潛在的局限性、潛在的機制以及實現更智能遷移的解決方案的認識有限。特別是，當知識從一個不太相關的來源轉移時，可能會對目標性能造成負面影響，這種現象稱為負轉移。然而，負遷移的原因尚不明確，負遷移如何影響模型的泛化和樣本效率也不清楚。在這篇論文中，我們的目標是徹底描述和解決機器學習模型中的負遷移，我們仔細研究了流行的視覺和自然語言處理設置中的負遷移，收集了其原因的見解，并提出了提高泛化和樣本效率的解決方案。本文由三個部分組成。第一部分對當前遷移學習模型中的負遷移現象進行了系統的分析。我們在領域適應和多語言自然語言處理模型中正式描述了其條件，并證明任務沖突是負遷移的一個關鍵因素。在第二部分，我們提出了各種對齊方法，通過更好的對齊表示和梯度解決上述任務沖突，增強可轉移模型的泛化。最后，在第三部分，我們探索了有效樣本遷移學習算法，使用較少的訓練和/或校準數據來緩解負遷移。本文的主要貢獻包括對遷移學習中的負遷移問題提出了新的見解，提出了一系列實用的方法和算法，提高了模型的泛化和效率。

//www.lti.cs.cmu.edu/sites/default/files/wang%2C%20zirui%20-%20final%20thesis.pdf

我們引入蒙特卡羅注意力(MCA)，這是一種用于降低Transformer架構中自注意機制的計算成本的隨機近似方法。MCA利用了輸入序列中每個標記的重要性隨它們的注意力分數而變化的事實;因此，當編碼低關注度的標記時，一定程度的錯誤是可以容忍的。利用近似矩陣乘法，MCA應用不同的誤差邊界對輸入標記進行編碼，使得那些注意力得分較低的標記的計算精度較低，而顯著元素的誤差最小。MCA可以與其他注意力優化方案并行運行，且不需要修改模型。我們研究了理論誤差范圍，并證明了在GLUE基準中，MCA將各種Transformer模型的注意力復雜度(FLOPS)降低了11倍，而不影響模型精度。

//www.zhuanzhi.ai/paper/6b33480c8d45b3826128eb0c336d1070

證據回歸網絡(ENet)估計一個連續目標及其預測的不確定性，無需昂貴的貝葉斯模型平均。然而，由于ENet原始損失函數的梯度收縮問題，即負對數邊際似然損失，有可能導致目標預測不準確。本文的目標是通過解決梯度收縮問題來提高ENet的預測精度，同時保持其有效的不確定性估計。一個多任務學習(MTL)框架，被稱為MT-ENet，被提出來實現這一目標。在MTL中，我們將Lipschitz修正均方誤差(MSE)損失函數定義為另一種損失，并將其添加到現有的NLL損失中。設計了Lipschitz修正均方誤差損失，通過動態調整其Lipschitz常數來緩解梯度與NLL損失之間的沖突。這樣，李普希茨均方誤差損失不影響NLL損失的不確定性估計。MT-ENet提高了ENet的預測精度，同時在合成數據集和現實基準上，包括藥物-目標親和(DTA)回歸，不喪失不確定性估計能力。此外，MT-ENet在DTA基準上具有顯著的校準和非分布檢測能力。

//www.zhuanzhi.ai/paper/c91e28221315b8539ea96695b53146dc

基于雙流更新的視覺

Transformer動態加速方法

Evo-ViT: Slow-Fast Token Evolution for Dynamic Vision Transformer

視覺Transformer 通過自注意力機制捕獲短程和長程視覺依賴的能力使其在各種計算機視覺任務中顯示出巨大的潛力，但是長程感受野同樣帶來了巨大的計算開銷，特別是對于高分辨率視覺任務。為了能夠在保持原有模型準確率的前提下，降低模型計算復雜度，從而使得視覺 Transformer成為一種更加通用、高效、低廉的解決框架，我們提出了Evo-ViT，基于雙流token更新的視覺transformer動態加速方法。

該方法在保持了完整空間結構的同時給高信息量token和低信息量token分配不同的計算通道。從而在不改變網絡結構的情況下，以極低的精度損失大幅提升直筒狀和金字塔壓縮型的Transformer模型推理性能。

其中，我們提出的基于全局class attention的token選擇策略通過增強層間的通信聯系實現穩定token選擇，相比以往方法，無需依靠外部的可學習網絡來對每一層的token進行選擇，也無需基于訓練好的網絡進行token裁剪。在ImageNet 1K數據集下，Evo-ViT可以提升DeiT-S 60%推理速度的同時僅僅損失0.4%的精度。

//www.zhuanzhi.ai/paper/7a1101e877530fa0dc16f1315fe9c019

【導讀】每年，CIFAR深度學習+強化學習(DLRL)暑期學校都會聚集研究生、博士后和專業人士，涵蓋深度學習和強化學習的基礎研究、新進展和現實應用。2021年DLRL暑期學校將于2021年7月26日至31日舉行。這所學校由CIFAR主辦，與我們的三個國家人工智能研究所合作:埃德蒙頓的Amii、蒙特利爾的Mila和多倫多的Vector研究所。

來自Google研究院Balaji Lakshminarayanan講述了《深度學習不確定》的報告，值得關注！

對深度學習中的不確定性進行量化是一個具有挑戰性且尚未解決的問題。預測的不確定性估計對于知道何時信任模型的預測是很重要的，特別是在實際應用中，在實際應用中，訓練和測試分布可能是非常不同的。報告的第一部分將集中于檢測分布外輸入(OOD)。深度生成模型被認為對OOD輸入更魯棒，但我將給出反例，其中生成模型可以為OOD輸入分配比訓練數據更高的可能性。具體來說，我們發現，在一個數據集(如CIFAR-10)上訓練的深度生成模型的模型密度賦予來自另一個數據集(如SVHN)的OOD輸入更高的可能性。我將討論一些最近的后續工作，其中我們將進一步詳細研究這些失效模式，并提出解決方案。演講的第二部分將集中討論判別模型的預測不確定性估計。我將討論我們在數據集漂移下校準的大規模基準研究的結果，并介紹我們在推進漂移校準的最先進一些工作。

Balaji Lakshminarayanan目前是谷歌Brain的研究人員。他最近的研究集中在概率深度學習，特別是不確定性估計，非分布魯棒性和深度生成模型。

//www.gatsby.ucl.ac.uk/~balaji/