亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

表示學習已經成為一種多功能工具，能夠利用使用數字技術獲得的大量數據集。該方法的廣泛適用性源于其作為子系統使用的靈活性和在模型架構中納入先驗的可擴展性。數據內部的直觀依賴關系，如像素主要對其鄰近的上下文做出貢獻，可以被形式化和嵌入，以提高泛化，并允許具有很大能力的模型避免過擬合。元學習也被應用于將這些系統擴展到低數據設置，通過將特定任務視為更普遍問題的實現而不損失性能。本文考慮如何利用這些方法的基本兼容性。本工作的主要論點是，歸納偏差提供的計算的清晰度可以用于改進元學習架構，并直接構建元學習器過去經驗和解決問題能力到新任務的遷移。通過融合這些方法開發的方法可以在廣泛的設置和領域中提高與基線模型相比的性能。融合有三種實現方式。第一個將復合分類確定為一種自然設置，并展示了如何使用注意力下數據點的自組織來增強元學習分類器。第二種使用顯式關系推理來調節和重組神經模塊，以在測試時快速準確地適應。自適應神經過程來捕獲關系和時間依賴，以提高預測和不確定性估計的準確性和一致性。在驗證本文的激勵假設時，這些貢獻在其他領域中發現了最先進的應用，包括小樣本圖像分類、粒子控制系統的相互作用的無監督恢復、蛋白質-蛋白質相互作用位點預測以及動力系統的識別和演化。通過這樣做，這項工作有助于使機器智能應用于更廣泛、更精細的問題范圍——作為所考慮問題的解決方案，作為進一步應用的架構模板，以及作為未來研究的方向。

**訓練基于深度神經網絡的自動語音識別(ASR)模型通常需要數千小時的轉錄數據，將其限制在少數語言中。此外，目前最先進的聲學模型基于Transformer架構，該架構隨著序列長度的二次增長，阻礙了其對長序列的使用。本文旨在減少(a)數據和(b)開發最先進的ASR系統的計算需求，只有幾百小時或更少的轉錄數據。本文的第一部分著重于減少訓練這些模型所需的轉錄數據量。本文提出一種使用dropout進行不確定性感知半監督學習的方法。該方法為未標記數據的訓練產生了更好的假設。研究了兩種流行的自監督預訓練方法的域外和跨語言泛化:掩碼聲學建模和wav2vec 2.0。兩種預訓練方法都可以泛化到未見過的域，并明顯優于僅用監督數據訓練的模型。//infoscience.epfl.ch/record/297304?ln=en在第二部分中，專注于減少Transformer模型的計算需求，(a)通過設計高效的注意力計算形式，(b)通過減少注意力計算的輸入上下文長度。**本文首次提出"線性"注意力，使用注意力的核公式將自回歸transformer表示為遞歸神經網絡，并將序列長度的計算復雜度從二次降低到線性。提出"聚類"注意力，通過對輸入序列進行聚類并使用質心進行計算來近似自注意力。在給定的計算預算下，聚類注意力優于普通注意力。對于ASR，我們發現線性注意力導致詞錯誤率下降，而聚類在處理較短序列時引入了開銷。為解決這一限制，本文開發了一種方法，用均值池化對輸入進行隨機下采樣，以實現高效的wav2vec 2.0訓練。這使得在推理過程中可以在不同的壓縮因子下使用相同的模型。對wav2vec 2.0預訓練的隨機壓縮，能夠為轉錄數據有限的語言建立計算高效的ASR模型。

**深度神經網絡(DNN)在許多領域都提供了最先進的性能，但這一成功是以高計算和內存資源為代價的。**由于DNN推理在邊緣和云系統上都是一種流行的工作負載，因此迫切需要提高其能效。改進的效率使dnn能夠在更大范圍的目標市場中使用，并有助于提高性能，如果今天經常受到功率限制。本文采用軟硬件協同設計的方法，提高了不同硬件平臺上深度神經網絡推理的性能。我首先展示了一些降低DNN運行時成本的軟件優化技術。總的來說，我證明了模型大小可以減少34倍。不同風格的神經網絡壓縮技術的組合可以在縮小內存足跡方面提供成倍的收益。這些技術適用于在內存敏感的邊緣設備上運行DNN推理。利用運行時和依賴數據的特征信息，我開發了一種動態剪枝策略，其性能明顯優于現有的靜態剪枝方法。所提出的動態剪枝不僅減少了模型大小，而且減少了GPU的乘累加操作數量。我還介紹了一種新的量化機制，該機制被調整為適合模型參數的自然分布，這種方法減少了DNN推斷所需的位操作總數。然后，本文專注于使用自定義硬件加速DNN。構建了一個名為Tomato的框架，它在FPGA設備上生成多精度和多算法硬件加速器。軟硬件聯產流程從高層神經網絡描述中部署硬件加速器，利用FPGA器件的硬件可重構性支持靈活的每層量化策略。然后，我證明了自動生成的加速器在延遲和吞吐量方面比最接近的基于FPGA的競爭對手至少高出2到4倍。為ImageNet分類生成的加速器以每秒超過3000幀的速度運行，延遲僅為0.32ms，使其成為延遲關鍵、高吞吐量的云端推理的合適候選。最后，我展示了自動化機器學習技術如何通過硬件感知來改進，以為新興類型的神經網絡和新的學習問題設置產生高效的網絡架構。硬件感知的網絡架構搜索(NAS)能夠發現更節能的網絡架構，并在圖神經網絡等新興神經網絡類型上實現顯著的計算節省。在8個不同的圖數據集上與7個人工和NAS生成的基線相比，所提出的低精度圖網絡架構搜索提高了大小-精度的帕累托前沿。此外，我演示了硬件感知的NAS可以應用于多任務多設備少樣本學習場景。在具有各種硬件平臺和約束的流行的少樣本學習基準中，所提出的方法的性能明顯優于各種NAS和人工基準。在5路1樣本Mini-ImageNet分類任務上，所提方法在減少60%計算量的情況下，比最好的人工基線在準確率上提高了5.21%。

**近年來，深度學習在許多領域得到了快速發展。這些成功啟發了在安全領域使用深度學習。**然而，當深度學習遇到安全性時，至少有兩個主要挑戰。首先，攻擊數據的可用性是個問題。在有限的攻擊數據下構建一個良好的模型是具有挑戰性的。其次，深度學習系統本身容易受到各種攻擊，這在使用深度學習提高計算機系統安全性時帶來了新的問題。為了解決第一個挑戰，本文展示了如何使用深度學習技術來提高有限或沒有攻擊數據的計算機系統的安全性。為了解決第二個挑戰，我們展示了如何保護深度學習系統的安全性和隱私性。 **具體而言，在本文的第一部分中，我們考慮了一個沒有攻擊數據的實際場景，即異常檢測。**本文提出了一種新的方法——重構誤差分布(RED)，用于實時異常檢測。本文的關鍵見解是，計算機系統的正常行為可以通過時間深度學習模型捕獲。偏離正常行為表示異常。實驗表明，所提方法可以在電網控制器系統和通用云計算服務器中實時、高精度地檢測攻擊。論文的第二部分主要研究深度學習的安全與隱私保護問題。在機器學習即服務(MLaaS)系統中，可以通過一種精心設計的輸入，即敏感樣本，動態檢查云中的深度學習模型的完整性。在另一個場景中，例如邊緣-云系統中的分布式學習，我們證明了云中的攻擊者可以在攻擊者能力不斷減弱的情況下高保真地重構邊緣設備的輸入數據。本文還提出了一種新的防御方法來應對這些攻擊。 綜上所述，我們希望本文的工作能為利用深度學習提高安全性提供啟發，并有助于提高深度學習系統的安全性。

貝葉斯不確定性的量化是許多機器學習應用的關鍵元素。為此，開發了近似推理算法[176]，以相對較低的成本執行推理。盡管最近將近似推理擴展到"大模型×大數據"機制取得了進展，但仍存在許多公開挑戰。例如，如何正確地量化復雜、不可識別的模型(如神經網絡)的參數不確定性?如何正確處理由缺失數據引起的不確定性，并以可擴展的方式進行學習/推理?此外，如何優化地收集新信息，使缺失數據的不確定性進一步減少，從而做出更好的決策?本文對這些研究問題提出了新的研究方向和新的技術貢獻。本文分為兩個部分(主題A和主題B)。在主題A中，我們考慮在監督學習設置下量化模型的不確定性。為了克服參數空間推理的一些困難，本文提出了一個新的研究方向，稱為函數空間近似推理。也就是說，通過將監督概率模型視為隨機過程(對函數的度量)，我們現在可以通過另一類(更簡單的)隨機過程來近似預測函數的真實后驗。為函數空間推理提供了兩種不同的方法，并證明它們返回更好的不確定性估計，以及在復雜模型上改進的經驗性能。在主題B中，我們考慮了無監督學習環境下缺失數據不確定性的量化。本文提出一種基于深度生成模型的缺失數據不確定性量化新方法。它允許我們擺脫傳統方法的計算負擔，并執行準確和可擴展的缺失數據填補。此外，利用生成模型返回的不確定性估計，提出了一個信息論框架，用于高效、可擴展和個性化的主動信息獲取。這使我們能夠最大限度地減少缺失數據的不確定性，并根據新信息做出改進的決策。

**人類通過被動觀察和主動互動來學習世界的心理模型，從而在環境中導航。他們的世界模型允許他們預測接下來可能發生的事情，并根據潛在的目標采取相應的行動。**這樣的世界模型在自動駕駛等復雜環境的規劃方面具有強大的前景。人類司機或自動駕駛系統用眼睛或相機感知周圍環境。他們推斷出世界的一種內部表示應該:(i)具有空間記憶(例如遮擋)，(ii)填充部分可觀測或有噪聲的輸入(例如被陽光蒙蔽時)，以及(iii)能夠概率地推理不可觀測的事件(例如預測不同的可能的未來)。它們是具身的智能體，可以通過其世界模型在物理世界中預測、計劃和行動。本文提出一個通用框架，從攝像機觀察和專家演示中訓練世界模型和策略，由深度神經網絡參數化。利用幾何、語義和運動等重要的計算機視覺概念，將世界模型擴展到復雜的城市駕駛場景。**在我們的框架中，我們推導了這種主動推理設置的概率模型，其目標是推斷解釋主動代理的觀察和行動的潛在動力學。**我們通過確保模型預測準確的重建以及合理的操作和過渡來優化日志證據的下界。首先，我們提出了一個模型，預測計算機視覺中的重要量:深度、語義分割和光流。然后，我們使用三維幾何作為歸納偏差在鳥瞰空間中操作。我們首次提出了一個模型，可以從360?環繞單目攝像機鳥瞰動態代理的概率未來軌跡。最后，我們展示了在閉環駕駛中學習世界模型的好處。我們的模型可以聯合預測城市駕駛環境中的靜態場景、動態場景和自我行為。我們表明，學習世界模型和駕駛策略可以生成超過1小時的預測(比訓練序列大小長2000倍)。

**隨著大型模型的發展以及數據的爆炸性增長和可用性，深度學習在眾多現實應用中取得了巨大而廣泛的突破。**然而，深度學習模型通常具有過高的計算和內存成本，不適合在移動設備或邊緣設備上進行實際部署。此外，深度學習模型面臨著學習和快速適應的挑戰，從只有幾個例子來解決新的任務。因此，本文提出了學習計算效率高的模型架構的技術和提高少樣本學習能力的方法。**我們從子空間分析方法及其在特征選擇問題中的應用開始。然后將這些方法擴展到深度神經網絡結構學習(deep neural network structural learning, SL)中，目的是減少冗余參數，以獲得能夠保持甚至提高精度的最優降維模型。**還介紹了基于混合剪枝-再生長技術的更高效的SL方法和可以跨更多維度降低模型的更通用的SL方法。除了靜態模型設計之外，本文還提出了動態神經網絡方法，可以在推理過程中根據不同的輸入動態調整模型權重和結構，以控制計算效率并提高表示能力。除了模型效率外，還提出了訓練模型的技術，可以從幾個例子中快速泛化。本文提出一種少樣本架構自適應方法，通過元學習一個任務感知架構控制器，為不同的少樣本任務定制特定于任務的模型結構。與傳統的NAS方法需要對每個新任務進行單獨的搜索成本不同，所提出方法在一次性元訓練成本后，在幾分鐘內從GPU數據集中直接生成特定于任務的模型結構。最后，提出了一種基于語言輔助表示的掩碼圖像預訓練的跨模態自監督學習框架。由此產生的模型產生了高質量的可遷移表示，提高了許多計算機視覺任務的準確性，并對對抗性/分布外樣本表現出強大的魯棒性。所產生的模型適用于結構學習以獲得更大的計算效率，也適用于低資源任務適應以獲得更好的數據效率。

//dataspace.princeton.edu/handle/88435/dsp01p8418r442

設計具有不確定性的深度學習模型，使其能夠在預測的同時提供合理的不確定性，一直是部分機器學習社區的目標。從業者也經常需要這樣的模型。最普遍和最明顯的方法是采用現有的深層架構，并嘗試將現有的貝葉斯技術應用于它們，例如，將神經網絡的權重作為貝葉斯框架中的隨機變量處理。本文試圖回答這個問題: 現有的神經網絡架構是獲得合理不確定性的最佳方式嗎?在本文的第一部分，我們提出了在對抗環境下貝葉斯神經網絡的不確定性行為的研究，這表明，雖然貝葉斯方法在數據分布附近的確定性網絡上有顯著的改進，但外推行為是不受歡迎的，因為標準神經網絡架構在結構上偏向于自信外推。基于此，我們探索了兩種標準深度學習架構的替代方案，試圖解決這一問題。首先，我們描述了一種新的膠囊網絡生成公式，它試圖通過對場景結構的強假設來將結構強加到學習任務中。然后，我們使用這個生成模型來檢查這些潛在的假設是否有用，并論證它們實際上存在重大缺陷。其次，我們探索了bilipschitz模型，這是一種解決深度神經網絡中確保先驗回歸這一更有限目標的體系結構。這些方法基于深度核學習，試圖通過使用最終分類層來控制神經網絡的行為，當與支持向量集的距離增加時，分類層會恢復到先驗值。為了在使用神經特征提取器的同時保持這一特性，我們為這些模型描述了一種新的“bilipschitz”正則化方案，該方案基于通過施加由可逆網絡上的工作激發的約束來防止特征崩潰。我們描述了這些模型的各種有用的應用，并分析了為什么這種正則化方案似乎仍然有效，即使它背后的原始動機不再成立，特別是在特征維度低于輸入的情況下。我們的結論是，雖然膠囊網絡可能不是一個有前途的方向，但本文最后部分討論的模型是未來研究的一個富有成果的領域，在許多應用中作為標準貝葉斯深度學習方法的一個有前途的潛在替代方案。

近期工作(White et al.， 2020a;Yan et al.， 2020)證明了架構編碼在神經架構搜索(NAS)中的重要性。這些編碼對神經結構的結構或計算信息進行編碼。與結構感知編碼相比，計算感知編碼以相似的精度映射到同一區域的架構，提高了下游架構搜索性能(Zhang et al., 2019; White et al., 2020a)。在本文中，我們介紹了一種基于計算感知Transformer的編碼方法，稱為CATE。與現有基于固定變換的計算感知編碼(如路徑編碼)不同，CATE采用了成對的預訓練方案，使用交叉注意的transformer來學習計算感知編碼。這種學習編碼包含神經結構的密集和上下文化計算信息。在小搜索空間和大搜索空間中，我們比較了在三個主要的編碼依賴NAS子程序下，CATE和11種編碼方式。我們的實驗表明，CATE有利于下游搜索，特別是在大的搜索空間中。此外，外部搜索空間實驗證明了它在訓練所處的搜索空間之外具有優越的泛化能力。

//arxiv.org/abs/2102.07108

近年來，自然語言處理的研究方法取得了一些突破。這些突破來源于兩個新的建模框架以及在計算和詞匯資源的可用性的改進。在這個研討會小冊子中，我們將回顧這些框架，以一種可以被視為現代自然語言處理開端的方法論開始:詞嵌入。我們將進一步討論將嵌入式集成到端到端可訓練方法中，即卷積神經網絡和遞歸神經網絡。這本小冊子的第二章將討論基于注意力的模型的影響，因為它們是最近大多數最先進的架構的基礎。因此，我們也將在本章中花很大一部分時間討論遷移學習方法在現代自然語言處理中的應用。最后一章將會是一個關于自然語言生成的說明性用例，用于評估最先進的模型的訓練前資源和基準任務/數據集。

//compstat-lmu.github.io/seminar_nlp_ss20/

在過去的幾十年里，人工智能技術的重要性和應用不斷得到關注。在當今時代，它已經與構成人類塑造環境的大部分環境密不可分。因此，商業、研究和開發、信息服務、工程、社會服務和醫學等無數部門已經不可逆轉地受到人工智能能力的影響。人工智能有三個主要領域組成了這項技術:語音識別、計算機視覺和自然語言處理(見Yeung (2020))。在這本書中，我們將仔細研究自然語言處理(NLP)的現代方法。

這本小冊子詳細介紹了用于自然語言處理的現代方法，如深度學習和遷移學習。此外，本研究亦會研究可用于訓練自然語言處理任務的資源，并會展示一個將自然語言處理應用于自然語言生成的用例。

為了分析和理解人類語言，自然語言處理程序需要從單詞和句子中提取信息。由于神經網絡和其他機器學習算法需要數字輸入來進行訓練，因此應用了使用密集向量表示單詞的詞嵌入。這些通常是通過有多個隱藏層的神經網絡學習的，深度神經網絡。為了解決容易的任務，可以應用簡單的結構神經網絡。為了克服這些簡單結構的局限性，采用了遞歸和卷積神經網絡。因此，遞歸神經網絡用于學習不需要預先定義最佳固定維數的序列的模型，卷積神經網絡用于句子分類。第二章簡要介紹了NLP中的深度學習。第三章將介紹現代自然語言處理的基礎和應用。在第四章和第五章中，將解釋和討論遞歸神經網絡和卷積神經網絡及其在自然語言處理中的應用。

遷移學習是每個任務或領域的學習模型的替代選擇。在這里，可以使用相關任務或領域的現有標記數據來訓練模型，并將其應用到感興趣的任務或領域。這種方法的優點是不需要在目標域中進行長時間的訓練，并且可以節省訓練模型的時間，同時仍然可以(在很大程度上)獲得更好的性能。遷移學習中使用的一個概念是注意力，它使解碼器能夠注意到整個輸入序列，或自注意，它允許一個Transformer 模型處理所有輸入單詞，并建模一個句子中所有單詞之間的關系，這使得快速建模一個句子中的長期依賴性成為可能。遷移學習的概念將在小冊子的第6章簡要介紹。第七章將通過ELMo、ULMFiT和GPT模型來描述遷移學習和LSTMs。第八章將詳細闡述注意力和自注意力的概念。第九章將遷移學習與自注意力相結合，介紹了BERT模型、GTP2模型和XLNet模型。

為NLP建模，需要資源。為了找到任務的最佳模型，可以使用基準測試。為了在基準實驗中比較不同的模型，需要諸如精確匹配、Fscore、困惑度或雙語評估替補學習或準確性等指標。小冊子的第十章簡要介紹了自然語言處理的資源及其使用方法。第11章將解釋不同的指標，深入了解基準數據集SQuAD、CoQa、GLUE和SuperGLUE、AQuA-Rat、SNLI和LAMBADA，以及可以找到資源的預訓練模型和數據庫，如“帶代碼的論文”和“大壞的NLP數據庫”。

在小冊子的最后一章中，介紹了生成性NLP處理自然語言生成，從而在人類語言中生成可理解的文本。因此，不同的算法將被描述，聊天機器人和圖像字幕將被展示，以說明應用的可能性。

本文對自然語言處理中各種方法的介紹是接下來討論的基礎。小冊子的各個章節將介紹現代的NLP方法，并提供了一個更詳細的討論，以及各種示例的潛力和限制。