亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

人工智能領域最近見證了顯著的增長，導致開發了在各種領域表現出色的復雜深度學習模型。然而，這些發展帶來了關鍵問題。深度學習模型容易繼承并可能加劇其訓練數據中存在的偏見。此外，這些模型的復雜性導致缺乏透明度，這可能導致偏見未被發現。這最終可能阻礙這些模型的采用，因為缺乏信任。因此，培養本質上透明、可信和公平的人工智能系統至關重要。本論文通過探索深度學習的可解釋性和自解釋模型，為這一研究領域做出了貢獻。這些模型代表了向更透明系統的轉變，提供了與模型架構密切相關的解釋，揭示了它們的決策過程。因此，這種固有的透明性增強了我們的理解，從而提供了解決無意中學習偏見的機制。為了推進自解釋模型的發展，本論文進行了對當前方法的全面分析。它引入了一個旨在提高某個最先進模型解釋質量的新算法。此外，這項工作還提出了一種新的自解釋模型，通過學習的解碼器生成解釋，促進端到端訓練，并解決了解釋性和性能之間普遍存在的權衡問題。此外，為了增強這些模型的可及性和可持續性，本論文還介紹了一種通用方法，無需重新訓練即可將任何預訓練的黑盒模型轉化為自解釋模型。通過所提出的方法，這項研究識別并抵制了從數據中學習的人為因素—虛假相關性，進一步強調了透明模型的需求。此外，本論文的范圍還擴展到了大型語言模型的公平性維度，展示了這些模型加強社會偏見的傾向。這項研究的結果凸顯了所提方法的有效性，從而為創建不僅準確而且透明、公平和可靠的人工智能系統鋪平了道路，以促進人工智能技術的廣泛采用和信任。

近年來，預訓練的神經語言模型在各種自然語言理解和生成任務上取得了顯著的能力。然而，將這些模型擴展到包含數十億參數的趨勢，雖然增強了適應性和新出現的能力，但也因其龐大的規模帶來了顯著的部署挑戰。這些挑戰包括對模型存儲和實際部署的推理延遲的限制、任務適應所需的密集時間和計算成本，以及影響任務適應性的大量冗余參數的存在。受到這些挑戰的驅動，本論文旨在提高這些模型的參數效率，尋求最小化存儲需求、加速推理和適應，并增強泛化能力。

-- 在神經語言模型中提高參數利用率

雖然最近的研究發現預訓練神經語言模型中存在顯著的冗余，但參數冗余對模型泛化能力的影響在很大程度上仍未被深入探討。我們首先考察參數冗余與模型泛化能力之間的關系。觀察到移除冗余參數可以提高泛化能力，我們提出了一種用于微調的自適應優化算法，以提高冗余參數的利用率。實驗結果驗證了在各種下游任務上增加的泛化能力。

-- 神經語言模型中的模型壓縮

我們探索了模型壓縮方法，包括權重修剪和知識蒸餾，以減少模型存儲并加速推理。我們首先開發了一種可靠的迭代修剪方法，該方法考慮到訓練動態中的不確定性。然后，我們深入探討知識蒸餾領域，解決了常常阻礙學生表現的大教師-學生“知識差距”。為了解決這個問題，我們提供了兩種解決方案，通過選擇性地蒸餾與任務相關的知識來產生特定任務的學生。在需要學生跨多種任務適應性的情境中，我們提出通過結合迭代修剪和蒸餾來減少知識差距。我們的方法在相似的壓縮比率下顯著超過傳統的蒸餾方法。 -- 神經語言模型中高效的任務適應

雖然微調是實現下游任務滿意表現的一種重要適應方法，但它既計算密集又耗時。為了加速任務適應，我們研究了超網絡方法，該方法使用輔助超網絡基于少量示例迅速生成特定于任務的權重。我們通過利用內在權重結構作為歸納偏差，改進了權重生成方案，提高了超網絡訓練的樣本效率。與現有的超網絡方法相比，該方法在未見任務上顯示出優越的泛化性能。

//repository.gatech.edu/entities/publication/b2f1067e-2ee3-4b86-b565-1111a50b2cf5

在更廣泛的背景下，元學習關注的是一個智能體如何了解自己的學習過程，從而改進其學習過程。學習如何學習不僅對人類有益，而且也顯示出對改進機器學習方式的巨大好處。在機器學習的背景下，元學習使模型能夠通過選擇影響學習的適當元參數來改進其學習過程。具體到深度學習，元參數通常描述模型訓練的細節，但也可以包括模型本身的描述——即架構。元學習通常是以特定目標為導向的，例如嘗試改善泛化能力或從少數幾個例子中學習新概念的能力。元學習可以很強大，但它有一個主要缺點：通常計算成本高昂。如果能夠減輕這些成本，元學習將更容易被新的人工智能模型開發者訪問，使他們能夠實現更偉大的目標或節省資源。因此，我們研究的一個關鍵重點是顯著提高元學習的效率。我們發展了兩種方法：EvoGrad和PASHA，兩者在兩種常見場景中顯著提高了元學習效率。EvoGrad允許我們高效地優化大量可微分的元參數值，而PASHA則能夠高效地優化數量較少的任何類型的元參數。

//era.ed.ac.uk/handle/1842/41452 元學習是一個可以應用于解決各種問題的工具。最常見的應用是從少量例子中學習新概念（少樣本學習），但也存在其他應用。為了展示元學習在神經網絡背景下可以產生的實際影響，我們使用元學習作為兩個選定問題的新解決方案：更準確的不確定性量化（校準）和通用少樣本學習。這兩個都是實際重要的問題，通過使用元學習方法，我們可以獲得比使用現有方法獲得的更好的解決方案。校準對神經網絡的安全關鍵應用至關重要，而通用少樣本學習測試了模型在諸如識別、分割和關鍵點估計等多樣化任務上的少樣本學習能力的泛化能力。 更高效的算法以及新的應用使得元學習領域能夠對深度學習的更廣泛領域產生更顯著的影響，并有潛力解決之前過于具有挑戰性的問題。最終，這兩者都使我們能夠更好地利用人工智能呈現的機會。

人工智能系統開發具備高級推理能力是一個持續存在且長期的研究問題。傳統上，解決這一挑戰的主要策略涉及采用符號方法，其中知識通過符號明確表示，并通過明確編程的規則來實現。然而，隨著機器學習的出現，系統向能夠自主從數據中學習、需要最小人類指導的方向發生了范式轉移。鑒于這一轉變，近年來，越來越多的興趣和努力被投入到賦予神經網絡推理能力上，以彌合數據驅動學習與邏輯推理之間的差距。在這一背景下，神經算法推理（NAR）作為一個有希望的研究領域脫穎而出，旨在將算法的結構化和基于規則的推理與神經網絡的自適應學習能力整合起來，通常通過讓神經模型模仿經典算法來實現。在這篇論文中，我們對這一研究領域提供了理論和實踐上的貢獻。我們探索了神經網絡與熱帶代數之間的聯系，推導出與算法執行對齊的強大架構。此外，我們討論并展示了這樣的神經推理器學習和操縱復雜的算法和組合優化概念的能力，如強對偶性原理。最后，在我們的實證努力中，我們驗證了NAR網絡在不同實際場景中的實際用途。這包括任務多樣化，如規劃問題、大規模邊緣分類任務以及學習NP-hard組合問題的多項式時間近似算法。通過這一探索，我們旨在展示在機器學習模型中整合算法推理潛力。

//arxiv.org/abs/2402.13744 本論文旨在探索神經算法推理器的潛力，特別是關于它們學習執行經典算法的能力以及使用訓練有素的算法推理器作為相關下游任務的歸納先驗的有效性。 本論文的主要貢獻旨在解決這兩個研究問題，特別是在圖的背景下，鑒于許多感興趣的經典算法是為結構化數據開發和設計的（Cormen et al., 2009）。此外，我們將尋求從理論和實證的視角提供前述問題的證據。 為了解決關于經典算法可學習性的問題，我們提出了一個理論框架，將圖、神經網絡和熱帶代數（Landolfi et al., 2023）之間的聯系繪制出來。在這個設置中，將建立算法（特別是動態規劃算法）與神經網絡之間的等價性。我們還將展示如何基于這種聯系派生出適合學習算法的強大神經網絡架構。 跳出動態規劃算法的背景，我們提議通過對偶性學習算法（Numeroso et al., 2023），有效地展示我們如何借鑒與算法相關的各個領域的概念，如組合優化，以增強將算法推理編碼到神經網絡中的程度。這一貢獻也作為使用算法作為歸納先驗可以幫助更準確地解決標準機器學習任務的第一個實際示例。 在此基礎上，我們提出了兩個更多的貢獻：一個學習規劃問題一致性啟發式函數的算法推理器（Numeroso et al., 2022）；以及一個關于將算法知識轉移到NP-hard組合優化問題的有效性的廣泛研究（Georgiev et al., 2023）。 此外，作為一個附加目標，本論文還努力作為神經算法推理世界的入門指南，特別是通過其第三章，為那些不熟悉NAR的人量身定做。

深度神經網絡已經展示了其在處理各種類型數據為包含關鍵信息的緊湊表征方面的卓越能力，這些信息對于理解數據至關重要。隨著強大計算設備的可用性，模型大小和用于訓練模型的數據量持續增長。因此，基礎模型的概念最近已經浮現。由于大型模型和用于訓練的廣泛數據范圍，人們認為基礎模型有強大的潛力，能為人工智能研究帶來重大變革。在這篇論文中，我們專注于視頻基礎模型。具體來說，我們希望探索從視頻中學習深度表征的方法，這是與視頻基礎模型相關的最重要的主題之一。我們確定了三個潛在阻礙視頻理解范式中基礎模型進步的挑戰：（一）當前用于處理視頻的模型結構在從視頻中提取特征方面效率不高。（二）從未標注數據中學習視頻表征的框架大多繼承自圖像，它們未能利用幀之間的運動，對于從未裁剪視頻中學習表征來說是次優的。（三）預訓練視頻模型的適應性僅限于時空理解任務，而許多空間理解任務可以通過結合連續幀之間的時間上下文而受益。針對上述挑戰，我們提供了解決方案的探索。在模型結構方面，我們首先介紹了TAdaConv，它在不增加太多計算開銷的情況下為圖像模型賦予了時間建模能力。然后，我們進一步優化了基于Transformer的模型的效率，通過掩蓋輸入視頻的相當比例，減輕了對視頻冗余部分的計算負擔。在從未標注數據中學習視頻表征方面，我們探索了從圖像生成的偽運動中學習，以增強模型對視頻中像素運動的理解。對于基于對比學習的框架，我們提出了一種參數化裁剪策略，用于在訓練期間自適應控制增強強度。為了從未裁剪視頻中學習，我們在標準對比學習框架的基礎上進一步引入了主題一致性學習，這被證明在利用網絡上未篩選的視頻數據方面是有效的。在泛化到空間理解任務方面，我們將TAdaConv擴展到視覺對象跟蹤的應用。

我們對世界的觀察由無數的、無休止的視覺刺激組成。因此，對機器來說，理解我們的世界的關鍵能力之一是理解視頻。自從幾十年前進入深度學習時代[160]以來，視頻理解領域已經取得了巨大的進展。處理視頻的最大模型已從1000萬參數[322]增長到超過10億[319]，用于訓練視頻模型的數據也從幾千[282, 162]擴展到超過50萬[32]，如果考慮到未標注數據，這個數字進一步擴大到超過1000萬[8]。為了更全面地理解視頻，涌現出了各種任務，如動作識別[149, 150]、動作檢測[24, 105]、視頻檢索[361, 267]、異常檢測[285]和對象跟蹤[85, 348, 228]等。

在早期，各種任務的方法是獨立開發的。盡管處理視頻的操作相似，但不同任務中的視頻模型結構是為每個任務專門設計的，而且視頻模型都是從隨機初始化開始訓練的。隨著發現在預訓練期間學習的特征表示可以將有用信息轉移到下游任務[102]，動作識別的視頻模型開始利用預訓練的圖像模型（例如，在ImageNet[69]上預訓練的ResNet[119]）作為初始化[33]，其他下游任務[196, 397, 245]的解決方案開始利用在Kinetics-400[150]等大規模標注數據集上預訓練的視頻模型的特征表示。這導致了各種視頻應用框架的融合，遵循一般的預訓練和微調范式。通常，視頻模型首先通過監督或自監著學習進行預訓練。借助預訓練的表示，下游任務中的應用可以通過向視頻骨架添加特定于任務的模塊來完成，這實際上是對視頻模型的表示進行后處理。該過程如圖1.1所示。因此，在這樣的框架中，視頻表征的質量在下游任務的性能中起著關鍵作用。 盡管預訓練的視頻模型顯著加速了訓練并提高了下游視頻應用的性能，如動作識別[134, 255, 259]、動作定位[196, 403]、視頻定位[74, 75, 397]等，但預訓練模型仍然存在幾個缺點。在各種下游任務中，我們看到要獲得像樣的性能需要新的架構[75, 135]或訓練技術[74]。這顯著阻礙了視頻模型在各種現實世界應用中的使用。

最近，基礎模型的出現[20]為這個問題提供了一個有希望的解決方案。基礎模型的概念起源于自然語言處理(NLP)，本質上指的是具有大量參數并在大量數據上訓練的模型。例如，著名的NLP模型GPT-3[21]擁有1750億參數，并使用3000億語言標記進行訓練。盡管基礎模型的技術并不是全新的，但其規模和由此產生的高度容量和泛化能力已經為各種現實世界應用打開了新的可能性。在大量未標注數據上預訓練如此大的模型之后，該模型能夠解決各種任務，而無需專門針對這些任務進行訓練。因此，有了視頻基礎模型，我們可以處理各種視頻應用，而無需針對不同的下游任務重新設計模型架構和訓練技術。

然而，與NLP相比，視覺基礎模型仍處于早期階段[20]。大多數現有的用于視覺應用的基礎模型仍然專注于傳統的計算機視覺任務[262, 68, 332]，如圖像分類[69]和語義分割[200, 51]，而更廣泛的能力，如常識推理，尚待開發。在視頻基礎模型方面，它們通常遵循基于圖像的模型的管道[319, 368]，將二維操作擴展到三維操作以處理時空信息，并使用類似的替代任務進行模型的預訓練。 由于基礎模型范式是可擴展模型結構、無監督表征學習策略和各種任務統一的發展結果，我們在進一步挖掘視頻基礎模型潛力之前，仍面臨著以下挑戰：

（一）模型架構本質上決定了如何從輸入數據生成表征。從這個角度看，基礎模型的最新發展主要是由Transformer架構[307]的發明推動的，該架構有效地利用了GPU的并行性，并且對輸入內容具有很高的適應性。自2017年誕生以來，已經充分驗證了Transformer架構是處理一維文本輸入[307, 151, 263]的最合適方式之一。其在2020年擴展到視覺應用[79]也促進了對這種結構在理解復雜空間語義方面適用性的全面調查和評估。然而，它在視頻理解方面的適用性，特別是在理解復雜運動方面，尚待進一步探索。就數據結構而言，由于視頻通常由每秒24到60張圖像組成，每個視頻需要處理的像素數量大大增加，這本身就帶來了巨大的挑戰，因為計算量與幀數成線性增長。此外，正如我們自己的視覺系統所示[70, 92, 136, 211]，時間信息的處理方式與空間信號本質上不同，而大多數現有方法通過對待空間維度和時間維度對稱地來融入理解時間動態的能力[3, 208, 13]。 （二）預訓練的替代任務定義了在一堆未標注數據上對預定義模型架構的學習過程。根據預訓練階段使用的數據，替代任務可以分為單模態[41, 118, 37, 263, 21]，僅依賴于視覺信息，和多模態[262, 379, 334, 174]，利用視覺數據和其他模態，如文本或音頻。盡管多模態預訓練模型已經展示了強大的泛化能力和執行各種任務的能力，但[385]中表明，僅從圖像中學習的表示更適合于模態內理解。大多數現有的學習視頻表征的方法都遵循與圖像范式中的對應方法類似的流程[253, 240, 146]，忽略了視頻中運動的特殊性。此外，大多數當前的表征學習方法僅限于從手動策劃的數據集中學習，這些數據集包含特定的動作類別，并且在注釋過程中可能存在人為偏見。如何從網絡上更長、更復雜的未策劃視頻中學習，目前尚未知曉。

（三）泛化到更多的視覺任務。目前，大多數視頻模型結構和預訓練任務都是專門為時空理解任務設計的，例如動作理解和時刻檢索，而基于視頻的空間理解任務的發展，如單一[85]或多對象跟蹤[228]和視頻實例分割[370]，通常與視頻基礎模型的發展平行進行。視頻基礎模型的研究如何幫助這些基于視頻的空間理解任務更好地利用視頻中嵌入的時間信息，尚待探索。

機器學習（ML）和人工智能（AI）在廣泛的領域實現了非凡的、超乎人類的性能：包括計算機視覺、自然語言處理、蛋白質折疊等等。直到最近，大多數的進步都是采取模型中心化的方法，主要關注于改善神經網絡架構（如卷積神經網絡、殘差網絡、變換器等）和訓練這些模型的優化程序（如批量標準化、dropout、神經結構搜索等）。相對來說，我們對用來訓練這些模型的數據的關注度較低，盡管眾所周知，機器學習對高質量數據的依賴可以用"垃圾進,垃圾出"這句話來精辟地概括。隨著對越來越大且更復雜的模型（如Nvidia和Microsoft的5300億參數的MT-NLG）的回報逐漸減小，研究人員開始認識到采取數據中心化方法的重要性，并開發了原理性的方法來研究這些模型的燃料：數據本身。數據中心視角不僅可以提高任務性能，還可以讓我們考慮到一些社會關鍵考慮因素，如數據隱私。在本論文中，我們將對機器學習數據管道中的幾個點進行深入分析：在模型訓練前、訓練中和訓練后。在模型訓練前，我們將探索數據選擇的問題：應該用哪些數據來訓練模型，我們應該期望我們的模型在何種類型的數據上工作？當我們進入模型訓練時，我們將把注意力轉向由我們的ML系統與其部署環境的交互可能導致的兩個問題。第一個問題是數據隱私：我們如何防止我們的模型泄露有關其訓練數據的敏感信息？第二個問題涉及一些被模型化的群體的動態性。特別是當我們的模型被用于做出具有社會影響力的決策（如自動貸款批準或推薦系統）時，模型本身可能會影響數據的分布，導致性能降低。最后，盡管我們在模型訓練前和訓練中遵循最佳實踐，但可能在訓練后我們希望對模型進行后處理，以移除某些訓練后的數據的影響。如何以計算效率高的方式實現這一點呢？本論文將涵蓋每一個先前問題的新穎解決方案，強調的是每一個提議的算法都有可證明的保證。通過將數學嚴謹性應用于具有挑戰性的現實問題，我們可以開發出既有效又可信賴的算法。

在過去的十年中，機器學習（ML）和人工智能（AI）研究已經取得了飛速的進步。到目前為止，大部分的研究都采用了模型中心化的方法：也就是說，數據集被視為已給定，研究人員不斷迭代應用于這些數據集以提取有用信息的模型。這種模式下有一套標準的假設。例如，數據通常假設是從固定概率分布中獨立同分布（i.i.d.）抽取的，此外還假設數據是固定的和給定的。通常還假設測試數據與訓練數據來自同一分布，即不存在分布漂移。而且，通常唯一衡量成功的指標是模型的性能（如預測任務的準確率）。盡管這種范式已經帶來了大量令人印象深刻的進步，但往往與數據科學家在實踐中面臨的情況相去甚遠。例如，收集和策劃一份高質量的訓練集通常比使用更復雜的模型架構帶來更大的收益。關于獨立同分布的假設，在現實中，數據分布可能由于各種因素而不斷變化，包括時間變化（如消費者偏好的季節性影響）和空間變化（如不同地理位置的醫院患者分布不同）。在某些情況下，我們的模型本身可能導致數據分布的變化，特別是如果該模型被用于做出具有社會影響力的決策。最后，最近的立法，如加利福尼亞消費者隱私法案和歐盟的通用數據保護法規，要求在設計AI模型過程中也要考慮消費者隱私。也就是說，隱私以及模型性能，都是必須考慮的關鍵指標。 所有這些重要的實踐問題都有一個共同的主題：它們更多地關聯到數據本身，而不是訓練在其上的模型。在這篇論文中，我們遵循這種數據中心的觀點，并為數據通過典型的ML管道可能出現的問題提出新穎的算法。我們特別強調可以為每個提出的算法提供的可證明的保證。

新的學習算法提高了我們僅通過觀察單個事件的過去觀察來獲取知識的能力，使我們能從觀察幾個相關事件中學習。這種在時間序列中利用共享有用信息的能力正在引起時間序列預測實踐的范式轉變。然而，基于機器學習的預測仍面臨著一些迫切的挑戰，這些挑戰限制了其可用性、有用性以及可實現的現實世界的影響，包括人類的可解釋性、利用結構化信息的能力、泛化能力和計算成本。本論文通過彌合機器學習和經典統計預測方法之間的差距來解決這些挑戰。我們按照以下方式組織了論文。我們介紹了時間序列預測任務，并附帶了現代預測模型、它們的優化以及預測評價方法的簡要回顧。在接下來的章節中，我們通過三個案例研究來介紹我們的方法。首先，我們將時序分解分析啟發的可解釋性能力增強到最先進的神經預測算法中，并在短期電價預測任務中展示了其應用。其次，我們通過一種新穎的受小波啟發的算法，在長期預測設置中提高神經預測的泛化和計算效率，該算法按順序組裝其預測，強調具有不同頻率和尺度的組件。第三，我們通過增強神經預測架構，使用一種專門的概率混合物，能夠在其構造中融入聚合約束，來解決分層預測任務，這是一個具有線性聚合約束的回歸問題。我們的方法在每個考慮的領域中都提高了現有技術的最高水平。

時間序列預測問題涉及到許多領域，從金融和經濟到健康保健分析。隨著數據生成的增加，預測需求已從需要預測少量時間序列演變為預測數千甚至數百萬個時間序列。從數據中提取可推廣的統計模式一直是生成預測的最可靠方法。這就是為什么機器學習已經成為了這項任務最成功的方法之一。在大數據環境下，深度學習（LeCun等人，2015）因為其在最近的預測競賽中的成功（Makridakis等人，2020a；Makridakis等人，2021）而變得越來越受歡迎，其已經改變了現有的最高水平。深度學習的優點包括：1.預測準確性：全局模型同時適應相關時間序列的歷史數據，允許其在它們之間分享信息；這有助于訓練高參數化和靈活的模型，這通常會轉化為更準確的預測，這種技術被稱為交叉學習（Makridakis等人，2020a）。相比于經典方法，該模型能夠為幾乎沒有歷史數據的項目提供預測。2.預測流程的簡化：深度學習框架能夠自動化數據集的特征化，同時其表示具有更長的記憶。使用全局模型大大簡化了數據管道，并使過程更高效。雖然訓練時間比其他方法更長，但深度學習技術在數據特征化過程中能夠補償這一點，這通常非常快。已經嘗試了許多方法和想法進行預測，成功程度各不相同。不同的算法有其優點和缺點，復雜性不同，發展機會和挑戰也不同。機器學習有巨大的潛力來提升預測系統，然而一些限制阻礙了其采用，其中我們認為最主要的是缺乏可解釋性，處理大量數據或長期預測時的計算可擴展性。受到機器學習預測系統的可解釋性和計算成本限制的驅動，在這篇論文中，我們以以下問題為指導進行工作：能否將經濟計量學和統計創新結合起來，以提高基于機器學習的預測的可用性、有用性和現實世界的影響？

深度學習技術在自然語言處理、計算機視覺和其他歐氏數據領域帶來了重大改進，但在許多領域中，數據是不規則的，需要顯式建模圖或流形。這些應用包括社交網絡、傳感器反饋、物流、供應鏈、化學、神經科學和其他生物系統。將深度學習擴展到這些非歐氏數據是一個現在被稱為幾何深度學習(GDL)的研究領域。

本文專注于GDL的一個子領域，圖神經網絡(GNN)，使用神經網絡對圖信號進行學習。本文利用真實和合成數據，探討了數據圖結構對圖神經網絡性能的影響，用于兩個圖學習任務:節點和圖分類。從圖神經網絡的形式化開始，考慮兩種方法:以圖卷積網絡(GCNs)為代表的譜方法和以拓撲自適應圖卷積網絡(TAGCNs)為代表的空間方法。通常，TAGCN比GCN需要更少的層數，多項式濾波器的次數適中。對于節點分類，不需要太多層就可以達到最佳性能。與圖分類不同，圖信號是必要且重要的。對于一些真實的數據集，在圖信號上使用簡單的估計器進行分類可以優于GNN。對于合成數據集，Erd“os-Rényi”和優先連接模型在GCN和TAGCN的層數和多項式濾波器的度方面具有相似的測試精度曲線。對于小世界模型，TAGCN的濾波器在實現最優精度和加速過平滑效果方面起著重要作用。本文還研究了節點分類的訓練收斂性。本文從理論上表明，線性化TAGCN的訓練損失收斂到全局最小值。盡管存在非凸目標，但對于1次H層TAGCN，即具有1次多項式濾波器和H層的TAGCN，保證以指數速度收斂到全局最小值，隨著層數的增加，收斂速度更快。對于K次TAGCN，多項式濾波器的K次越高，收斂速度越快。實驗驗證了該理論，并表明訓練收斂對線性化和非線性化TAGCN都是正確的。

對于圖分類，圖結構比圖信號起著更重要的作用。如果不同類別的圖結構足夠不同，GNN通常可以僅使用不同類別的圖結構對圖進行分類。對于真實的數據集，將簡單的網絡指標和信號統計與這些模型的性能聯系起來。我們表明，對于一些數據集，邊的數量或節點的數量上的分類器可以導致與圖神經網絡更好或類似的性能。對于其他數據集，信號統計可以表現良好。基于這些觀察，我們能夠對GCN和TAGCN進行簡單的修改，以提高它們的性能(sumpool和度感知的TAGCN)。對于合成數據集，Erd“os-Rényi”和優先連接模型在GCN和TAGCN上具有相似的測試精度曲線。對于小世界模型，如果不同類別的邊重連概率不同，則需要1層以上的層數才能獲得較好的性能。將TAGCN的架構應用于一個COVID-19案例研究。本文提出一種新的分子性質預測方法，通過結合兩種現有的GNN方法。所提出模型(D-MPNN+TAGCN)在五個冠狀病毒數據集上的表現始終優于最先進的基線方法。

抽象的知識深深根植于許多基于計算機的應用中。從數據中自動獲取知識是人工智能的一個重要研究方向。機器學習提供了相應的算法。其中一個研究領域專注于開發受生物啟發的學習算法。各自的機器學習方法基于神經學概念，因此它們可以系統地從數據中獲取知識并存儲它。可以歸類為深度學習模型的一類機器學習算法被稱為深度神經網絡(deep Neural Networks, DNNs)。DNNs由多個人工神經元組成，這些神經元按層排列，通過使用反向傳播算法進行訓練。這些深度學習方法在從高維數據中推理和存儲復雜知識方面表現出驚人的能力。

然而，DNN會受到一個問題的影響，即無法將新知識添加到現有的知識庫中。不斷積累知識的能力是促進進化的重要因素，因此是發展強大人工智能的先決條件。所謂的“災難性遺忘”(CF)效應導致DNN在對新數據分布進行幾次訓練迭代后，立即失去已經派生的知識。只有用過去和新數據的聯合數據分布進行昂貴的再訓練，才能抽象出整個新知識集。為了抵消這種影響，各種旨在緩解甚至解決CF問題的技術已經并且仍在開發中。這些已發表的CF回避研究通常暗示他們的方法對各種持續學習任務的有效性。本文的研究背景是基于深度學習方法的持續機器學習。第一部分是面向實際應用的評估協議的開發，該協議可以用于研究不同的機器學習模型對協同效應的抑制。在第二部分，綜合研究表明，在面向應用的需求下，所研究的模型都不能表現出令人滿意的持續學習效果。第三部分提出了一種新的深度學習模型——深度卷積高斯混合模型(deep Convolutional Gaussian Mixture Models, DCGMMs)。DCGMMs建立在無監督高斯混合模型(GMMs)的基礎上。GMM不能被認為是深度學習方法，它必須在訓練前以數據驅動的方式進行初始化。這些方面限制了GMM在持續學習場景中的使用。

本文提出的訓練過程使使用隨機梯度下降(SGD)(應用于DNN)來訓練GMMs成為可能。集成退火方案解決了數據驅動的初始化問題，這是GMM訓練的先決條件。實驗證明，新的訓練方法在不迭代其缺點的情況下，可以得到與傳統方法相當的結果。另一個創新是gmm以層的形式排列，這類似于DNN。將GMM轉換為層使其能夠與現有層類型相結合，從而構建深層體系結構，從而可以用較少的資源派生出更復雜的知識。在本工作的最后一部分，研究DCGMM模型的持續學習能力。為此，提出一種稱為高斯混合重放(GMR)的重放方法。GMR利用DCGMM的功能來描述數據樣本的生成和重現。與現有CF回避模型的比較表明，在面向應用的條件下，GMR可以取得類似的持續學習效果。總之，所提出的工作表明，確定的面向應用的需求仍然是“應用”持續學習研究方法的開放問題。此外，新的深度學習模型為許多其他研究領域提供了一個有趣的起點。

深度學習的發展導致了在各種應用領域的各種任務上的顯著性能提升，這些應用領域包括計算機視覺、自然語言處理、強化學習、生成模型，以及最近從圖結構數據中進行的關系學習。這一成功的主要原因是計算能力的提高，這允許深度和高度參數化的神經網絡架構，這些架構可以從原始數據中學習復雜的特征轉換。然而，深度神經網絡的高表示能力往往是以高模型復雜度為代價的，這指的是高參數化，以及與深度學習相關的內存和計算負擔。**在本文中，我依靠參數有效的神經算子，對數據的適當建模假設和網絡結構的歸納偏差，在幾個應用領域提出更簡單的神經網絡模型。**對于我工作的每個應用領域，我使用這些效率原則的組合來設計新穎的方法。首先，在醫學圖像處理的背景下，我觀察到空間對齊的神經圖像比自然圖像表現出更少的自由度，這證明使用低容量卷積算子是合理的。我通過應用參數高效的卷積變體來實現這一點。我展示了早期阿爾茨海默病預測的最先進結果，同時使用的參數減少了多達125倍，乘累加操作減少了17倍以上。對于設計用于識別受試者亞型的神經圖像的無監督方法也得出了類似的結論。其次，我著手緩解從零開始訓練參數高效的深度模型的挑戰。這可以減少在資源受限的"邊緣"設備上訓練深度模型的不可行性。所提方法基于一個簡化的網絡結構假設，即參數無關性，允許在組合多臂匪徒的背景下建模問題。該方法可以動態地，即在訓練期間，在遵循預定義的內存使用預算的同時，在超參數化模型中識別高性能緊湊的子網絡。這是通過將顯著性指標與每個神經元相關聯來實現的，然后用于驅動參數激活，類似于門控機制，同時學習參數。因此，深度神經網絡訓練和推理過程中的計算和內存負擔都顯著減少。最后，提出一種深度概率模型，用于學習動態圖中的無監督節點和社區嵌入。基于網絡固有的社團結構，引入了關于邊形成機制的結構歸納偏差。此外，我還假設節點和社區都是平滑的時間演化，其靈感來自于數據中缺乏破壞性事件。本文提出一種該方法的參數高效實現，在各種動態預測任務上優于最先進的圖卷積網絡。