亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本論文探討了如何應用有監督的機器學習技術來提高網絡控制系統（NCS）的性能和可解釋性。無人駕駛系統（UxVs）可通過覆蓋大片區域的延伸偵察任務提供快速高效的目標定位。以協作方式控制一組 UxV 是一個難題，美海軍正在開發的一個解決方案是網絡控制系統行為集成優化（BION）。BION 是一種 NCS，利用部分可觀測蒙特卡洛規劃（POMCP）算法提供接近最優的近實時編隊控制。本文旨在通過使用訓練優良的神經網絡近似關鍵功能，解決 POMCP 算法的某些局限性。神經網絡利用概率技術和顯著性圖提高了可解釋性，同時也提高了處理速度。在基于 ResNet 的不同架構上進行了實驗，并成功地將訓練良好的神經網絡集成到了 BION 中。這項研究拓展了實驗和開發 BION 的能力，從而推動了UxV 的開發和集成。

第二章將討論 BION 的核心功能，以及與神經網絡和顯著性圖譜相關的關鍵概念。第三章將討論實現過程，包括訓練和評估數據、神經網絡架構、神經網絡訓練算法以及生成顯著性圖。第四章將介紹工作成果，包括訓練統計數據和計算出的顯著性圖樣本。第 5 章總結了本文的貢獻以及未來可能的工作領域。

隨著越來越多的應用將數據表示為圖，圖神經網絡（GNNs）成為在圖數據上應用深度學習的有用工具。帶符號和有向網絡是與許多現實世界問題相關的重要網絡形式，如從成對比較中的排序和角同步。

在本報告中，我們提出了兩種用于帶符號和有向網絡中節點聚類的空間GNN方法，一種用于帶符號有向網絡節點聚類和鏈接預測的譜GNN方法，以及兩種針對排序和角同步具體應用的GNN方法。這些方法在嵌入生成和預測中結合為端到端的方法，沒有中間步驟。

在各種數據集上的實驗結果，包括幾個合成隨機塊模型、隨機圖異常模型以及不同規模的現實世界數據集，表明我們提出的方法在廣泛的噪聲和稀疏水平上能夠達到令人滿意的性能。這些模型還通過可能包括節點級特征或標簽的外生信息，補充了現有方法。 這些貢獻不僅有助于分析以網絡表示的數據，還形成了一系列工作，提出了用于網絡分析的GNNs的新穎架構和任務驅動的損失函數。

隨著越來越多的數據來自非歐幾里得領域，并以圖的形式表示（如社交網絡、引用網絡和生物化學圖），圖數據因其豐富的關系信息，與許多學習任務相關聯[1, 2]。需要從圖數據中學習的任務包括預測蛋白質界面、分類疾病、學習分子指紋和建模物理系統[2]。雖然傳統的網絡分析通常集中于單一的固定簡單網絡，這些網絡通常可以用具有非負條目的對稱鄰接矩陣表示，但更復雜的網絡類型往往更具現實性。 為了解決網絡推理任務，圖神經網絡（GNNs）是一種有用的工具。GNNs本質上是將深度學習應用于圖數據。深度學習非常強大，因為神經網絡是可訓練的函數，用于進行預測。通常根據下游任務構建專用的損失函數，從而通過優化損失函數來更新神經網絡參數。神經網絡因此通常靈活易訓練，并且往往能夠達到令人滿意的性能。利用標準的深度學習技術，如歸一化、梯度下降和并行計算，GNNs可以像標準神經網絡一樣進行訓練。通過利用網絡結構，GNNs能夠從具有長距離依賴的節點鄰域中保留信息[2]。 GNNs有廣泛的應用，如節點聚類、節點嵌入、鏈接預測、節點分類和時空圖預測[1]。在本論文中，我們在復雜圖中解決網絡分析問題，通過結合任務的定制化應對特定領域的挑戰。利用GNNs，我們能夠通過將現有方法的輸出作為輸入或添加可學習參數來改進現有方法。以這種方式，我們的GNNs可以被視為對非GNN方法（通常是譜方法）的改進，這些方法無法自然地使用外部信息。

本文比較了幾種神經網絡架構，以逼近一些基本一維偏微分方程的解和求解算子。具體來說，研究了在物理信息機器學習中，殘差層是否比全連接層更有優勢，發現兩者在所考慮的問題上表現類似。還將流行的 DeepONet 和傅立葉神經算子方法與算子學習方法進行了比較，發現雖然兩者在線性問題上的精確度相當，但后者在存在簡單非線性的情況下能生成更精確的模型。

神經網絡已被證明是解決許多生活領域中復雜問題的一種高效工具。最近，隨著深度學習的出現，它們的重要性和實用性得到了進一步的加強。神經網絡成功的一個重要條件是選擇合適的激活函數，為模型引入非線性。過去的文獻中提出了許多類型的這些函數，但沒有一個全面的來源包含了它們的詳盡概述。即使根據我們的經驗，這個概述的缺失導致了冗余和無意中重新發現已經存在的激活函數。為了彌補這一缺口，我們的論文提出了一個涉及400種激活函數的廣泛綜述，其規模是之前綜述的幾倍。我們的綜合編纂還引用了這些綜述；然而，其主要目標是提供最全面的激活函數已發表概述和系統化，并鏈接到它們的原始來源。次要目標是更新對這一函數家族的當前理解。

神經網絡 — 尤其是深度學習 — 在解決各個領域中的多樣化挑戰上表現出了顯著的成功。它們被視為最先進的方法，展示了它們解決復雜和錯綜復雜問題的能力。在這些網絡的核心，激活函數（AFs）通過為神經網絡層引入非線性而發揮著重要作用。在沒有非線性AFs的情況下，典型的神經網絡將只能模擬輸入的加權和，限制了它們捕獲數據內部復雜關系的能力。

激活函數的選擇深刻影響網絡的學習和泛化能力，直接影響其在一系列任務中的性能。有效的激活函數具有幾個關鍵特性，如Dubey, Singh, 和 Chaudhuri在[1]中概述的：a) 引入非線性曲率以增強訓練收斂性；b) 在訓練期間保持無阻礙的梯度流；c) 確保對模型計算復雜性的最小增加；d) 保持數據分布以優化網絡訓練。

在過去三十年的文獻中提出了許多激活函數 — 有些在計算復雜性或性能方面比其他函數更高。然而，激活函數的進一步研究受到了缺乏整合列表的阻礙。這一缺口導致了無意中重新發明現有激活函數和獨立提出相同或非常相似的函數，從而導致研究資源的浪費。即使是像Dubey, Singh, 和 Chaudhuri [1] 和 Apicella等人[2]這樣的綜合性調查和回顧，經常遺漏文獻中存在的許多激活函數；此外，這些回顧也有些過時，自那以后出現了許多新的激活函數。這種疏忽可能導致一個AF被冗余地提出為新穎，盡管它之前已經在文獻中被介紹 — 例如，修正冪單元（RePU）（第3.6.39節），雙參數ReLU（DPReLU）（第4.2.20節），截斷修正線性單元（TRec）（第3.6.21節），ReLU-Swish（第3.6.46節）和有界ReLU（BReLU）（第3.6.16節）。通過提供更廣泛的激活函數列表，我們旨在避免這種冗余，并促進神經網絡中激活函數研究的更快進展。 為了解決這個問題，我們努力提供一個廣泛且整合的AFs列表。這項調查旨在防止冗余，消除重新發明已建立AFs的現象，以促進創新，并加速神經網絡領域研究的進步。通過提供一個綜合資源，我們旨在促進該領域內探索AFs的效率和創新。

重要的是，我們的貢獻主要集中在提供一個全面的AFs列表，而不是進行廣泛的基準測試或深入分析。編譯的廣度包括了廣泛的AFs，使得詳細的基準測試或更深入的分析超出了本項工作的范圍。我們的目標是為研究人員提供一個基礎資源，以便在選擇神經網絡的AFs時做出明智的決策，認識到更徹底的探索或詳細分析將需要超出這個全面列表范圍的專門和集中的努力。所呈現的概述僅限于實值激活函數；復值神經網絡（例如，[3–16]，簡要概述可見于[17, 18]），雙復值神經網絡（例如，[19]），四元數值神經網絡（例如，[20–24]），光子神經網絡（例如，[25]），模糊神經網絡（例如，[26–31]），概率布爾邏輯的AFs（例如，[32]），量子AFs（例如，[33]）等超出了本工作的范圍。1 我們選擇將AFs分為兩大類：固定AFs（第3節）和自適應激活函數（AAFs）（第4節），后者具有一個在網絡中與其他權重一起訓練的參數。雖然存在AFs在實質上是相同的情況，只是在是否存在特定的自適應參數方面有所不同（例如，swish（見第4.4.1節）和SiLU（見第3.3節）），這種分類證明是有價值的。AAFs憑借其參數化，提供了在訓練過程中捕獲數據內復雜關系的額外靈活性層。

盡管人們對聯邦學習和貝葉斯神經網絡進行了研究，但對貝葉斯網絡的聯邦學習的實現卻很少。在本論文中，使用公共代碼庫Flower開發了一個貝葉斯神經網絡的聯邦學習訓練環境。隨之而來的是對最先進的架構、殘差網絡和貝葉斯版本的探索。然后用獨立同分布（IID）數據集和從Dirichlet分布得到的非IID數據集測試這些架構。結果顯示，貝葉斯神經網絡的MC Dropout版本可以通過聯邦學習對CIFAR10數據集的IID分區取得最先進的結果--91%的準確性。當分區為非IID時，通過概率權重的反方差聚合的聯邦學習與它的確定性對應物一樣好，大約有83%的準確性。這表明貝葉斯神經網絡也可以進行聯邦學習并取得最先進的結果。

美國海軍的考慮

使用FL是一個在邊緣采用人工智能的機會，并減少收集大量數據集的需要。這將極大地幫助海軍在艦隊中部署和訓練AI模型的工作。例如，通過傳統的人工智能管道，為海軍創建一個人工智能模型將需要每個指揮部合作創建一個全球數據集，無論是被動聲納還是網絡流量分析、維護或人力資源。這是一項非常昂貴和耗時的任務，隨著新數據的出現，在完成時可能已經過時了。然而，FL提供了一種方法，讓每個指揮部在他們本地的、當前的數據上訓練和部署一個模型，并將他們的模型與另一個指揮部的人工智能模型匯總。由于只傳遞模型的權重而不是整個數據集，所以通信成本也是最小的。雖然FL提出了一種在邊緣部署和訓練人工智能模型的方法，但貝葉斯網絡是一種不僅能提供預測，而且能對其評估的不確定性進行估計的模型。士兵在不確定的環境中工作，知道部署的人工智能模型何時對其預測不確定，可以防止人工智能和戰士的過度自信。這一特點可以極大地幫助人工智能-士兵團隊以更高的效率水平運作。將FL的分布式和持續學習特性以及貝葉斯NN的不確定性這兩個方面結合起來，將是海軍在各種應用中的巨大優勢，如網絡流量分析、合成孔徑雷達或無人機圖像分析，或無源聲納分析。

研究目標與貢獻

為了證明這一點，開發了一個FL框架來比較貝葉斯NN和它們的確定性對應物，并在本論文中分析了它們的結果。本論文的主要貢獻是在一個已知的數據集CIFAR10[2]上對這個框架進行了基準測試，以比較結果。該數據集在FL研究中被充分研究[3]-[6]。使用的人工智能模型架構是殘差網絡（ResNet）[7]。它是一個最先進的神經網絡架構，為CIFAR10數據集設定了一個基線。這使得貝葉斯ResNets可以在集中式和FL設置中與原始的最先進結果進行比較。本論文打算回答的主要問題有以下幾個：

• 如何聚集貝葉斯NNs？
• FL是如何影響貝葉斯NN的性能的？
• FL能否提高NN的整體性能？
• 在FL中，貝葉斯NN與確定性的NN相比有什么不同？

將離散概率分布和組合優化問題集成到神經網絡中有許多應用，但也帶來了一些挑戰。本文提出隱式最大似然估計(I-MLE)，一種結合離散指數族分布和可微神經組件的模型端到端學習框架。I-MLE應用廣泛:它只要求能夠計算最可能的狀態;并且不依賴平穩的放松。該框架包括幾種方法，如基于擾動的隱微分和最近通過黑盒組合求解器進行微分的方法。本文引入一類新的噪聲分布，用于通過擾動和映射逼近邊界。當在一些最近研究的涉及組合求解器的學習環境中使用時，I-MLE簡化為最大似然估計。在幾個數據集上的實驗表明，I-MLE與現有的依賴于特定問題松弛的方法相比是有競爭力的，并且往往優于現有的方法。

圖像壓縮算法是圖像處理領域中媒體傳輸和壓縮的基礎。在其誕生的幾十年后，諸如JPEG圖像編解碼器等算法仍然是行業標準。在壓縮領域，一個值得注意的研究課題是深度學習（DL）。本文探討了理想圖像壓縮和物體檢測（OD）應用的DL模型的優化。

要優化的DL模型是基于一個現有的壓縮框架，即CONNECT模型。這個框架將傳統的JPEG圖像編解碼器包裹在兩個卷積神經網絡（CNNs）中。第一個網絡，ComCNN，專注于將輸入的圖像壓縮成一個緊湊的表示，以輸入到圖像編解碼器。第二個網絡，RecCNN，著重于從編解碼器中重建輸出圖像，使之與原始圖像盡可能相似。為了提高CONNECT模型的性能，一個名為Optuna的優化軟件包裹了該框架。從每個CNN中選擇超參數，由Optuna進行評估和優化。一旦CONNECT模型產生了理想的結果，輸出的圖像就被應用于YOLOv5 OD網絡。

本文探討了DL超參數對圖像質量和壓縮指標的影響。此外，檢測網絡將為圖像壓縮對計算機視覺應用的影響提供背景。

人工神經網絡與其他學科領域聯系日益緊密，人們通過對人工神經網絡層結構的探索和改進來解決各個領域的問題。根據人工神經網絡相關文獻進行分析，綜述了人工神經網絡算法以及網絡模型結構的發展史，根據神經網絡的發展介紹了人工神經網絡相關概念，其中主要涉及到多層感知器、反向傳播神經網絡、卷積神經網絡以及遞歸神經網絡，描述了卷積神經網絡發展當中出現的部分卷積神經網絡模型和遞歸神經網絡中常用的相關網絡結構，分別綜述了各個人工神經網絡算法在相關領域的應用情況，總結了人工神經網絡的未來發展方向。

社交網絡和分子圖等結構化的圖形數據在現實世界中隨處可見。設計先進的圖結構數據表示學習算法，促進下游任務的完成，具有重要的研究意義。圖神經網絡(GNNs)將深度神經網絡模型推廣到圖結構數據，為從節點級或圖級有效學習圖結構數據表示開辟了一條新途徑。由于其強大的表示學習能力，GNN在從推薦、自然語言處理到醫療保健等各種應用中獲得了實際意義。近年來，它已成為一個熱門的研究課題，越來越受到機器學習和數據挖掘界的關注。本教程涵蓋了相關和有趣的主題，包括使用GNNs在圖結構數據上的表示學習、GNNs的魯棒性、GNNs的可擴展性和基于GNNs的應用程序。

目錄內容：

• 引言 Introduction
• 基礎 Foundations
• 模型 Models
• 應用 Applications

//cse.msu.edu/~wangy206/tutorials/sdm2021/

在本章中，我們將訪問圖神經網絡(GNNs)的一些理論基礎。GNNs最有趣的方面之一是，它們是根據不同的理論動機獨立開發的。一方面，基于圖信號處理理論開發了GNN，將歐氏卷積推廣到非歐氏圖域[Bruna et al.， 2014]。然而，與此同時，神經信息傳遞方法(構成了大多數現代GNN的基礎)被類比提出，用于圖模型中的概率推理的信息傳遞算法[Dai等人，2016]。最后，基于GNN與weisfeler - lehman圖同構檢驗的聯系，許多研究對其進行了激發[Hamilton et al.， 2017b]。

將三個不同的領域匯聚成一個單一的算法框架是值得注意的。也就是說，這三種理論動機中的每一種都有其自身的直覺和歷史，而人們所采用的視角可以對模型的發展產生實質性的影響。事實上，我們推遲對這些理論動機的描述直到引入GNN模型本身之后，這并非偶然。在這一章,我們的目標是介紹這些背后的關鍵思想不同理論的動機,這樣一個感興趣的讀者可以自由探索和組合這些直覺和動機,因為他們認為合適的。