亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

超分辨率在醫學成像中起著至關重要的作用，因為它提供了一種在不增加額外獲取成本的情況下實現高空間分辨率的替代方法。在過去的幾十年中，深度神經網絡的迅速發展確保了高重構保真度和逼真的超分辨率圖像生成。然而，在醫學領域仍然存在挑戰，這需要新的網絡架構、訓練技巧和SR圖像評估技術。本論文專注于對各種具有挑戰性放大比例的醫學圖像進行監督單圖像超分辨率任務的主干網絡。除了整合為自然圖像設計的廣泛方法外，我還在基于卷積神經網絡、生成對抗網絡和視覺變換器的端到端框架中探討漸進學習、對抗性學習和元學習，以實現穩健的醫學圖像超分辨率。除了一般的圖像質量評估外，還實施了針對特定任務的客觀和主觀評價指標，以進行全面的比較。具體而言，所提出的方法包含三個方向，實現了在多種醫學圖像模式上的最先進性能。

首先，我在具有挑戰性放大比例（即x4）的超分辨率任務中實施漸進和對抗性學習，以產生感知逼真的紋理。我提出了一個基于CNN的多尺度超分辨率圖像生成器，將復雜的映射問題分解為更簡單的子問題，以避免過度平滑結構信息并在超分辨率圖像中引入非逼真的高頻紋理。此外，它還涉及到一個以病變為中心的訓練策略和一個基于Wasserstein距離的高級對抗性損失，以實現更高效和穩定的訓練。這種提出的方法顯著提高了生成圖像的感知質量，在大腦和心臟磁共振圖像的實驗中實現了與經驗豐富的放射科醫生的地面真實高分辨率圖像相當的主觀分數。它在2019年競爭了醫學圖像超分辨率的最先進的感知質量，并成為基于GAN的醫學圖像研究的先驅，具有持久的影響。

其次，我將元學習和遷移學習引入到GANs中，以實現具有任意比例（例如（1,4]）的高效和穩健的醫學圖像超分辨率。在后上采樣框架中，我實現了一個基于EDSR的輕量級網絡，用于高效的低分辨率特征提取，以及一個用于無尺度特征圖上采樣的權重預測模塊。與現有的SISR網絡相比，該框架支持非整數放大，沒有預處理/后處理的不良影響。具體而言，這種方法具有比SOTA方法少得多的參數，實現了相當的重構精度和客觀感知質量性能。此外，我還將一個醫學圖像數據集（即大腦MRI）的預訓練SR模型穩健地遷移到各種新的醫學模式（例如胸部CT和心臟MR）上，只需進行少量的微調步驟。此外，還進行了詳盡的消融研究，以討論感知-失真權衡，并說明殘余塊連接、超參數、損失組件和對抗性損失變體對醫學圖像超分辨率性能的影響。

最后，我提出了一個具有殘余密集連接和局部特征融合的高效視覺變換器，以實現醫學模式的優越單圖像超分辨率性能。由于信息流的改進，這種CNN-變換器混合模型具有更少的訓練計算要求和先進的表示能力。同時，我實施了一個具有手動控制的通用感知損失，以通過結合醫學圖像分割的先驗知識來改善所需的圖像質量。與四個公共醫學圖像數據集上的最先進方法相比，所提出的方法實現了七種模式中六種模式的最佳PSNR分數，參數僅為SwinIR（最近的SOTA方法）的38％。另一方面，基于分割的感知損失平均增加了+0.14 dB PSNR，用于流行的超分辨率網絡，無需額外的訓練成本。此外，我還討論了視覺變換器在CNN和GAN之上表現出色的潛在因素，以及在全面的消融研究中網絡和損失函數組件的影響。

總之，這篇論文代表了我在應用深度神經網絡進行穩健的醫學圖像超分辨率任務方面的研究貢獻，包括高效的網絡架構、廣泛適用的訓練技術和具有臨床意義的圖像質量評估。在出版時，這些提出的方法在各種公共和私有醫學圖像數據集的模擬實驗中表現出最先進的性能。這些算法有可能在醫院中應用于先進的臨床流程，具有適當的特定案例修改和補充技術。此外，超分辨率的新方法和發現還可能有助于其他低級圖像處理任務，而討論和消融研究提供了令人興奮的未來研究方向。

近年來，機器學習在許多應用中證明了其極高的用途性。然而，這些成功故事很多都源于在與訓練數據非常相似的數據上評估算法。當應用于新的數據分布時，機器學習算法已被證明會失敗。鑒于現實世界數據的非平穩和異構性質，我們需要更好地掌握算法在分布外（out-of-distribution）的泛化能力，以便算法能被廣泛部署和信任。我的論文提出了三個研究課題，旨在調查和發展分布外泛化的領域。這些研究努力的中心目標是產生新的工具，如算法、理論結果、實驗結果和數據集，以提高在數據分布發生變化時機器學習方法的理解和性能。貫穿這三個機器學習場景的高級思想是模塊性——由組合在一起形成一個整體的獨立部分的質量。模塊化方法被假設為引導機器學習方法遠離僵化的記憶示例，走向更靈活和“更智能”的支持泛化的學習。

在我的第一項貢獻中，我從多個訓練分布的學習角度來接近論文目標。對這一研究方向的貢獻有兩方面。首先，我呈現了一組新的標準化任務，用于評估和比較分布外泛化算法。其次，我陳述了一系列新的理論結果，填補了數據中心和算法方法之間在分布外泛化方面的現有差距。這些理論發現引導了一組關于如何采用算法方法的新的實用建議。

在第二項貢獻中，我處理了監督圖像識別中的泛化問題。在這一背景下，我首先調查了多級特征聚合對泛化的影響，并證明了使用其中一種考慮的方法進行增強可以持續提高性能。其次，我提出了一組簡單的圖像數據集，可作為評估和比較圖像分類方法在分布外泛化方面的墊腳石。最后，我深入研究了多個神經網絡通信以解決共享任務的學習場景。這項工作以兩種方式支持論文目標。首先，我提出了一個新的環境，圖引用游戲（graph referential games），并在數據表示和相應的數據表示學習方法對分布外泛化的影響上提出了結果。這些結果連接了之前不相連的圖表示學習和新興通信領域。其次，我解決了基于現實圖像的群體通信這一具有挑戰性的領域。這篇論文中的數據集、算法、定理和實驗結果代表了在機器學習中理解和改進分布外泛化方面的幾個步驟。它們為研究人員提供了旨在促進這一領域研究的新工具和結果，其中一些已被證明對研究社群有用。最后，這項工作提出了機器學習的多個分布學習、圖像分類和多代理通信子領域中重要的未來方向。

//www.repository.cam.ac.uk/items/8680585b-87ca-4196-987f-c4d379259092

記憶與學習是否相同？阿根廷作家豪爾赫·路易斯·博爾赫斯（Jorge Luis Borges）的短篇小說《記憶者富內斯》（Funes the Memorious，由James E. Irby翻譯成英文[71，第59–66頁]）描述了一個名叫富內斯的男孩，在頭部受傷后獲得了完美的記憶。他開始詳細地記住他一生的每一個時刻。同時，他失去了泛化的能力：他的記憶彼此是孤立的。例如，他從不同的角度看到同一只狗，卻只把同一只狗的不同側面視為獨立的信息。他甚至不了解自己的身體是什么樣的（‘每次看到鏡中的自己的臉，看到自己的手，都讓他感到驚訝’），這導致了一個結論：‘思考就是忘記一個差異，進行泛化，進行抽象。在富內斯過于充實的世界里，只有細節。’""與富內斯相似，具有數百萬參數的現代神經網絡已被證明會記住訓練樣本，這可能導致一系列問題，例如：（1）對噪聲數據的高度敏感性[150, 221]，（2）易受對抗性攻擊的影響[271, 87, 269, 287]，（3）與人類學習相比樣本效率低[302, 303, 275]，以及（4）對新數據的泛化能力差[62]，即使新數據樣本直觀地與模型已經訓練過的數據有相似之處[61, 251]。這些問題可能出現在應用現代機器學習的任何領域。它們可能導致機器學習系統在使用過程中產生不透明的故障模式，從而導致對機器學習系統的信任度下降[297]。"

"標準機器學習方法中缺少對分布外泛化（Out-of-distribution generalisation）的能力。這些方法得到了統計學習理論[279]的支持，該理論證明了使用基于平均值的優化（經驗風險最小化[279]）以及使用測試集估計泛化誤差的做法是合理的。然而，這一理論假設訓練（過去）和測試（未來）數據是獨立同分布的。在應用機器學習的許多實際領域中，這一假設是不正確的：現實世界的數據是異構的，其分布通常會隨時間變化。分布變化的實際來源包括機器學習系統用戶特性的變化，或一個有實體的代理（embodied agent）所處環境的變化。另一個常見的分布變化例子是由于語言（包括在線使用的語言）動態性而產生的。自然語言的不斷演變已被證明會改變語言模型的困惑度（perplexity），當這些模型在數月內多次應用時[164]。背景章節的第2.4節更多地涵蓋了分布變化的類型和相應的例子。由于這些變化，即使在常用的分布內測試集上達到接近100%的準確率也不總是能預示未來的性能，這一點已被眾多論文所證明[137, 15, 61, 235, 204, 62]。"

"在機器學習領域，關于分布外泛化（OOD generalisation）的主題實質上與機器學習本身一樣廣泛和復雜，并且在研究社群中同樣容易受到瞬息萬變的趨勢和不同觀點的影響。在我看來，面對分布變化提高泛化能力是必要的，原因如下： ? 工程原因 — 提高樣本效率，并在沒有數千個訓練樣本的低資源領域提高性能[110]； ? 科學原因 — 深入了解神經網絡是如何學習的，并可能讓機器學習更接近人類學習； ? 商業原因 — 在目前由人類執行的越來越復雜的任務中使用神經網絡； ? 社會原因 — 通過控制簡單性偏見[246]來消除機器學習系統的偏見。

利用數據中的‘捷徑’可能會導致不公平的解決方案（例如，這可以在招聘工具中利用性別信息時看到[59]）。在我的博士研究期間，我一直在問自己：致力于分布外泛化的機器學習研究社群最需要什么樣的工具？這篇論文旨在以新數據集、新理論結果、新測試平臺、新實驗結果和新算法的形式提供這樣的工具。這些研究努力的具體成果總結在圖1.1中。"

導致這篇論文的研究工作涉及機器學習的三個子領域：多分布學習（第3章）、圖像分類（第4章）和多智能體通信（第5章）。這種廣泛的視角使我能夠收集更多證據來支持中心假設，并探討研究問題（第1.2節）。同時，本論文中介紹的工具旨在對我在博士研究期間有幸與之合作和學習的幾個機器學習社群有所用處：（1）不變學習和群體魯棒性社群（第3章），（2）視覺社群（第4章），以及（3）新興通信社群（第5章）。所有這些社群都在獨立地研究機器學習中的分布外泛化，正如我在背景章節（第2章）以及各自貢獻章節中所回顧的。本論文聯系了我在研究中涉足的之前是分離的社群，例如圖神經網絡[141]與新興通信[43]（第5章），以及面向群體魯棒性的數據導向方法[36]與分布魯棒優化[21]（第3章）。"

最近機器學習領域取得了重大的進展，其中序列模型是深度學習模型的核心，這些模型在科學應用中取得了廣泛的成功。然而，現有的方法需要針對不同任務、模態和能力進行大量的專門化，存在計算效率瓶頸，并且在建模更復雜的序列數據（例如涉及長依賴性的情況）時存在困難。因此，繼續開發有原則和實用性的建模通用序列的方法仍然具有基本重要性。本論文提出了一種使用狀態空間模型進行深度序列建模的新方法，該方法具有理論基礎、計算效率高，并在各種數據模態和應用中取得了強大的結果。首先，我們引入了一類具有多種表示和屬性的模型，它們綜合了標準深度序列模型（如循環神經網絡和卷積神經網絡）的優勢。然而，我們表明計算這些模型可能具有挑戰性，并且開發了一類在現代硬件上非常快速的結構化狀態空間，無論是在長序列的擴展上還是在其他設置（如自回歸推斷）上。最后，我們提出了一種新穎的數學框架，用于逐步建模連續信號，它可以與狀態空間模型相結合，賦予它們具有原則性的狀態表示，并提高其對長程依賴關系的建模能力。總的來說，這種新的方法類為機器學習模型提供了有效且多功能的構建模塊，特別是在大規模處理通用序列數據方面具有重要意義。

受寬神經網絡（NNs）理論的啟發，核學習和特征學習近期作為兩個范式浮現出來，通過它們我們可以實際理解大規模深度學習系統的復雜行為。在文獻中，它們通常被描述為二分法的兩個對立面，各自具有優點和缺點：核學習與經過深入研究的機器學習技術（如核方法和高斯過程）建立聯系，而特征學習則承諾捕捉更多豐富而尚未解釋的，獨特于神經網絡的屬性。在這篇論文中，我們介紹了三項研究，研究結合了來自兩個角度的見解來研究神經網絡的性質，不僅強調它們的差異，而且強調共同點。我們首先回顧了有關深度學習理論的相關文獻，重點是寬神經網絡的研究。這為核學習和特征學習的討論提供了背景，基于此，我們繼續描述我們的貢獻。首先，我們研究了寬神經網絡集合與貝葉斯推斷之間的關系，利用核學習與高斯過程之間的聯系，并提出了一種修改，以解釋神經網絡函數在初始化時缺失的方差，從而使我們訓練過的深度集合具有貝葉斯解釋。接下來，我們結合核學習和特征學習來展示特征核的適用性，即通過最終層神經網絡特征的內積引導的核，作為知識蒸餾的目標，其中人們尋求使用強大的教師模型來提高弱學生模型的性能。最后，我們探討自監督學習中折疊特征和白化特征之間的差距，強調特征核中特征值的衰減率作為一項關鍵量，它彌合了這一差距，并影響下游泛化性能，特別是在標記數據稀缺的情況下。我們以討論我們的貢獻，包括局限性和未來展望，作為結論。

在海量數據的時代，高效的機器學習算法變得至關重要。然而，許多常見的機器學習算法依賴于在大數據集上計算成本過高的子程序。通常，現有的技術會對數據進行子采樣或使用其他方法來提高計算效率，但這會以引入一些近似誤差為代價。這篇論文表明，往往只需用一種特殊的隨機化方法替代計算密集型的子程序，就能在幾乎不降低質量的情況下獲得足夠的效果。這篇論文的結果是基于自適應采樣文獻中的技術。第1章以一個特定的自適應采樣問題為引子：多臂老虎機中的最佳臂識別。我們首先提供了環境設定和最佳臂識別問題的正式描述。然后，我們介紹了一種名為“連續淘汰”的通用算法，用于解決最佳臂識別問題。在第2章，第3章和第4章，我們將把在第1章中開發的技術應用于不同的問題。在第2章，我們討論了如何將k-medoids聚類問題簡化為一系列的最佳臂識別問題。我們利用這一發現提出了一種基于連續淘汰的新算法，該算法在聚類質量上與先前的最新技術相當，但達到相同解的速度要快得多。在數據生成分布的一般假設下，我們的算法在樣本復雜性上實現了 O( n logn ) 的降低，其中 n 是數據集的大小。

在第3章中，我們分析了訓練基于樹的模型的問題。這類模型的大部分訓練時間都用在分割樹的每個節點上，即確定在哪個特征和相應的閾值處分割每個節點。我們展示了節點分割子程序可以簡化為一個最佳臂識別問題，并介紹了一種訓練樹的最新算法。我們的算法僅依賴于每個可能分割的相對質量，而不是顯式地依賴于訓練數據集的大小，并將數據集大小n的顯式依賴從常用的先前算法的O(n)降低到O(1)。我們的算法通常適用于許多基于樹的模型，如隨機森林和XGBoost。在第4章中，我們研究最大內積搜索問題。我們注意到，與k-medoids和節點分割問題一樣，最大內積搜索問題可以簡化為一個最佳臂識別問題。有了這個觀察，我們為高維數據集中的最大內積搜索問題提出了一個新穎的算法。在對數據的合理假設下，我們的算法將與數據集維數d的顯式比例從O(√d)降低到O(1)。我們的算法具有幾個優點：它不需要對數據進行預處理，能自然處理新增或刪除的數據點，并包含一個超參數來權衡準確性和效率。第5章以總結本論文的貢獻和未來工作的可能方向作為結論。

//searchworks.stanford.edu/view/14783548

關系數據在現代計算中無處不在，并驅動跨多個領域的幾個關鍵應用程序，如信息檢索、問題回答、推薦系統和藥物發現。因此，人工智能(AI)的一個主要研究問題是建立以有效和可靠的方式利用關系數據的模型，同時注入相關的歸納偏差和對輸入噪聲的魯棒性。近年來，圖神經網絡(GNNs)和淺節點嵌入模型等神經模型在關系結構的學習表示方面取得了重大突破。然而，這些系統的能力和局限性還沒有被完全理解，在賦予這些模型可靠性保證、豐富它們的關系歸納偏差以及將它們應用于更具挑戰性的問題設置方面仍存在一些挑戰。在這篇論文中，我們研究了關系數據的學習和推理。更具體地說，我們從理論上和實證上分析了現有模型的性質和局限性，并提出了改進關系歸納偏差和表征能力的新方法。

//ora.ox.ac.uk/objects/uuid:da7744ad-effd-4fc9-b7ab-a00b03a86a53

1. 引言以神經網絡為動力的深度學習系統已經在各種具有挑戰性的任務上取得了突破性的成果，如計算機視覺[96]和機器翻譯[160]。深度學習模型在最少人為干預的情況下從數據中學習模式，并在其訓練集之外進行經驗歸納。因此，在多個領域應用深度學習系統的興趣越來越大。沿著這些思路，近年來一個突出的研究前沿是將深度學習應用到關系數據中。從根本上說，關系數據將信息表示為一組通過語義意義關系連接的實體。例如，可以將在線市場上的產品、賣家和用戶表示為實體，并將交易描述為跨上述三種實體類型的三元關系，例如，Alice從Charlie那里購買了一個球。關系數據的一個流行的特例是圖結構，其中關系最多是二進制的。在這種情況下，關系可以被視為定義(標記)圖實體之間的邊，這些實體本身構成了圖節點。關系表示非常通用，并且出現在各種應用程序領域中。例如，社交網絡中的用戶根據他們的互動(友誼、關注、點贊)成對連接，可以被視為一個圖結構。這同樣適用于引文網絡中的論文[153,154]及其引文連接，以及分子，其中原子可以被視為實體，它們的鍵可以表示為二進制關系。事實上，關系數據封裝了幾個傳統數據域。例如，圖像是網格形狀的圖形的一種特殊情況，其中相鄰的像素由一條邊連接，序列是一系列實體，這些實體的邊連接著連續的實體。鑒于關系數據的普遍存在和圖結構的普遍存在，構建強大的關系機器學習模型是一個重要的研究問題，其分支涉及多個任務，如信息檢索[182]、問題回答[20]、推薦系統[173]和藥物發現[60]。廣義上講，機器學習任務可以分為三大類:

1. 節點級的任務。給定一個帶有未標記或部分標記節點的輸入圖，節點級任務旨在預測節點屬性，例如，對于沒有預標記屬性的節點，預測一個類或一個值。例如，在引用網絡中，論文(輸入圖中的實體)具有內容特征，并且通過二元引用關系與其他論文相連，預測論文的主題就是一個節點分類任務。

2. Graph-level任務。給定一個輸入圖，圖級任務尋求基于節點特征、邊和整體輸入圖結構預測全局圖屬性，如類或值。這些任務在分子圖中非常突出，包括幾個圖性質預測問題，如毒性分類和零點振動能(ZPVE)回歸[140]。

3.Edge-level任務。給定一個輸入圖，邊級任務旨在預測現有邊的未知邊屬性，或者更常見的是，基于現有邊和節點特征預測圖中缺失的邊。對于后一種情況，當輸入圖是單關系圖時，該問題稱為鏈接預測，如引用網絡，當輸入圖是多關系圖時，該問題稱為知識圖譜補全(KGC)。在本文中，我們研究了關系數據(圖結構和更一般的關系數據)的學習和推理，并提出了幾個模型和框架，以理論分析和結果支持，以提高該領域模型的關系歸納偏差和表示能力。更具體地說，我們系統地研究現有模型，證明它們的理論屬性和結果，并提出擴展和新模型，以(i)可證明地捕獲和/或強加豐富的關系歸納偏差，(ii)更好地理解現有模型的表現力和表征局限性，以及(iii)將現有模型和方法擴展到與推理和推理相關的新穎的、具有挑戰性的應用領域。

長期以來，隨著數據處理系統的復雜性不斷增加，系統設計者一直在想象能夠根據環境線索進行自我配置和適應的系統(如數據庫、調度程序)。在這種情況下，強化學習(RL)方法從一開始就吸引了系統開發人員。他們承諾從原始反饋信號中獲取復雜的決策策略。盡管RL方法在概念上很流行，但在現實世界的數據處理系統中卻很少見到。最近，由于利用大型神經網絡(深度強化學習)取得了引人注目的成功，RL受到了爆炸性增長的關注。新興的機器學習框架和強大的硬件加速器催生了大量新的潛在應用。在本文中，我首先提出，為了高效地設計和執行深度RL算法，需要新穎的軟件抽象來適應通信密集和快速進化算法的獨特計算模式。我提出了一種將邏輯算法構造與本地和分布式執行語義解耦的體系結構。我將進一步介紹RLgraph，這是我對這個體系結構的概念驗證實現。在RLgraph中，算法開發人員可以通過組合邏輯組件構建高級數據流圖來探索新的設計。此數據流圖獨立于特定的后端框架或執行概念，只在以后通過分階段構建過程映射到執行語義。RLgraph支持高性能算法實現，同時保持快速原型的靈活性。

//www.repository.cam.ac.uk/handle/1810/304385

其次，我研究了系統本身中RL應用程序稀缺的原因。我認為，由于缺乏用于任務模型設計的工具來彌合系統和算法之間的差距，以及缺乏評估模型能力的共同標準，應用RL的進展受到了阻礙。在本文中，我介紹了應用RL中第一個用于增量模型設計的工具——Wield。Wield 提供了一小組原語，將系統接口和特定于部署的配置從表示中分離出來。運用的核心是一種新的指導性實驗協議，稱為漸進隨機化，它幫助從業者逐步評估非確定性的不同維度。我演示了如何使用和漸進的隨機化可以用來再現和評估之前的工作，并指導新RL應用程序的實現。