亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

機器學習和離散優化是計算機科學的兩大支柱，也是廣泛用于商業、科學和技術領域的分析、預測和決策的工具。然而，機器學習和離散優化方法發展的前提在根本上有所不同。學習依賴于數據，并且通常很少或根本不需要人工設計。其優點在于普適性和幾乎全面的適用性，但許多模型無法有效地整合領域知識或特定約束，缺乏可解釋性，且其預測存在不確定性，這在實踐中阻礙了其應用。相反，離散優化的算法通常針對特定應用進行定制，如組合問題。他們精確的形式化提供了洞察和分析，而且他們的輸出通常帶有性能保證。然而，與機器學習不同，離散優化的方法在實例之間不能泛化，這在實際應用中是一個不足。

//www.research-collection.ethz.ch/handle/20.500.11850/629004 鑒于機器學習和離散優化的互補優缺點，很自然地會問到這兩個領域的方法在多大程度上可以有益地結合起來。這是我們在這篇論文中提出的問題，并通過展示用于和用于離散優化的學習方法來肯定地回答這個問題。

在用于離散優化的學習中，我們關注的是涉及離散變量的非監督學習模型的梯度估計。這些模型廣泛存在，并在正則化、可解釋性、模型設計和算法集成方面提供了好處。我們依賴離散優化的高效方法來通過松弛設計這些模型的新梯度估計器，并通過實驗證明它們使學習更加高效、有用和高效。

在用于學習的離散優化中，我們專注于使用機器學習提高整數規劃的分支和界求解器的性能。我們用針對特定應用的學習模型替換這些求解器中用于切割平面選擇和潛水的現有子程序。我們的方法借鑒了模仿學習和生成建模的思想，具有可擴展性和有效性。在一系列實驗中，我們的模型超過了現有的啟發式方法以及競爭的機器學習方法，以促進求解器性能的整體改進。

近年來，機器學習在許多應用中證明了其極高的用途性。然而，這些成功故事很多都源于在與訓練數據非常相似的數據上評估算法。當應用于新的數據分布時，機器學習算法已被證明會失敗。鑒于現實世界數據的非平穩和異構性質，我們需要更好地掌握算法在分布外（out-of-distribution）的泛化能力，以便算法能被廣泛部署和信任。我的論文提出了三個研究課題，旨在調查和發展分布外泛化的領域。這些研究努力的中心目標是產生新的工具，如算法、理論結果、實驗結果和數據集，以提高在數據分布發生變化時機器學習方法的理解和性能。貫穿這三個機器學習場景的高級思想是模塊性——由組合在一起形成一個整體的獨立部分的質量。模塊化方法被假設為引導機器學習方法遠離僵化的記憶示例，走向更靈活和“更智能”的支持泛化的學習。

在我的第一項貢獻中，我從多個訓練分布的學習角度來接近論文目標。對這一研究方向的貢獻有兩方面。首先，我呈現了一組新的標準化任務，用于評估和比較分布外泛化算法。其次，我陳述了一系列新的理論結果，填補了數據中心和算法方法之間在分布外泛化方面的現有差距。這些理論發現引導了一組關于如何采用算法方法的新的實用建議。

在第二項貢獻中，我處理了監督圖像識別中的泛化問題。在這一背景下，我首先調查了多級特征聚合對泛化的影響，并證明了使用其中一種考慮的方法進行增強可以持續提高性能。其次，我提出了一組簡單的圖像數據集，可作為評估和比較圖像分類方法在分布外泛化方面的墊腳石。最后，我深入研究了多個神經網絡通信以解決共享任務的學習場景。這項工作以兩種方式支持論文目標。首先，我提出了一個新的環境，圖引用游戲（graph referential games），并在數據表示和相應的數據表示學習方法對分布外泛化的影響上提出了結果。這些結果連接了之前不相連的圖表示學習和新興通信領域。其次，我解決了基于現實圖像的群體通信這一具有挑戰性的領域。這篇論文中的數據集、算法、定理和實驗結果代表了在機器學習中理解和改進分布外泛化方面的幾個步驟。它們為研究人員提供了旨在促進這一領域研究的新工具和結果，其中一些已被證明對研究社群有用。最后，這項工作提出了機器學習的多個分布學習、圖像分類和多代理通信子領域中重要的未來方向。

//www.repository.cam.ac.uk/items/8680585b-87ca-4196-987f-c4d379259092

記憶與學習是否相同？阿根廷作家豪爾赫·路易斯·博爾赫斯（Jorge Luis Borges）的短篇小說《記憶者富內斯》（Funes the Memorious，由James E. Irby翻譯成英文[71，第59–66頁]）描述了一個名叫富內斯的男孩，在頭部受傷后獲得了完美的記憶。他開始詳細地記住他一生的每一個時刻。同時，他失去了泛化的能力：他的記憶彼此是孤立的。例如，他從不同的角度看到同一只狗，卻只把同一只狗的不同側面視為獨立的信息。他甚至不了解自己的身體是什么樣的（‘每次看到鏡中的自己的臉，看到自己的手，都讓他感到驚訝’），這導致了一個結論：‘思考就是忘記一個差異，進行泛化，進行抽象。在富內斯過于充實的世界里，只有細節。’""與富內斯相似，具有數百萬參數的現代神經網絡已被證明會記住訓練樣本，這可能導致一系列問題，例如：（1）對噪聲數據的高度敏感性[150, 221]，（2）易受對抗性攻擊的影響[271, 87, 269, 287]，（3）與人類學習相比樣本效率低[302, 303, 275]，以及（4）對新數據的泛化能力差[62]，即使新數據樣本直觀地與模型已經訓練過的數據有相似之處[61, 251]。這些問題可能出現在應用現代機器學習的任何領域。它們可能導致機器學習系統在使用過程中產生不透明的故障模式，從而導致對機器學習系統的信任度下降[297]。"

"標準機器學習方法中缺少對分布外泛化（Out-of-distribution generalisation）的能力。這些方法得到了統計學習理論[279]的支持，該理論證明了使用基于平均值的優化（經驗風險最小化[279]）以及使用測試集估計泛化誤差的做法是合理的。然而，這一理論假設訓練（過去）和測試（未來）數據是獨立同分布的。在應用機器學習的許多實際領域中，這一假設是不正確的：現實世界的數據是異構的，其分布通常會隨時間變化。分布變化的實際來源包括機器學習系統用戶特性的變化，或一個有實體的代理（embodied agent）所處環境的變化。另一個常見的分布變化例子是由于語言（包括在線使用的語言）動態性而產生的。自然語言的不斷演變已被證明會改變語言模型的困惑度（perplexity），當這些模型在數月內多次應用時[164]。背景章節的第2.4節更多地涵蓋了分布變化的類型和相應的例子。由于這些變化，即使在常用的分布內測試集上達到接近100%的準確率也不總是能預示未來的性能，這一點已被眾多論文所證明[137, 15, 61, 235, 204, 62]。"

"在機器學習領域，關于分布外泛化（OOD generalisation）的主題實質上與機器學習本身一樣廣泛和復雜，并且在研究社群中同樣容易受到瞬息萬變的趨勢和不同觀點的影響。在我看來，面對分布變化提高泛化能力是必要的，原因如下： ? 工程原因 — 提高樣本效率，并在沒有數千個訓練樣本的低資源領域提高性能[110]； ? 科學原因 — 深入了解神經網絡是如何學習的，并可能讓機器學習更接近人類學習； ? 商業原因 — 在目前由人類執行的越來越復雜的任務中使用神經網絡； ? 社會原因 — 通過控制簡單性偏見[246]來消除機器學習系統的偏見。

利用數據中的‘捷徑’可能會導致不公平的解決方案（例如，這可以在招聘工具中利用性別信息時看到[59]）。在我的博士研究期間，我一直在問自己：致力于分布外泛化的機器學習研究社群最需要什么樣的工具？這篇論文旨在以新數據集、新理論結果、新測試平臺、新實驗結果和新算法的形式提供這樣的工具。這些研究努力的具體成果總結在圖1.1中。"

導致這篇論文的研究工作涉及機器學習的三個子領域：多分布學習（第3章）、圖像分類（第4章）和多智能體通信（第5章）。這種廣泛的視角使我能夠收集更多證據來支持中心假設，并探討研究問題（第1.2節）。同時，本論文中介紹的工具旨在對我在博士研究期間有幸與之合作和學習的幾個機器學習社群有所用處：（1）不變學習和群體魯棒性社群（第3章），（2）視覺社群（第4章），以及（3）新興通信社群（第5章）。所有這些社群都在獨立地研究機器學習中的分布外泛化，正如我在背景章節（第2章）以及各自貢獻章節中所回顧的。本論文聯系了我在研究中涉足的之前是分離的社群，例如圖神經網絡[141]與新興通信[43]（第5章），以及面向群體魯棒性的數據導向方法[36]與分布魯棒優化[21]（第3章）。"

強化學習（RL）為基于學習的控制提供了一個形式化的框架。通過嘗試學習能優化用戶指定的獎勵函數的行為策略，RL方法已經能夠獲得新穎的決策策略，即使在動態非常復雜，所有可能結果的空間巨大（例如，機器人操作、芯片地板規劃）的情況下，這些策略也可以勝過最好的人類。但與標準機器學習（ML）在現實世界的應用相比，RL的適用性有限。為什么呢？RL的核心問題在于，它嚴重依賴于執行大量試錯的主動數據收集來學習策略。不幸的是，在現實世界中，主動數據收集通常非常昂貴（例如，進行藥物設計的實驗室實驗）和/或危險（例如，機器人在人們周圍操作），且準確的模擬器很難構建。總的來說，這意味著，盡管RL具有廣泛解鎖現實世界決策問題中的ML的潛力，但我們無法通過當前的RL技術實現這一潛力。

為了實現RL的這種潛力，在這篇論文中，我們開發了一個旨在使用靜態數據集經驗學習策略的替代范式。這種“數據集驅動”的范式擴大了RL在存在歷史數據集或可以通過特定領域策略收集的決策問題中的適用性。它還將現代有監督和無監督ML方法的可擴展性和可靠性帶入了RL。話雖如此，實例化這一范式是具有挑戰性的，因為它需要將從數據集中的靜態學習與RL的傳統主動性相協調，這導致了分布偏移、泛化和優化的挑戰。在理論上和實證上理解這些挑戰后，我們為應對這些挑戰開發了算法思想，并討論了幾種擴展，將這些思想轉化為實際方法，可以在大型和多樣化的數據集上訓練現代高容量神經網絡函數逼近器。最后，我們展示了這些技術如何使我們能夠為真實的機器人和視頻游戲預訓練通用策略，并實現快速高效的硬件加速器設計。

在自然語言處理（NLP）中，許多任務都涉及到結構化預測：預測由一組相互依賴的變量組成的結構化輸出。這允許從非結構化的原始文本中提取有用的信息，這對下游任務和人類與機器的分析都是有益的。為了獲得自動模型，主要范式是采用數據驅動的監督學習方式。在這種范式中，主要的瓶頸是手工標注數據的可用性，這通常是昂貴且耗時的。此外，我們通常希望將模型擴展到各種新的場景，例如在不同的領域或語言中。如果訓練實例不足以覆蓋目標場景，模型的性能可能會大幅下降，而在所有這些新情境中標注大量的數據實例又是昂貴且低效的。

為了緩解這個問題并減少結構化預測模型對大量標注的依賴，我們需要考慮模型和數據的兩個方面，這些是數據驅動機器學習的主要動力。關于這兩個核心方面，我們研究了三個方向。首先，我們研究了模型設計中的結構化建模，這涉及到如何對復雜的結構化輸出進行建模和預測。這對于通常具有大輸出空間的結構化預測任務尤為重要。此外，在模型和數據的交互上，我們研究了遷移學習，其中相關數據被用來幫助低資源目標任務。 在這種情況下，如何設計對源數據和目標數據資源之間的差異更不敏感的模型對于轉移的成功也是至關重要的。最后，我們探索了有關數據本身的主動學習。當資源有限時，很難獲得大量的標注實例，但標注一小部分是可行的。通過選擇一個有信息量的實例集，可能需要更少的手工標注就能達到令人滿意的性能。這篇論文包括三部分，對應這三個方向。在第一部分，我們研究了深度神經模型中結構化輸出建模的影響。我們發現，結構化建模在句子級完全匹配上帶來了好處，并有更高效的模型。我們進一步擴展了對低資源場景的分析，并研究了結構約束和訓練數據大小的交互。在第二部分，我們研究了一系列相關的結構化任務，發現從相關數據（例如來自同一任務但在不同語言中的數據（跨語言學習）和來自相關任務的數據（多任務學習））得到的監督可以是有益的，特別是如果使用那些對源和目標差異關心較少的模型。最后，在第三部分，我們對NLP中的結構化預測的主動學習進行了系統性的調查。特別地，我們分析了使用部分結構進行標注和學習的有效性，這可以提高主動學習的數據效率。此外，我們展示了將主動學習與自學習結合，使用來自主動學習數據池的未標注實例可以帶來進一步的改進。

機器學習有潛力革新生物學和醫療保健領域，為科學家和臨床醫生提供新工具進行研究，并決定對患者的正確治療。然而，盡管最近的表示學習方法給人一種普遍的黑箱解決所有問題的印象，但研究表明這并非一般情況。盡管模型可以以黑箱方式表現良好，但它們往往存在泛化能力低和對分布偏移敏感的問題。這凸顯了需要開發出考慮到下游應用的方法，并定制以將問題的對稱性納入模型架構的需求。這些歸納偏差對于新數據的性能以及當數據分布發生變化時模型保持穩健至關重要。然而，構建好的模型只是解決方案的一半。為確保模型能夠很好地轉化為臨床應用，他們也需要以這個目標為出發點進行適當的評估。//www.research-collection.ethz.ch/handle/20.500.11850/602440在這篇論文中，我在深入研究生物學、醫學和機器學習交叉處的結構化數據類型的同時，解決了上述問題。在算法貢獻方面，我首先提出了一種新的非線性降維算法，旨在保留多尺度關系。基因組測序的成本降低和測序單個細胞的能力導致生命科學中高維數據呈指數級增長。這樣的數據不能被直觀地理解，因此降維方法，能夠捕捉到生物學中存在的嵌套關系，成為必要工具。其次，我開發了適用于存在不規則采樣數據的臨床應用的方法。傳統的機器學習模型需要將此類數據轉換為固定大小的表示，或者在應用之前對缺失值進行插值。我提出了兩種適用于不規則采樣數據的方法，不需要進行此類預處理步驟。第一種是一種新的從MALDI-TOF光譜中提取峰值的核函數，而第二種是一種可以通過將它們描述為觀察集合應用于不規則采樣時間序列的深度學習模型。第三，我提出了一種擴展圖神經網絡的方法，允許模型考慮全局信息，而不是只要求節點與它們的鄰居交換信息。圖是藥理學的一個重要數據結構，因為它們經常用于表示小分子。第三，我展示了對圖神經網絡的擴展，允許模型考慮全局信息，而不是僅僅要求節點僅與它們的鄰居交換信息。圖是藥理學的一個重要數據結構，因為它們經常用來表示小分子。為了解決對這類模型的適當評估，我進行了一項關于醫療時間序列模型的詳細研究，重點在于它們在嚴重感染早期預測任務中轉移到其他數據集的能力。此外，我展示了傳統的評估圖生成模型的方法對超參數的選擇高度敏感，這可能導致性能估計偏差。總結來說，我的論文解決了許多在機器學習、醫療保健和生物學交叉點的問題。它演示了如何通過引入更多（領域特定）知識來改進模型，以及在評估這些模型時應關注的地方。

機器學習算法已被廣泛應用于多種領域，人們對這些算法可能存在的偏見越來越關注。雖然已有許多解決算法預測偏見的方案，但在將預測轉化為合理決策的過程中仍存在空白。此外，即使一個公正且公平的決策也可能在決策產生反饋效應時導致不可預期的后果。盡管已經有許多方案提出實現一次性決策的公平性，但在研究連續算法決策的長期效果方面仍有空白。在這篇論文中，我們專注于在連續決策環境中研究算法的公平性。我們首先研究如何將模型預測轉化為公平的決策。具體而言，給定黑箱模型（機器學習模型或人類專家）的預測，我們基于經典的學習自專家方案提出了一個算法，將預測結合起來生成公平且準確的決策。我們的理論結果表明，可以在不犧牲太多遺憾的情況下實現近似等化的機會。我們還展示了這個算法在公平社區常用的真實數據集上的表現。

在論文的第二部分，我們研究在連續設定中強制執行靜態公平決策是否能在反饋循環下導致弱勢群體的長期平等和改善。特別地，我們使用具有一般過渡函數的馬爾可夫決策模型來模擬算法決策和基本分布之間的互動。我們提出了一個新的度量標準，通過衡量分布的中心、擴散和形狀的變化來衡量算法決策的分布影響。這個度量將影響劃分為群體內影響和群體間影響，其中群體內影響度量政策如何影響組內分布，群體間影響則度量政策如何對兩個人口群體的分布產生不同的影響。我們的結果顯示，閾值策略的效用和群體間影響之間通常存在權衡，常見的公平約束可能會導致“反作用效應”，即對各群體的影響可能存在差異。

基于搜索的規劃算法使得機器人能夠為實現特定任務目標制定基于合理推理的長期規劃。它們將問題表述為在域狀態空間中嵌入的圖上的最短路徑問題。許多研究致力于實現更快的規劃速度，以使機器人能夠快速響應環境變化。此外，隨著任務復雜性的增加，在規劃過程中納入更復雜的模型，如模擬器變得尤為重要。然而，這些復雜模型的計算代價高昂，嚴重降低了規劃速度。由于CPU時鐘速度的停滯，單線程規劃算法的性能已達到了瓶頸。另一方面，CPU核心數量顯著增長，這一趨勢可能將繼續。這就需要能夠利用并行化的規劃算法。然而，與基于采樣的規劃算法不同，由于其順序性質，要保持最優性或有界次優性，對基于搜索的規劃算法進行并行化并非易事。機器人領域的一個關鍵特征是，在規劃過程中，大部分計算工作都花在計算動作的結果和產生的邊的代價上，而非搜索圖。在本論文中，我們利用這一見解，開發了幾種能夠利用現代處理器的多線程功能并行計算邊的并行搜索規劃算法。我們證明了這些新穎算法在多個領域大大提高了規劃速度。我們的第一個貢獻是一個并行化的懶惰搜索算法，大規模并行懶惰規劃（MPLP）。現有的懶惰搜索算法旨在作為單個進程運行，并通過在搜索圖和評估邊之間智能平衡計算工作以實現更快的規劃。MPLP利用的關鍵思想是，搜索圖和評估邊可以異步并行執行。在理論上，我們證明了MPLP具有完整性和有界次優性的嚴格保證。

與所有懶惰搜索算法一樣，MPLP假設后繼狀態可以在不評估邊的情況下生成，從而使算法能夠推遲邊的評估并懶惰地進行搜索。然而，這個假設并不總是成立，例如，在使用計算量很大的模擬器生成后繼狀態的仿真規劃中。為此，我們的第二個貢獻是針對慢速評估的基于邊的并行A*（ePA*SE），它在保證最優性的同時，將規劃與邊的并行評估交織進行。我們還提出了其有界次優變體，用規劃速度換取最優性。

對于實時機器人領域的適用性，ePASE必須在時間預算下計算規劃，因此具有隨時性能。盡管期望降低解決方案的成本，但在這樣的環境下，它并不是首要考慮的因素。我們的第三個貢獻是隨時適用的針對慢速評估的基于邊的并行A（A-ePASE），它為ePASE帶來了隨時性能。

ePASE針對邊計算時間昂貴但相似的領域。然而，在許多機器人領域，動作空間在評估動作結果及其成本所需的計算工作方面具有異質性。因此，我們的第四個貢獻是通用的針對慢速評估的基于邊的并行A（GePASE），它將ePASE推廣到邊計算差異顯著的領域。我們展示了GePASE在異質動作領域優于ePASE和其他基線，因為它采用了一種并行化策略，明確考慮了評估所需的計算工作。

最后，我們在一個將圖搜索技術與軌跡優化相結合的算法（INSAT）中展示了并行化的實用性。由于軌跡優化的計算成本高昂，在單線程上運行INSAT限制了其實際應用。所提出的并行版本——并行搜索與軌跡優化交織（PINSAT）實現了規劃速度的數倍提升，并顯著提高了成功率。

表示學習已經成為一種多功能工具，能夠利用使用數字技術獲得的大量數據集。該方法的廣泛適用性源于其作為子系統使用的靈活性和在模型架構中納入先驗的可擴展性。數據內部的直觀依賴關系，如像素主要對其鄰近的上下文做出貢獻，可以被形式化和嵌入，以提高泛化，并允許具有很大能力的模型避免過擬合。元學習也被應用于將這些系統擴展到低數據設置，通過將特定任務視為更普遍問題的實現而不損失性能。本文考慮如何利用這些方法的基本兼容性。本工作的主要論點是，歸納偏差提供的計算的清晰度可以用于改進元學習架構，并直接構建元學習器過去經驗和解決問題能力到新任務的遷移。通過融合這些方法開發的方法可以在廣泛的設置和領域中提高與基線模型相比的性能。融合有三種實現方式。第一個將復合分類確定為一種自然設置，并展示了如何使用注意力下數據點的自組織來增強元學習分類器。第二種使用顯式關系推理來調節和重組神經模塊，以在測試時快速準確地適應。自適應神經過程來捕獲關系和時間依賴，以提高預測和不確定性估計的準確性和一致性。在驗證本文的激勵假設時，這些貢獻在其他領域中發現了最先進的應用，包括小樣本圖像分類、粒子控制系統的相互作用的無監督恢復、蛋白質-蛋白質相互作用位點預測以及動力系統的識別和演化。通過這樣做，這項工作有助于使機器智能應用于更廣泛、更精細的問題范圍——作為所考慮問題的解決方案，作為進一步應用的架構模板，以及作為未來研究的方向。

機器學習算法的典型分析將其結果與它們對生成數據的過程或對學習感興趣的實體可能產生的影響隔離開來。然而，當前的技術趨勢意味著人們和組織越來越多地與學習系統交互，因此有必要考慮這些交互如何改變學習任務的性質和結果。

算法博弈論領域的發展是為了應對在存在戰略實體(如人)的大型交互系統中理解相互作用的需要。然而，在許多情況下，算法博弈論需要人們行為的精確模型。然而，在機器學習的應用中，大部分信息是不可用的或正在發展的。因此，除了算法博弈論所涉及的挑戰之外，還需要在不引起不良交互的情況下獲取信息。

在這篇論文中，我們提出了機器學習和算法博弈論的觀點，它考慮了機器學習系統和人之間的交互。我們探索了四條解釋這些互動的研究路線:了解人，在沒有準確的行為模型和不斷變化的環境下，通過與人們的偏好互動和學習，我們在博弈論的設置中學習最優政策;向人學習，我們在數據收集和機器學習方面管理人們的專業知識和資源;通過人的學習，人們可以相互交流，共同協作，有效地學習相關的基本概念;還有為人類學習，機器學習被用來造福人類和社會，特別是通過創建能夠適應環境不確定性的模型。

從社交網絡到Web和大腦結構，圖是各種系統的一種自然表示。即使當數據沒有顯式地相互連接時，將其轉換成圖表以便進一步分析通常也是很方便的。許多涉及圖的任務，如鏈接預測、社區檢測和分類，依賴于圖中節點或圖整體之間的各種相似度定義。然而，這種相似性大多是隱式的，這意味著物體在某些空間中不被特征向量表示。相比之下，現代機器學習方法要求明確表示歐幾里得空間中的對象。為了在圖數據上利用機器學習的能力，我們必須具有適當的圖的顯式表示。

本論文研究針對圖結構數據表示的有效的算法。我們關注的是算法的可擴展性，因為它們必須有能力處理Web大小的圖，以能夠應對實踐。局部圖算法具有這種能力; 我們引入可擴展的局部算法來表示節點，邊，和整個圖作為向量在歐氏空間。通過潛在相似性來研究表征，使我們能夠闡明以前的工作，并將非常理想的特性引入我們提出的模型。值得注意的是，我們介紹了第一個隨時表示圖節點的算法。對于整個圖的情況，我們提出了表示，它使圖的多尺度比較和其局部逼近的方法。我們通過實驗驗證了我們的方法并沒有為了算法的可擴展性而犧牲表示的表達性。我們介紹了圖分析的新應用，并在具有數十億節點的大規模圖上使用我們的方法。

//bonndoc.ulb.uni-bonn.de/xmlui/handle/20.500.11811/9119