亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

幾十年來，研究人員一直在追求一個雄心勃勃的目標:設計出能夠像人類一樣有效地解決問題的計算機模型。人工神經網絡——一種通用的、可優化的模型，最初是受到大腦中的生物神經元的啟發——似乎提供了一個有希望的答案。然而，當前模型的一個重大限制是，它們往往只可靠地精通它們明確訓練過的任務和數據集。如果正在訓練多個任務或數據集，則需要適當地混合和平衡樣本，以便在連續批次的訓練中不會導致前批次學習到的知識的遺忘，這是持續學習的障礙。此外，需要通過成對的輸入目標樣本使訓練網絡的關聯明確，以實現其在期望任務上的最佳性能;當網絡在沒有明確目標的情況下以無監督方式進行訓練時，為了減少數據收集的成本，網絡學到的知識遷移到期望任務的效果明顯差于具有明確關聯的有監督訓練。

所有這些問題都與基本的泛化問題有關，泛化是指盡管面向新類但仍能表現良好的能力。在第二章中，我們討論了在有監督、無監督和持續學習環境下，可以預期產生良好泛化的條件，包括小模型大小和訓練和測試數據之間的相似性。第三章提出了一種預測模型何時不能泛化到測試樣本的方法，推導出泛化邊界，利用模型大小和與訓練數據的相似度來量化預測的可靠性。第四章介紹了一種聚類方法，該方法學習了如何在語義概念之間近似地分離數據，使用的是非監督目標不使用手動標簽。第五章包含了一種不需要專門訓練數據就可以執行目標定位任務的方法，即通過重新利用顯著性映射。第6章包含了一個持續學習的方法，在這個方法中，模型被迫重新考慮之前的知識與新知識并行，第7章使用了一個動態架構來抑制新學習片段對舊知識的干擾。如果沒有這些泛化問題的解決方案，神經網絡就無法從自然順序的、沒有注釋的現實世界數據中實時有效地學習，這限制了它們的部署選項。因此，泛化是一個具有巨大實際意義的問題，從理論上和從生物學啟發學習的角度來看都很有趣。

//ora.ox.ac.uk/objects/uuid:2d7f8f92-d730-40a5-a47c-0acd0998f0d0

機器學習模型受益于龐大而多樣的訓練數據集。然而，單個組織很難收集足夠多樣化的數據。此外，數據的敏感性和政府法規(如GDPR、HIPPA和CCPA)限制了組織與其他實體共享數據的方式。這迫使擁有敏感數據集的組織開發只在局部最優的模型。聯邦學習(FL)通過實現在不共享敏感數據的情況下開發全局模型，促進了魯棒的機器學習。然而，部署FL系統有兩個廣泛的挑戰:隱私挑戰和訓練/性能相關的挑戰。隱私方面的挑戰涉及到暴露本地客戶數據敏感信息的攻擊。與訓練/性能相關的挑戰包括高溝通成本，跨客戶的數據異構，以及缺乏個性化技術。為了使FL實用、可擴展和有用，必須解決所有這些問題。在這篇論文中，我討論了我為解決這些挑戰而設計的技術，并描述了我為緩解這些挑戰而開發的兩個系統——PrivacyFL(用于FL的隱私保護模擬器)和DynamoFL(用于FL的易于使用的生產級系統)。

在許多現實世界的應用中，多主體決策是一個普遍存在的問題，如自動駕駛、多人視頻游戲和機器人團隊運動。多智能體學習的主要挑戰包括其他智能體行為的不確定性，以及由聯合觀察、行動和策略空間的高維性導致的維數災難。由于未知的智能體意圖和意外的、可能的對抗性行為，這些挑戰在對抗性場景中進一步加劇。本文提出了魯棒和可擴展的多智能體學習方法，目標是高效地構建可以在對抗性場景中魯棒運行的自主智能體。通過觀察智能體的行為準確推斷其意圖的能力是魯棒決策的關鍵。在這種情況下，一個挑戰是對手實際行為的高度不確定性，包括潛在的欺騙，這可能與先驗行為模型有很大的不同。捕捉自我主體和對手之間的交互以及對雙方主體可用信息的推理，對于建模這種欺騙行為至關重要。本文采用博弈論對手建模方法解決了這一意圖識別問題，該方法基于一種新的多樣性驅動的信念空間集合訓練技術，用于實現對欺騙的魯棒性**。為了將集成方法擴展到具有多個智能體的場景，本文提出了一種可擴展的多智能體學習技術，該技術通過稀疏注意力機制促進了接近最優的聯合策略學習。該機制的結果是集中的參數更新，這大大提高了采樣效率**。此外，本文還提出了一種新的隱式集成訓練方法，該方法利用多任務學習和深度生成策略分布，以較低的計算和內存成本獲得更好的魯棒性。將魯棒的意圖識別和可擴展的多智能體學習結合起來，可以實現魯棒的、可擴展的離線策略學習。然而，完全自主的智能體還需要能夠不斷地從新的環境和對等智能體中學習(并適應)。因此，本文還提出了一種安全的適應方法，既能適應新的對手，又能在對抗場景中對任何可能的對手剝削保持低可利用性。本文的貢獻有助于構建自主代理，使其能夠在具有不確定性的競爭多智能體場景下做出魯棒的決策，并通過計算效率學習安全地適應以前未見的對等智能體。

機器學習模型在有偏差的數據集上訓練時是有偏差的。最近提出了許多方法，以減輕被確定為先驗的偏差。然而，在現實世界的應用中，標注偏差不僅耗時而且具有挑戰性。本論文考慮了三種不同的場景，并提出了學習魯棒模型的新算法。這些算法是有效的，因為它們不需要明確的偏差注釋，從而實現了實用的機器學習。

首先，我們引入了一種算法，該算法對從多個環境中收集的數據進行操作，其中偏差特征和標簽之間的相關性可能會有所不同。我們表明，當使用在一個環境上訓練的分類器對來自不同環境的例子進行預測時，它的錯誤是隱藏偏見的信息。

然后，我們利用這些錯誤來創建一組示例，這些示例的插值結果只具有穩定的相關性。我們的算法在四種文本和圖像分類任務上實現了最新的技術。然后我們考慮無法訪問多個環境的情況，這是新任務或資源有限任務的常見場景。我們證明，在現實世界的應用中，相關的任務往往有類似的偏見。在此基礎上，我們提出了一種算法，從資源豐富的源任務中推斷出偏差特征，并將這種知識轉移到目標任務中。與橫跨5個數據集的15個基線相比，我們的方法始終提供顯著的性能提升。

最后，我們研究了只給出一組輸入標簽對的自動偏差檢測。我們的算法學習分割數據集，使得在訓練分割上訓練的分類器不能泛化到測試分割上。性能差距為測量學習特征的偏差程度提供了一個智能體，因此可以用來識別未知偏差。在六個NLP和視覺任務上的實驗表明，我們的方法能夠產生與人類識別的偏差相關的虛假分裂。

深度神經網絡在學習給定數據集上的表示方面取得了巨大的成功。然而，在許多情況下，學習到的表示是依賴于數據集的，不能轉移到具有不同分布的數據集，即使是對于相同的任務。如何處理域漂移是提高模型泛化能力的關鍵。域適應提供了一個潛在的解決方案，允許我們將具有豐富標簽的源域轉移到只有有限標簽或沒有標簽的目標域。

在本論文中，我將介紹在不同場景下學習可遷移表示的許多方法，包括1) 當源域只有有限的標簽，甚至每個類只有一個標簽時，2) 當有多個標記源域時，3) 當有多個未標記的目標域時。這些方法在不同的數據模態(如視覺和語言)中是通用的，并且可以很容易地組合起來解決其他類似的領域轉移設置(如從具有有限標簽的多個源適應)，使模型能夠泛化到源域之外。許多工作將知識從模擬數據轉移到真實數據，以減少對昂貴的手動注釋的需求。最后，介紹了我們在構建LiDAR 點云模擬器方面的開創性工作，進一步實現了LiDAR 點云分割的大量領域適配工作。

//www2.eecs.berkeley.edu/Pubs/TechRpts/2022/EECS-2022-213.html

我們探索機器學習(ML)和因果推理之間的關系。通過相互借鑒，我們專注于改進每一個方面。機器學習已經成功地應用于許多問題，但由于缺乏強有力的理論保證，導致了許多意想不到的失敗。當應用于不同的分布時，在訓練分布上表現良好的模型往往會崩潰;微小的擾動可以“欺騙”訓練好的模型，并極大地改變它的預測;訓練算法中的任意選擇會導致截然不同的模型;等等。另一方面，雖然因果推理方法的發展已經取得了巨大的進步，有很強的理論保證，但現有的方法通常不能應用于實踐，因為它們假設有大量的數據。研究ML和因果推理的交集，我們直接解決了ML中缺乏魯棒性的問題，并提高了因果推理技術的統計效率。

本論文工作背后的動機是改進用于指導決策的預測模型和因果模型的構建方法。自始至終，我們主要關注醫療健康上下文中的決策制定。在ML的因果關系方面，我們使用ML工具和分析技術來開發統計上有效的因果模型，可以指導臨床醫生在兩種治療方法之間選擇。在ML的因果關系方面，我們研究如何使用產生觀測數據的因果機制知識來有效地正則化預測模型，而不引入偏差。在臨床環境中，我們展示了如何使用因果知識來建立穩健和準確的模型來預測傳染性感染的傳播。在非臨床環境中，我們研究了如何使用因果知識來訓練在圖像分類中對分布轉移具有魯棒性的模型。

基于深度學習的半監督學習(SSL)算法在醫學圖像分割方面取得了很有前途的結果，并可以通過利用未標記的數據減輕醫生昂貴的標注。然而，現有文獻中的大多數SSL算法都傾向于通過干擾網絡和/或數據來規約模型訓練。考慮到多/雙任務學習涉及到具有固有的預測擾動的各個級別的信息，我們在這項工作中提出了一個問題:我們能夠顯式地構建任務級別的正則化，而不是隱式地構建用于SSL的網絡和/或數據級別的擾動和轉換嗎?為了回答這個問題，我們首次提出了一個新的雙任務一致性半監督框架。具體地說，我們使用一個雙任務深度網絡來聯合預測一個像素級分割圖和一個幾何感知的目標集表示。通過可微任務轉換層將水平集表示轉換為近似分割映射。同時，我們在水平集導出的分割圖和直接預測的分割圖之間引入了一種雙任務一致性正則化，用于標記和未標記數據。在兩個公共數據集上的大量實驗表明，我們的方法可以通過合并未標記數據極大地提高性能。同時，我們的框架優于最先進的半監督醫學圖像分割方法。代碼可以在//github.com/Luoxd1996/DTC找到。