亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在機器學習領域，我們致力于開發能夠學習的算法，即在沒有被特別編程完成某項任務的情況下，積累關于如何完成任務的知識。在這篇論文中，我們從兩個不同的角度來探討學習：我們可以應用高效機器學習者的領域以及我們可以通過更有效地解決底層優化問題來改進學習的方式。機器學習方法通常非常依賴數據。雖然現代機器學習在解決實際問題方面取得了巨大成功，但這些成功案例主要局限于有大量相關領域數據可用的設置。元學習領域旨在通過創建“學會如何學習”的模型（即能夠在給出相對較少的示例時迅速適應新任務的模型）來開發具有改進的樣本效率的模型。在本論文中，我們關注使用超網絡進行任務適應的攤銷元學習者，這些學習者成本非常有效，只需通過超網絡進行一次前向傳播即可學會如何執行新任務。我們展示了這些攤銷元學習者可以以超出其在小樣本學習設置中的典型用途的新方式來利用。

我們針對攤銷元學習者開發了一種基于集合的中毒攻擊，這種攻擊讓我們能夠定制一組協同作用的輸入，用作適應新任務的訓練數據（即作為支持集）時，這些輸入能夠欺騙系統的學習算法。這樣共同制作的對抗性輸入可以協同操縱分類器，對于具有可微適應機制的攤銷學習者來說，這種輸入尤其容易計算。我們還在可解釋性領域利用攤銷學習者進行“數據集調試”，在此過程中，我們開發了一種稱為Meta-LOO的數據價值或樣本重要性策略，可用于檢測噪聲或分布外數據；或者將一組示例提煉到其最有用的元素。

從我們的第二個角度看，機器學習和優化是密切相關的；實際上，學習可以被表述為以模型參數為目標的訓練損失最小化問題——盡管實際上我們還需要我們的算法具有泛化能力，這不是更廣泛優化的關注點。選擇的優化策略影響了算法學習的速度以及找到的解決方案（即模型參數）的質量。通過研究優化，我們可以改善我們的模型的學習效果和速度。

在這篇論文中，我們采取了雙管齊下的方法來實現這一目標。首先，我們開發了一種在線超梯度基礎的超參數優化策略，通過支持廣泛的超參數同時保持可擴展性，改進了現有的最佳技術。值得注意的是，我們的方法支持優化算法的超參數，如學習率和動量，這是文獻中類似方法不支持的。其次，我們開發了一種適用于深度學習的非凸損失景觀的二階優化策略。我們的算法近似了一個鞍點是排斥而非吸引的鞍點自由版本的Hessian，以一種適用于深度學習問題的方式。

大型神經網絡在大數據集上的訓練已成為機器學習中的主導范式。這些系統依賴于其參數的最大似然點估計，無法表達模型的不確定性。這可能導致過于自信的預測，并且阻礙了深度學習模型在序列決策制定中的應用。本論文開發了可擴展的方法，使神經網絡具備模型不確定性。為了實現這一點，我們不是嘗試對抗深度學習領域的進展，而是借鑒該領域的思想，使概率方法更具可擴展性。具體來說，我們利用線性化的拉普拉斯近似方法，為預訓練的神經網絡配備了其切線線性模型提供的不確定性估計。這將神經網絡中的貝葉斯推斷問題轉變為共軛高斯線性模型中的貝葉斯推斷問題。然而，這種方法的成本仍然是網絡參數數量的立方或者觀測數量與輸出維度的乘積的立方。假設這兩者都不可行。我們通過使用隨機梯度下降（SGD）——深度學習的主力算法——來處理線性模型及其凸對偶：高斯過程中的后驗采樣來解決這種不可行性。通過這種方法，我們回到了線性化的神經網絡，發現線性化的拉普拉斯近似與現代深度學習實踐——即隨機優化、提前停止和歸一化層——在用于超參數學習時存在多個不兼容性。我們解決了這些問題，并構建了一個基于樣本的EM算法，用于線性化神經網絡的可擴展超參數學習。

我們將上述方法應用于使用ResNet50（2500萬參數）在Imagenet（120萬觀測和1000個輸出維度）上進行線性化神經網絡推斷。據我們所知，這是首次在這種真實世界規模的設置中進行貝葉斯推斷，而沒有假設網絡權重間某種程度的獨立性。此外，我們還將我們的方法應用于使用深度圖像先驗網絡獲得的3D斷層重建的不確定性估計，這也是首次。我們最后通過使用線性化的深度圖像先驗來適應性地選擇掃描角度序列，這些角度序列能夠在使用更少的輻射劑量的同時，產生更高質量的斷層重建圖像。

過去幾十年中，基于數據學習的程序迅速取代了基于人工設計規則的程序，成為計算機自動化的主導范式。我們在計算機視覺（Dosovitskiy等，2021年）、逆問題（Arridge等，2019年）、自然語言處理（Wang等，2024年）、信息檢索（Zhu等，2024年）、文本與圖像生成（Jiang等，2024年；Saharia等，2022年）、系統控制（Hu等，2022年）、科學發現（Collaboration等，2021年；Graczykowski等，2022年）以及計算機編程（Chen等，2021年）等領域看到了這一點。這些進步幾乎都是通過大規模深度學習（Henighan等，2020年）實現的。確實，有足夠的數據、足夠靈活的神經網絡和足夠的計算能力來訓練人工智能（AI），數據驅動的決策方法將主宰所有傳統計算機程序。

在深度學習革命之前，最優從數據學習的規則已經在貝葉斯概率框架中被規范化（Cox，1946年；Jaynes和Justice，1986年；Jeffreys，1939年；Stigler，1986年）。在這個框架下，我們將我們的知識或無知表示為概率分布。當我們觀察到新數據時，所獲得的信息被用來將這些先驗分布更新為熵較低的后驗分布（Gull，1988年；Skilling，1989年）。反過來，這些將作為未來推理的先驗。盡管概率方法被廣泛用于構建原始神經網絡系統（Hinton和van Camp，1993年；Salakhutdinov和Hinton，2009年），現代神經網絡方法依賴于將我們的信念表達為點估計而非概率分布。明確建模的不確定性的缺失使現代深度學習系統在遇到訓練數據覆蓋不足的情況時容易出現錯誤行為（Goddard，2023年；Weiser和Schweber，2023年）。此外，對于需要基于不確定性探索的決策任務，概率方法仍然是最先進的，例如自動化化學設計（Gómez-Bombarelli等，2018年）。

從貝葉斯的角度看，神經網絡可以被視為一個不妥協的模型選擇，對要學習的函數類幾乎沒有限制。個別權重的效果是不可解釋的，這阻止了為神經網絡參數設計有信息量的貝葉斯先驗。然而，這可能正是允許我們使用神經網絡以無法被人類可讀規則列表簡潔總結的方式解決任務的特征。例如，如何巧妙地維持對話或駕駛汽車。有了這個想法，解釋貝葉斯推斷和神經網絡之間看似不兼容的一種直觀方式是將前者視為通過每一個與數據一致的程度對一組先驗假設進行評分。現代神經網絡的問題在于，需要評分的假設太多了。特別是當與大數據集結合使用時，評分變得非常昂貴，這些數據集很可能被神經網絡參數空間的相對較小區域很好地擬合。換句話說，雖然最大似然學習很好地適應了現代大網絡和大數據的環境，但貝葉斯推斷卻做不到。 本論文旨在彌合貝葉斯方法和當代深度學習之間的差距。這一努力由Mackay（1992a）開創，他將貝葉斯推斷和線性模型中的超參數選擇（這也歸功于Gull（1989））擴展到神經網絡設置中，通過拉普拉斯近似，命名其方法類為證據框架。在過去的30年中，機器學習的方法發生了很大變化；所解決問題的規模和部署模型的規模增長了數個數量級，使得無法直接應用MacKay的方法，并為我提供了撰寫論文的題材。事實上，與Mackay（1992a）類似，本論文首先對線性模型和高斯過程領域做出貢獻，使用拉普拉斯近似使這些方法適用于神經網絡中的近似推斷，并最終將開發的貝葉斯神經網絡應用于高效數據獲取。因此，這篇論文或許最好被描述為對證據框架的現代解讀，使其可擴展到現代問題規模并適應現代深度學習架構。為了實現我們的目標，我們不會試圖從頭開始重建深度學習，使其固有地使用貝葉斯推斷，例如通過對我們不理解其效果的權重施加精巧手工制作的先驗。我認為這是徒勞的。相反，我們將利用在深度學習領域取得的巨大進步，并借鑒該領域的思想使貝葉斯方法更具可擴展性。例如，在第4章中，我們將使用隨機梯度下降——訓練神經網絡的事實標準方法——使線性模型和高斯過程中的貝葉斯推斷更具可擴展性。此外，在處理神經網絡時，我們將專注于事后推斷設置，在其中我們利用近似貝葉斯方法，為預訓練的神經網絡獲得不確定性估計。這將確保論文的貢獻與快速發展的深度學習領域保持兼容。

從人本主義的角度建立人工智能系統的迫切性日益增加，因為從個性化推薦系統到語言和圖像生成模型的大規模機器學習系統每天都在與人互動。在這篇論文中，我們提出了一條從人本主義的角度建立這些系統的指導方針。我們的指南包含三個步驟：（i）識別學習任務中所關注的人的角色和他們的核心特性；（ii）以一種有用且可靠的方式對這些特性進行建模；和（iii）以原則性的方式將這些模型納入學習算法的設計中。我們將這一指南應用于兩個應用：個性化推薦系統和決策支持系統。對于推薦系統，我們按照指南（i）關注用戶不斷變化的偏好，（ii）將它們模型化為動態系統，和（iii）開發具有可證明保證的高效在線學習算法，與具有不同偏好動態的用戶互動。對于決策支持系統，我們（i）選擇決策者的風險偏好作為關注的核心特性，（ii）將它們模型化到系統的目標函數中，和（iii）為在多樣風險偏好下學習模型提供具有統計保證的一般程序。我們最后討論了以人為中心的機器學習的未來，以及這一領域中跨學科研究的角色。

視覺語言模型（VLMs）最近已經展示出了強大的效能，作為可以解析關于視覺內容的自然查詢并生成類似人類輸出的視覺助手。在這項工作中，我們探討了這些模型基于感知信息展示人類式推理的能力。為了解決一個關鍵問題，即這些推理能力在多大程度上是完全一致和基于實際的，我們還測量了這些模型的推理一致性。我們通過提出基于思維鏈（CoT）的一致性度量來實現這一點。然而，這樣的評估需要一個包括高級推理和詳細推理鏈的基準，這是昂貴的。我們通過提出一個LLM-人在回路中的管道來解決這一挑戰，這顯著降低了成本，同時確保了高質量數據集的生成。基于這個管道和現有的粗粒度注釋數據集，我們構建了CURE基準，以測量VLMs的零樣本推理性能和一致性。我們評估了現有的最先進的VLMs，并發現即使在表現最佳的模型（BLIP-2）的情況下，也無法展示出強大的視覺推理能力和一致性，這表明需要大力努力，使VLMs能夠像人類一樣系統地和一致地進行視覺推理。作為早期步驟，我們提出了一個旨在提高VLMs的推理性能和一致性的兩階段培訓框架。第一階段涉及使用由LLMs自動生成的逐步推理樣本對VLMs進行監督微調。在第二階段中，我們進一步通過LLMs提供的反饋來增強訓練過程，以生成高度一致和基于實際的推理鏈。我們經驗性地突出了我們框架的有效性，并顯示了在推理性能和一致性方面的相對改進為4%。

//www.zhuanzhi.ai/paper/7973da2bc3cb888154e7d2c0ed548c64

盡管在深度學習方面已經取得了巨大的實踐進展，但我們對是什么使深度學習工作得很好以及為什么這樣做缺乏清晰的理論理解。在本文中，我們采用“自然科學”的方法來構建深度學習的理論。我們首先確定在跨越各種不同背景的實際深度網絡中出現的各種經驗屬性。然后，我們討論了這些實證發現可以如何用來通知理論。具體而言，我們證明:(1)與監督學習相比，經過自監督學習訓練的先進深度網絡盡管過度參數化，但在特定條件下仍能實現有限的泛化差距。(2)具有相似性能和架構的模型通常會收斂到相似的內部表示，即使它們的訓練方法有很大的不同(例如:監督學習和自監督學習)(3)插值分類器服從一種分布泛化形式——它們從訓練分布中收斂到一種條件采樣器類型。(4)深度網絡的數據擴展特性對訓練數據集的結構和噪聲水平的變化具有魯棒性。

//dash.harvard.edu/handle/1/37372168

我們的發現強調，盡管缺乏最壞情況的保證，深度網絡隱含地以可預測的、結構化的方式運行，從而為未來的理論分析奠定了基礎。

深度學習算法，比如那些用于圖像識別的算法，在自動化醫療診斷和指導臨床決策方面大有前途。與此同時，醫學深度學習系統的開發和臨床轉化還面臨著一些重要的挑戰。首先，開發大型且注釋良好的數據集成本很高。其次，醫學圖像判讀有必要識別病灶的微妙關鍵特征，盡管在人群中生理外觀有很大差異。第三，由于域轉移問題，將深度學習算法的性能從一種設置轉移到另一種設置具有挑戰性。第四，深度學習系統的輸出需要是可解釋的，以便臨床醫生能夠理解系統。本文研究了如何應對這些挑戰，從小型數據集構建可泛化和可解釋的深度學習模型。本文研究了將從非醫療源ImageNet學習到的先驗知識遷移到醫療應用對模型性能的影響，特別是當數據集大小不夠時。與直接從ImageNet轉移學習不同，GrayNet被提議作為一個橋梁數據集，在從ImageNet學習到的通用圖像特征上創建一個預先訓練的豐富醫學圖像表示的模型。分析了GrayNet的優點，包括總體性能和跨不同成像掃描儀的泛化，并與使用小數據從頭開始訓練和從ImageNet轉移學習進行了比較。受放射科醫生如何解釋診斷圖像的啟發，還介紹了特定領域的技術，包括窗口設置優化和切片插值，并展示了進一步增強模型性能的方法。引入了一個新的可視化模塊，能夠在訓練過程中生成一個圖像圖譜，并將其顯示為測試過程中所做的模型預測的基礎，以證明模型預測的合理性，并使臨床醫生更容易理解它們。本論文通過三種不同的應用展示了深度學習在醫學圖像判讀方面的潛力，包括人工智能輔助骨齡評估，以提高人類的準確性和可變性，發現以前未識別的模式，在手部x光片中進行骨性別分類，以及處理原始計算機斷層掃描數據，而不需要圖像重建。本論文的貢獻有望促進各種醫療應用中可推廣和可解釋的深度學習算法的發展，從而加速人工智能系統進入臨床實踐。

強化學習(RL)為數據驅動決策提供了一個通用框架。然而，正是這種通用性使得這種方法適用于廣泛的問題，也導致了眾所周知的效率低下。在這篇論文中，我們考慮了有趣的決策類所共有的不同屬性，這些屬性可以用來設計計算效率和數據效率都很高的學習算法。具體來說，這項工作研究了決策問題的各個方面的低秩結構和經典確定性規劃的效果稀疏性，以及基于端到端模型的方法所依賴的性能。我們首先展示了后繼表示中的低秩結構如何使高效在線學習算法的設計成為可能。類似地，我們展示了如何在Bellman算子中找到相同的結構，我們使用Bellman算子來制定最小二乘時間差分學習算法的有效變體。我們進一步探索狀態特征中的低秩結構，以學習完全允許在低維空間中進行高效規劃的有效轉換模型。然后，我們進一步了解基于模型的端到端方法，以便更好地理解它們的屬性。我們通過約束優化和隱式微分的視角來研究這類方法。通過隱式視角，我們得到了這些方法的屬性，這些屬性使我們能夠確定它們執行良好的條件。在本文的最后，探索了如何利用經典規劃問題的效果的稀疏性來定義一般的領域無關啟發式方法，通過使用基于潛在的獎勵塑造和提升函數近似，可以用來大大加快領域相關啟發式方法的學習。

//dspace.mit.edu/handle/1721.1/144562

深度學習在經驗上非常有影響力，但在理論理解上滯后。神經網絡在結構和訓練算法上都比傳統的機器學習模型復雜得多，所以傳統的理論直覺可能不適用。本文旨在從理論上更好地理解深度學習中的泛化問題。在論文的第一部分，我們研究了所有數據都有標簽的監督設置下的泛化。我們的主要工具是泛化界:通過推導和研究泛化界，我們可以深入了解深度學習中影響泛化的各種因素。

首先，我們比較了正則化神經網絡和神經正切核(NTK)的統計特性。通過建立神經網絡常見的正則化訓練損失與基于輸出邊際的泛化界之間的聯系，我們證明了正則化神經網絡比NTK解具有更好的泛化效果。其次，我們基于邊緣的新概念——全層邊緣，推導出神經網絡的新泛化邊界。與傳統的基于規范的泛化測度相比，這些邊界更依賴于數據，更具有深度，并突出了數據依賴的Lipschitzness在泛化中的重要作用。我們以經驗證明，這些邊界對于激勵新的訓練目標和理解和解密現有的正則化策略是有用的。

在論文的第二部分，我們把我們的焦點轉向涉及未標記數據的設置。在這些情況下，很難證明為什么許多算法可以工作，盡管它們有廣泛的經驗成功。

首先，我們研究了視覺設置，并提出了一個理論框架來理解最近的半監督學習和領域適應的自訓練算法。通過利用自然圖像的現實結構屬性，我們表明，在未標記數據上的自訓練導致可證明的準確性增益。此外，我們的理論框架和相關假設可以用來表明，自監督對比學習在線性探針評價下獲得了可證明的良好特征。最后，我們研究了為什么預訓練語言模型可以幫助處理NLP設置中的下游任務。我們通過潛在的潛在變量生成模型來考慮預訓練和下游任務相關的設置。我們表明，當這個生成模型是HMM或記憶增強HMM時，預訓練允許解決下游任務的可證明保證。

//searchworks.stanford.edu/view/14230987

深度學習徹底改變了機器學習和人工智能，在幾個標準基準上取得了超人的表現。眾所周知，深度學習模型訓練效率低;它們通過多次處理數以百萬計的訓練數據來學習，并且需要強大的計算資源來同時并行處理大量數據，而不是順序處理。深度學習模型也存在非預期失效模式;他們可能會被愚弄，做出錯誤的預測。

在本文中，我們研究了提高深度學習模型訓練效率和魯棒性的方法。在學習視覺語義嵌入的背景下，我們發現優先學習更多的信息訓練數據可以提高收斂速度和提高測試數據的泛化性能。我們形式化了一個簡單的技巧，稱為硬負挖掘，作為學習目標函數的修改，沒有計算開銷。接下來，我們在深度學習的通用優化方法中尋求優化速度的改進。我們展示了對訓練數據采樣的冗余感知修改提高了訓練速度，并開發了一種檢測訓練信號多樣性的有效方法，即梯度聚類。最后，我們研究了深度學習中的對抗魯棒性，以及在不使用額外數據訓練的情況下實現最大對抗魯棒性的方法。對于線性模型，我們證明保證最大的魯棒性實現只有通過適當的選擇優化器，正則化，或架構。

//arxiv.org/pdf/2112.01423.pdf

本博士論文包含了對統計因果模型領域的幾個貢獻。統計因果模型是嵌入因果假設的統計模型，允許對受外部操縱(干預)影響的隨機系統的行為進行推斷和推理。本文在因果效應估計、因果結構學習和分布魯棒(非分布廣義)預測方法等方面進行了深入的研究。我們提出了新的和一致的線性和非線性因果效應估計工具變量設置，采用數據依賴的均方預測誤差正則化。我們提出的估計量顯示，在某些情況下，均方誤差比標準和最先進的估計量都有所改善。我們表明，最近對分布穩健預測方法的研究與計量經濟學中經過充分研究的估計量有關。由此證明了一般k類估計具有分布魯棒性。此外，我們提出了一個關于干預誘發分布的分布穩健性的一般框架。在這個框架中，我們推導了分布魯棒預測方法可識別的充分條件，并給出了一些不可能的結果，證明了這些條件的必要性。提出了一種新的結構學習方法，適用于以有向樹為因果圖的加性噪聲模型。我們證明了消失可辨識性設置中的一致性，并提供了一種方法來檢驗具有漸近家族誤差控制的子結構假設，該方法在選擇后仍然有效。最后，我們提出了學習非線性時間序列模型總結圖的啟發式思想。