亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

來自LIONS、EPFL等在CVPR2023給出的《計算機視覺中的深度學習理論進展》，非常值得關注！

過去的十年里，應用深度學習在諸如視覺、自然語言處理以及深度學習理論等任務上都取得了顯著的進展。然而，這兩個研究領域基本上是孤立發展的，這導致了許多錯失的聯系和想法。本教程旨在彌合神經網絡的實證性能與深度學習理論之間的鴻溝。換句話說，我們的目標是使視覺研究者能夠輕松理解最近的深度學習理論發展，并鼓勵他們為實際任務設計新的架構和算法。我們的目標是幫助計算機視覺研究者更好地理解深度學習理論，并將其應用于設計新的理論上有原則的網絡，從而帶來突破性進展。

//dl-theory.github.io/

機器學習是一門相對年輕的科學學科，其目標是通過從過去的經驗中學習來達到實現人類決策能力。它是一個跨學科領域，需要統計學、優化學、工程學和計算創新等多方面的知識。在過去的幾十年里，我們見證了機器學習算法的快速發展，這些算法在實踐中取得了顯著的成功，以至于機器學習已經成為解決現代社會中許多具有挑戰性問題的不可或缺的技術。與此同時，計算機科學、統計學、優化學和工程學的研究人員已經開發了機器學習的數學理論，他們致力于建立嚴格的數學基礎，不僅可以解釋當前的算法，還可以激勵未來基于原則的方法。然而，許多現有的理論成果散布在文獻中。雖然有一些入門書籍和綜述文章試圖涵蓋這些理論成果的一部分，但還沒有任何深入的教科書能夠提供對文獻中開發的標準數學工具的全面介紹。

這本書的目標是系統地介紹當前文獻中常用于分析機器學習算法的主要數學技術。由于空間限制，這本書本身并未詳細解釋各種機器學習算法及其應用背景。因此，假定讀者已經熟悉標準的機器學習算法，如支持向量機、決策樹、提升法、神經網絡等。讀者還應具備微積分、線性代數和概率的基本數學知識，以及足夠的數學成熟度來理解嚴格的理論證明。對于這樣的讀者，本書的主要目的是介紹現代數學技術，這些技術常用于分析這些機器學習算法。所選材料的水平足以為讀者提供充足的技術背景和知識，使他們能夠毫不費力地閱讀理論機器學習的研究論文。

這本書中選擇的主題旨在涵蓋當前研究水平上最有用和常見的數學工具和結果。一些更專業的主題（例如主動學習、半監督學習、損失函數一致性、差分隱私等）沒有包括在內，但是掌握了本書所介紹的技術工具的讀者應該能夠毫無困難地緊跟這些主題的當前研究。這本書可用于研究生級別的理論機器學習課程，并可作為從事理論機器學習研究的研究人員的參考資料。雖然最基本的概念以足夠的深度進行了說明，但一些其他當前感興趣的主題則以較少的細節進行介紹。由于主題眾多，一些介紹相對簡潔，而另一些主題則以一種抽象的方式呈現，目的是統一文獻中出現的不同特例。這種抽象和簡潔的表述可能在初次閱讀時導致一些困難。為了減輕這種困難，包含了許多示例，以提供理論結果的具體解釋和適當的背景。還包括了歷史性的評論，以給出本書所涵蓋主題的原始來源，以及對深入理解感興趣的讀者的額外閱讀材料。每章末尾提供的練習可以幫助讀者檢查他們對主要概念的掌握。大多數練習需要對材料有良好的了解，但不難。此外，一些練習旨在為與主文相關但沒有直接涵蓋的主題提供額外信息。

這本書包含兩個主要部分。第一部分，從第1章到第12章，涵蓋了在獨立同分布（iid）設置中監督學習算法的分析。它從獨立變量之和的標準指數尾部不等式開始，然后用幾章的篇幅發展了均勻收斂的技術工具，這是分析機器學習算法的主要數學機制。使用覆蓋數、VC維和Rademacher復雜度等經典概念建立了關鍵結果。這本書的第一部分還涵蓋了最近出現的穩定性分析技術，它可以處理諸如隨機梯度下降等特定的學習過程。作為這些基本數學工具的應用，也以不同程度的細節展示了對包括核方法、加性模型和神經網絡在內的幾種常用機器學習模型的分析。最后，第一部分以第12章的標準下界分析結束，涵蓋了常用的技術，如Fano的不等式和Assouad的引理。還提供了關于最小二乘回歸和密度估計的示例。這本書的第二部分，從第13章開始，涵蓋了順序統計估計問題的分析，包括在線學習、多臂老虎機問題和強化學習。它從將指數尾部不等式和獨立同分布隨機變量的均勻收斂分析推廣到順序設置中的鞅開始。然后在后續章節中描述在線學習、多臂老虎機和強化學習的特定算法及其分析。提供了上界和下界。這本書包含足夠的材料，可用于為期兩個學期的研究生級課程。

這本書包含足夠的材料，可用于為期兩個學期的研究生級課程，每個部分的內容可以作為一個學期的課程。它也可以用于一個學期的課程，涵蓋書中的部分內容。作者已經根據這本書的內容在香港科技大學教授研究生課程。參加這些課程的學生已經學習了基本的機器學習算法，并希望進一步學習分析這些算法的數學工具。

**最近許多機器學習成功的基礎是在大量非結構化文本上預訓練的自然語言表示。在過去的幾十年里，自然語言表示一直在越來越大的數據集上進行訓練，最近的表示在超過一萬億token上進行訓練。**然而，盡管有如此巨大的規模，現有的表示仍然面臨著長期以來的挑戰，如捕捉罕見的或長尾的知識和適應自然語言反饋。一個關鍵的瓶頸是，當前的表示依賴于在非結構化數據中記憶知識，因此最終受到非結構化數據中存在的知識的限制。非結構化數據具有關于許多實體(人、地點或事物)的有限事實，以及有限的特定于領域的數據，如面向目標的對話。本文利用大量未開發和精心策劃的資源結構數據來改善自然語言表示。結構化數據包括知識圖譜和項集合(例如，播放列表)，它們包含實體之間豐富的關系，例如藝術家的出生地、一首歌的所有版本或同一藝術家的所有歌曲。從非結構化數據中學習這些關系可能很困難，因為它們在非結構化數據中可能不經常出現，甚至可能根本不存在。然而，結構化數據有其局限性:人們使用非結構化的自然語言進行交流，而結構化數據也可能是不完整的和嘈雜的。

//searchworks.stanford.edu/view/14641232 **在非結構化和結構化數據互補知識的激勵下，本文提出三種將結構化數據與非結構化數據相結合以訓練自然語言表示的技術。**我們的技術跨越了機器學習管道的三個主要部分:訓練數據、模型架構和訓練目標。首先，通過TalkTheWalk，我們使用結構化數據為會話推薦系統生成非結構化訓練數據。通過在合成數據上訓練一個會話音樂推薦系統，展示了結構化數據如何幫助提高對標準推薦基線的適應性。Bootleg引入了一種基于transformer的架構，利用結構化數據從非結構化文本中學習命名實體消歧的關鍵推理模式。學習這些推理模式，可以顯著提高在文本中很少或從不出現的實體的消歧能力，討論了將Bootleg應用于一家大型技術公司的生產助理任務的結果。利用TABi，在對比損失函數中添加結構化數據作為監督，以提高魯棒性，同時使用更通用的模型。實驗結果表明，TABi不僅提高了稀有實體檢索，而且在結構化數據不完整和有噪聲的環境中表現強勁。本文中介紹的三種技術——talkthewalk、Bootleg和TABi——證明了將結構化數據與非結構化數據相結合的訓練方法可以實現更魯棒和適應性更強的自然語言表示。

在過去的幾年里，人工智能（AI）的幾乎所有方面--計算機視覺、機器人、自然語言處理、游戲和各種可以想象的應用--都在許多重要方面取得了非凡的進展。與此同時，在人工智能系統中納入常識性知識和實施常識性推理的具體挑戰方面也取得了重大進展，該領域的研究方式也發生了一些巨變。

具體來說，在過去的十年中，有以下幾種變化。

• 常識推理的問題在人工智能研究中變得更加突出。直到十年前，常識推理還是人工智能研究中一個相當小眾的課題。現在它已經成為一個熱門詞匯，許多人工智能科學家，包括其他子領域的專家，正在研究如何將常識性知識納入他們的人工智能系統。特別是DARPA贊助了一個多年的項目MCS（有常識的機器），涉及幾個不同的研究團隊，艾倫人工智能研究所也將常識推理作為其許多研究項目的主要焦點。一些機器學習領域的領軍人物已經把常識作為現在人工智能的主要挑戰之一。

• 常識推理的研究重點已經擴大和轉移。特別是，現在對常識推理在計算機視覺和現實世界機器人中的應用有了相當多的研究；十年前，幾乎沒有。相反，像定性空間推理這樣的領域已經變得不那么突出。

• 認知和發展心理學的思想在人工智能的常識推理研究中被越來越多地考慮，來自這些領域的科學家也越來越多地參與到人工智能系統的開發中。

• 大量的常識資源已經被創建。

• 大量的常識性基準已經被創建。這些都是本文的主題。

訓練集和測試集，同時充當兩者。資源被用來實現或提高性能；基準被用來衡量或比較性能。ConceptNet[126]和CYC[81]是資源，但不是任何直接意義上的基準；Winograd模式挑戰[82]是一個基準，但不打算作為資源，也不適合作為基準使用。

相反，有些形式的進展是小的、不存在的，或者是落后的。

• 近年來，只有為數不多的大學課程是關于這個主題的。Henry Lieberman在麻省理工學院的公開課上講授了一門課程 "交互式應用的常識推理"，Vered Shwartz最近創建了一門課程 "自然語言處理的常識推理"，15年多來沒有專門關于常識的教科書[26, 100]。當前版本的Russell和Norvig[113]的第10章中對常識性知識有廣泛的討論。

• 常識推理的邏輯形式化研討會在1998年召開，然后從2001年到2015年每兩年召開一次，但它已經停止了。據我所知，現在還沒有任何定期會議或期刊專門關注自動化常識的話題。

基準可以為研究設定一個議程；事實上，這正是創建基準的主要目的之一。由于對基準的測量是對我們實際需求的不完美替代，其結果可能是研究被誤導、扭曲和誤解。當然，這在許多領域的測量中往往是真實的；例如，在教育領域，這是很臭的。然而，與人工智能的其他子領域相比，這個問題在常識推理中采取了相當獨特的形式，因為正如下文所討論的，（a）我們對我們實際想要的東西有一個不太明確的想法；（b）基準不可避免地是一種間接的衡量標準。因此，值得仔細分析已經建立的基準，它們達到了什么目的，以及它們的不足之處。

有大量的文獻在討論一般的人工智能基準，特別是計算機視覺和自然語言處理；例如[128, 75, 108, 118] 。因此，本文的主要重點是常識推理所特有的問題，而不是一般人工智能基準所共有的問題。

第1節討論了一般意義上的常識推理的特征。第2節討論了測量人工智能系統的常識推理能力的一些問題。第3節討論了基準的各種可能目標。第4節討論了常識性基準的必要條件，以及現有的基準常常不能滿足這些條件的方式。第5節討論了四個特別棘手的設計問題。第6節討論了用于構建基準的技術。第7節對已經構建的基準進行了總體描述。第8節對12個具體的基準進行了詳細的描述。第9節討論了用戶社區集體創造的、非系統化的、用于探測ChatGPT聊天機器人極限的各種測試實例。第10節討論了現有基準中沒有測試的常識推理領域。第11節為該領域的未來研究提出了一些建議。

我們從調查中得出了兩個主要結論。首先，許多常識性基準都有很大的缺陷，這限制了它們作為衡量標準的作用。在開發常識性基準時，值得投入必要的工作以確保基準具有穩定的高質量。第二，常識性知識和常識性推理的許多重要方面仍然沒有被任何現有的基準所檢驗。因此，我們目前沒有任何可靠的方法來衡量現有的人工智能系統在多大程度上實現了常識。

過去的十年見證了大型機器學習(ML)模型的巨大成功。對海量數據的訪問在這一成功中發揮了關鍵作用。俗話說，“數據是新石油”，它為ML引擎提供動力。因此，在關鍵行業，如IT、金融、生物醫學等，生成、購買或銷售數據的競爭成為日益增長的趨勢。然而，與開發數據驅動的機器學習模型的廣泛研究相比，對數據本身的研究——例如，如何獲取、評估、交換和價格數據——卻很少被探索，事實上，最近才開始。原則性地理解數據本身對于促進數據的創建、填充和使用至關重要。

本教程的目標是讓你了解最近關于數據價值的研究，從統計學和經濟學的角度，如何有效地為數據或信息定價，以及如何從經濟代理人那里收集數據。對于每個方面，我們將描述基本概念、當前狀態或關鍵結果，以及開放問題。

在簡要介紹之后，本教程分為三個部分，分別從該領域的三個關鍵利益相關者的角度進行介紹:數據買家，數據賣家和ML供應商。第一部分站在數據購買者的角度，涵蓋了數據價值建模的統計方法和經濟方法。第二部分從數據賣家的角度出發，討論了最近關于如何給數據定價以及如何通過匯總人群信息來收集數據的工作。最后，討論了ML供應商的市場和競爭。

//www.haifeng-xu.com/DataEcon-aaai23/index.html

在過去的幾年里，深度學習方法在從計算機視覺到語音識別的各個領域的廣泛問題上取得了前所未有的成績。目前的研究主要集中在開發網格結構數據的深度學習方法，而許多重要的應用都需要處理圖結構數據。這些幾何數據在計算機圖形學和三維視覺、傳感器網絡、藥物設計、生物醫學、推薦系統、NLP和帶有知識圖的計算機視覺、web應用等領域越來越重要。本次演講的目的是介紹圖上的卷積神經網絡，以及這些新的學習技術的應用。

人類從端粒到端粒的DNA全序列測定始于30年前，最終于2021年完成。這一成就是眾多專家的巨大努力的結果，他們設計了各種工具，并進行了艱苦的手工檢查，以實現第一個無間隙基因組序列。然而，這種方法很難作為一種組裝不同基因組的通用方法，尤其是在數據量大、組裝速度快的情況下。在這項工作中，我們探索了一種不同的方法來解決基因組組裝任務的中心部分，包括解開一個大的組裝圖，從中需要重建基因組序列。我們的主要動機是減少人類工程啟發式，并使用深度學習開發更通用的重建技術。準確地說，我們引入了一種新的學習框架來訓練圖卷積網絡通過找到正確的路徑來解析組裝圖。訓練使用從解析CHM13人類序列生成的數據集進行監督，并在使用真實人類PacBio HiFi讀取數據構建的組裝圖上進行測試。實驗結果表明，在單個染色體生成的模擬圖形上訓練的模型能夠顯著地解析所有其他染色體。此外，該模型在相同的圖表上優于從最先進的\textit{de novo}匯編器手工制作的啟發式。利用圖網絡重建的染色體在核苷酸水平上更準確，報告的contig數量更少，基因組重建分數更高，NG50/NGA50評估指標更高。

最近機器學習或人工智能的視覺和自然語言處理方面的進展使個人助理或自動駕駛汽車等新技術的發展成為可能，這將機器學習和人工智能帶到了流行文化的前沿。這些算法進步的積累，以及大量數據集和隨時可用的高性能計算的增加，在將機器學習應用到如此廣泛的學科中發揮了重要作用。鑒于化學科學強調結構和功能之間的關系，無論是在生物化學還是在材料化學中，化學家采用機器學習。《化學中的機器學習》關注以下內容，以啟動您對這一高度相關主題的理解:

//axial.acs.org/2021/06/21/machine-learning-in-chemistry-now-and-in-the-future/

與化學科學最相關的主題是重點。

• 關注概念而不是技術細節。綜合引用為更多的技術細節提供了資源。

• 機器學習方法的關鍵細節(不容易，但重要的是理解這些方法的優點和局限性，并確定領域知識最容易應用的地方。

• 熟悉基本的單變量微積分和線性代數將會很有幫助，盡管我們已經提供了重要的一步一步的推導

雖然機器學習的專業知識并不意味著你可以創建自己的圖靈測試證明機器人(就像電影《機械總動員》中那樣)，但它是人工智能的一種形式，是快速大規模識別機會和解決問題的最令人興奮的技術手段之一。任何掌握了機器學習原理的人都將掌握我們科技未來的很大一部分，并在職業領域開辟令人難以置信的新方向，包括欺詐檢測、優化搜索結果、服務實時廣告、信用評分、建立精確而復雜的定價模型等等。

與大多數機器學習書籍不同的是，完全更新的第二版《傻瓜機器學習》并不假設你有多年使用編程語言(如Python)的經驗，但讓你入門，涵蓋了入門的材料，將幫助你建立和運行你需要執行實際任務的構建模型。它揭示了推動機器學習的潛在的——迷人的——數學原理，同時也表明，你不需要是一個數學天才，就可以構建有趣的新工具，并將它們應用到你的工作和學習中。

• 了解人工智能和機器學習的歷史
• 使用Python 3.8和TensorFlow 2。x(及R下載)
• 構建并測試您自己的模型
• 使用最新的數據集，而不是在其他書中找到的陳舊的數據
• 將機器學習應用于實際問題
• 無論你想為大學學習或提高你的業務或職業表現，這本機器學習指南是您最好的機器學習介紹，讓您快速使用這個驚人的和快速發展的技術，影響世界各地的更好的生活。