亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

醫療健康是人工智能最令人興奮的應用領域之一，在從醫療圖像分析到基于電子健康記錄的預測和精確醫療等領域都具有變革的潛力。本課程將深入探討人工智能在醫療健康領域的最新進展，特別關注解決醫療健康問題的深度學習方法。我們將從神經網絡的基礎開始，然后在各種醫療保健數據(包括圖像、文本、多模態和時間序列數據)的背景下研究前沿的深度學習模型。在課程的后半部分，我們將討論在醫療健康等社會應用中集成AI的開放挑戰的高級主題，包括可解釋性、魯棒性、隱私和公平性。本課程旨在為來自不同背景的學生提供醫療健康領域人工智能前沿研究的概念理解和實踐基礎。

目錄內容：

使用人工智能和NLP的語言技術在我們的日常生活中發揮作用，從語法糾錯到機器翻譯，再到在線回答問題。作為我們日常活動的一部分，我們使用的語言的復雜性給處理非結構化文本的計算機帶來了獨特的挑戰，因為它們缺乏真實的文字交互上下文或意圖。在本課程中，我們將理解和分析解決這些挑戰的經典和最新的計算模型。本課程將圍繞以下主題展開，每個主題為期5周。

• 建模與語言特性
• 語言處理的應用
• 計算社會科學

我們將深入地討論每一個主題，通過講座討論主題的核心方面，并利用每個主題的關鍵論文進行討論加以補充。學生將以每周閱讀和報告研究報告的方式來參與討論。

斯坦福大學 CS224N 深度學習自然語言處理 2022 冬季課程即將開課！

自然語言處理（NLP）或者計算語言學是信息時代最重要的技術之一。從網絡搜索、廣告、電子郵件到客戶服務、語言翻譯、虛擬代理、醫療報告等，NLP 的應用幾乎無處不在。近年來，深度學習（或神經網絡）在許多 NLP 任務上達到了非常高的性能，使用單個端到端神經模型就能完成許多任務，不再需要特定于任務的特征工程。

而提及入門自然語言處理，想必大家都非常熟悉斯坦福大學的公開課 CS224N，它與計算機視覺方面的課程 CS231n 堪稱絕配。CS224N 是一門關于自然語言處理的專項課程，非常系統地介紹自然語言處理任務等相關知識。

斯坦福 NLP Group 的 CS224N 深度學習自然語言處理 2022 冬季課程將于當地時間 1 月 4 日開課，授課講師為斯坦福大學教授 Christopher Manning 以及他的三年級博士生 Anna Goldie。

課程鏈接：//web.stanford.edu/class/cs224n/

該課程全面介紹了 NLP 深度學習的前沿研究。通過講座、作業和結課項目，學生將學到設計、實現和理解各自的神經網絡模型等必要技能。本年度的 CS224n 課程依然使用 PyTorch 授課。

預備知識

熟練使用 Python：所有課程都需要用到 Python（具體來說，使用 NumPy 和 PyTorch）。如果需要重溫一下 Python 的內容或者熟悉 NumPy，學生可以學習第一周的 Python 復習部分。

大學微積分和線性代數：該課程的學生應該掌握（多變量）導數、矩陣 / 向量符號和運算的知識。

概率論與統計的基本知識：該課程的學生應該了解概率、高斯分布、均值、標準差等知識。

機器學習的基礎知識：模型構建過程涉及設計代價函數（cost function）、求導數并通過梯度下降進行優化。如果你已經掌握了機器學習或深度學習的基礎知識，這門課程的學習將變得容易很多。

課程安排

2022 年 CS224N 冬季課程將于 1 月 4 日正式開課，并于 3 月 14 日結束。課程 PPT 將于每節課之前提供，課堂筆記則通常在課程結束后幾天上傳。

在 1 月份的課程安排中，學生將學習到詞向量、Gensim 詞向量示例、 詞窗口分類、Python 知識回顧、反向傳播和神經網絡、依存句法分析、PyTorch 知識回顧、梯度消失、Fancy 循環神經網絡和 Seq2Seq 等。

1 月部分授課內容。

在 2 月份的課程安排中，學生將學習到Transformer 和預訓練、問答系統、自然語言生成 和大型語言模型、卷積神經網絡（ConvNet）、基于樹形結構的 RNN、深度學習中選區解析和語言結構扮演的角色、語言模型中的知識集成等。

在 3 月份的課程安排中，學生將學習到 NLP 和深度學習的未來發展等。

講師介紹

Christopher Manning 于 1989 年在澳大利亞國立大學取得三個學士學位（數學、計算機和語言學），并于 1994 年獲得斯坦福大學語言學博士學位。他曾先后在卡內基梅隆大學、悉尼大學等任教，1999 年回到母校斯坦福，就職于計算機科學和語言學系，是斯坦福自然語言處理組（Stanford NLP Group）的創始成員及負責人。

Manning 的研究目標是以智能的方式實現人類語言的處理、理解及生成，研究領域包括樹形 RNN 、情感分析、基于神經網絡的依存句法分析、神經機器翻譯和深度語言理解等，是 NLP 領域的深度學習開拓者。他是國際計算機學會 (ACM)、國際人工智協會（AAAI）和國際計算語言學會（ACL）等國際權威學術組織的 Fellow，曾獲 ACL、EMNLP、COLING、CHI 等國際頂會最佳論文獎，并著有《統計自然語言處理基礎》、《信息檢索導論》等自然語言處理著名教材。

圖片

隨著 BERT、DALL-E、GPT-3 等大規模預訓練模型的出現，AI 社區正在經歷一場范式轉變。從計算機視覺到自然語言處理，從機器人學到推理、搜索，這些大模型已經無處不在，而且還在繼續「野蠻生長」。

這種野蠻生長是大模型的有效性帶來的必然結果。在 BERT 出現（2018 年）之前，語言模型的自監督學習本質上只是 NLP 的一個子領域，與其他 NLP 子領域并行發展。但在 BERT 橫掃 11 項 NLP 任務之后，這種格局被打破了。2019 年之后，使用自監督學習構造語言模型儼然已經成為一種基礎操作，因為使用 BERT 已經成為一種慣例。這標志著大模型時代的開始。

這一時代的重要標志是「同質化」。如今，NLP 領域幾乎所有的 SOTA 模型都是少數幾個基于 Transformer 的大模型進化而來。而且，這種趨勢正在向圖像、語音、蛋白質序列預測、強化學習等多個領域蔓延。整個 AI 社區似乎出現了一種大一統的趨勢。

毋庸置疑，這種同質化是有好處的，大模型的任何一點改進就可以迅速覆蓋整個社區。但同時，它也帶來了一些隱患，因為大模型的缺陷也會被所有下游模型所繼承。

大模型的強大能力來自巨大的參數空間的結合，這也導致它們的可解釋性非常差，其能力和缺陷都存在不確定性。在這種情況下，盲目將整個研究范式向大模型轉變真的可取嗎？

最近，斯坦福大學的 Percy Liang、Rishi Bommasani（Percy Liang 的學生） 、李飛飛等 100 多位研究者聯名發布了一篇系統探討此問題的論文。在論文中，他們給這種大模型取了一個名字——「基礎模型（foundation model）」，并系統探討了基礎模型的機遇與風險。「基礎」代表至關重要，但并不完備。

論文鏈接：//www.zhuanzhi.ai/paper/517a2584ebd7b4fb30e94d5d96a15e5e

論文正文分為四個部分，分別闡述了基礎模型的能力、應用、相關技術和社會影響，其具體內容如下：

• 能力：語言、視覺、機器人學、推理、交互、理解等；
• 應用：醫療、法律、教育等；
• 技術：建模、訓練、適應、評估、系統、數據、安全與隱私、穩健性、理論、可解釋性等；
• 社會影響：不平等、濫用、環境、法規、經濟、倫理等。

這篇論文的問世將為負責任地發展、部署基礎模型提供一些借鑒。

此外，斯坦福大學的師生、研究人員還成立了一個「基礎模型研究中心（CRFM）」，這是斯坦福 HAI 的一個新的跨學科項目。8 月 23 日到 24 日，這兩個組織將發起一場關于基礎模型的 workshop，討論基礎模型的機遇、挑戰、限制和社會影響。

workshop 鏈接：

以下是論文各個章節的介紹。

第二章 基礎模型的能力

基礎模型擁有的能力有時是在學習過程中出現的，這些能力往往能為下游應用提供動力。關于基礎模型能力的推理影響了具有基本能力 AI 系統的創建。該論文的第二章就主要探討了基礎模型的能力及影響，具體包括以下幾部分內容：

2.1 語言

該論文首先以自然語言的屬性展開，并分析了 NLP 領域基礎模型的影響。然后又進一步探討了語言變體和多語種的問題，最后論文這部分闡述了 NLP 基礎模型從人類語言中獲得的靈感。

人類和基礎模型的語言獲取。

2.2 視覺

視覺是生物體理解其生存環境的主要模式之一。視覺能夠為智能體帶來穩定廣泛的密集信號收集能力。論文的 2.2 部分首先概述了計算機視覺領域的關鍵能力和方法，其中闡明了計算機視覺領域的幾大關鍵任務，包括：

語義理解任務；

含有幾何、運動等元素的三維任務；

多模態集成任務，例如視覺問答等。

然后 2.2 部分還探討了當下計算機視覺領域面臨的研究挑戰，主要面向幾個重點應用領域：

• 面向醫療保健和家庭環境的外圍（ ambient ）智能領域；
• 移動和消費領域；
• 具體化的、可互動的智能體中領域。

通過大規模利用自監督，視覺基礎模型具備一種潛力，即提取原始多模態感知信息并轉化為視覺知識，可有效支持傳統感知任務，并能夠在具有挑戰性的高階技能方面取得新進展。

視覺的基礎模型目前處于早期階段，但已在傳統計算機視覺任務取得了一些改進（特別是在泛化方面），并預計近期的進展將延續這一趨勢。然而，從長遠來看，基礎模型在減少對顯式注釋的依賴方面的潛力可能會帶來智能體基本認知能力（例如，常識推理）的進步。同樣該論文也探討了用于下游應用的基礎模型的潛在影響，以及推動領域發展必須面臨的核心挑戰。

2.3 機器人

機器人研究領域的一個長期挑戰是讓機器人具備處理無數現實難題的能力。該論文的 2.3 部分討論了基礎模型如何助力產生「通用型」機器人，并從機遇和挑戰風險多個方面展開。

從機遇的角度講，機器人技術的基礎模型應該采用多種形式，因為機器人技術中的問題往往并不符合「一刀切」的模式，不同的問題有不同的輸入輸出特征。

從挑戰與風險上看，一方面，機器人研究必須收集足夠大小和多樣性的數據集；另一方面，機器人領域需要合理機制來確保能夠在現實世界中安全地部署學習行為。

機器人基礎模型需要跨多種環境和行為的海量數據集。

2.4 推理和搜索

推理和搜索一直是人工智能領域的中心主題，許多推理問題構成了無限的搜索空間。近來一些應用和研究表明：人們對應用基于學習的方法來解決推理問題的興趣激增。論文的這部分從當前面臨的任務、基礎模型扮演的角色、AI 推理領域未來面臨的挑戰幾部分展開。

一個幾何證明的搜索樹例子。

2.5 交互

隨著基礎模型開發的成熟，模型的容量將不斷擴大，它們的多功能性最終可能導致我們與 AI 交互的方式發生根本性變化。論文的這部分從兩個重要利益相關者的角度討論這些變化帶來的機會，這兩個利益相關者是指

• 將與基礎模型交互以設計用戶體驗的應用程序開發人員；
• 使用由基礎模型提供支持的人工智能應用程序或受其影響的終端用戶。

2.6 關于理解的原理

基礎模型可以了解訓練數據的哪些方面？答案對于基礎模型的整體能力非常有用，將為智能系統做出重要貢獻。該論文主要關注自然語言領域，因為語言的使用是人類智慧的標志，也是人類體驗的核心。

第三章 基礎模型的應用

基礎模型的能力表明了它們具備改變各行各業的潛力，論文的第三章重點從三個學科領域闡述了人工智能的應用，包括醫療保健、法律和教育，這些都是人類社會的基礎。這一章節每一部分都探討了基礎模型為該領域帶來的挑戰和機會。

3.1 醫療保健和生物醫學

醫療保健和生物醫學是社會中一個巨大的應用領域。

在醫療保健領域，基礎模型能夠為患者改善醫療服務，提高照顧患者的效率和準確性。同時，基礎模型能夠減輕醫護服務的負擔，例如幫助查找相關案例。此外，手術機器人也是未來基礎模型的一個研究方向。

在生物醫學領域，科研發現需要大量的人力資源、實驗時間和財務費用。基礎模型可以促進生物醫學研究，例如藥物的發現和疾病的理解，最終轉化為改進的醫療保健解決方案。使用現有數據和公開研究促進和加速生物醫學發展是一個緊迫的問題。

醫療保健和生物醫學的基礎模型。

此外，未來醫療保健和生物醫學領域還面臨一些挑戰，包括多模態處理、可解釋性、法律和道德規范。

3.2 法律

在美國，尋求律師的法律援助可能是非常昂貴的，同時律師也是一個高壓職業。

基礎模型未來在法律領域的應用可能包括：利用機器學習輔助基于文本的法律任務。值得注意的是，法律的嚴謹性對 AI 模型提出了必然的高要求，包括數據標注成本非常高，通常只有律師具備創建高質量標簽的專業知識，并且各個案件的細微差別也是非常重要，不容忽視的。

3.3 教育

基礎模型已經開始用于提升一些教育領域特定任務的性能，論文的 3.3 部分從兩個具體任務展開了討論：（1）理解學生對概念的誤解；（2）提高學生對教學指導的理解能力。

教育領域的基礎模型應該在多個數據源上進行訓練以學得教育所必需的能力。

了解了各種主題和不同的教學技術的基礎模型可以以通用方式應用于一系列任務和目標，例如了解學生、協助教師、生成教育內容等。

此外，該論文對教育研究中基礎模型涉及的倫理問題進行了闡述。盡管人工智能助力教育的未來令人興奮，但在 AI 落地教育領域時必須要考慮隱私與安全、所需教師人數減少的影響、學生使用基礎模型工具的效率等重要問題，論文中也針對這幾個方面展開了討論。

第四章 基礎模型相關技術

本章主要從技術的角度進行分析。基礎模型的技術基礎產生了決定其潛力的能力，如第二章介紹的。為了了解在開發中使用的技術，我們需要考慮數據、模型架構、系統、模型訓練以及模型的適應性這一系列因素，在研究中需要將模型和理論相結合。為了更好地理解模型，本章還討論了如何評估和解釋模型，以及模型的魯棒性、安全性和隱私性的重要性，此外，該研究還討論了 AI 安全領域，以確保這些模型在社會上進行部署時具有可靠性。

建模

本小節研究者討論和確認了基礎模型必不可少的 5 個屬性：可跨越的表現力（spanning expressivity）、可擴展性、多模態、內存容量以及可組合性。有了這些屬性，就可以有效地提取周圍的大量信息，從而成功地解決下游任務。例如表現力可以靈活地捕獲和吸收真實世界的信息；可擴展性可以熟練地處理大量的高維數據；多模態可以處理來自不同源和領域的內容；內存容量可以有效地存儲和檢索已獲得的知識；可組合性可以促進對新任務、設置和環境泛化。

基礎模型的五個關鍵屬性。

訓練

訓練目標是描述如何將模型體系架構和大量廣泛數據轉換為基礎模型的數學函數。該研究首先列舉了訓練方法需要實現的一些目標，可以考慮以下因素：利用廣泛的數據、域的完整性、可擴展性和計算效率。此外還描述了當前方法中重要的設計權衡，當前模型所探索的三個重要的設計選擇，最后概述了基礎模型訓練在未來道路上需要前進的目標。

適應性

雖然基礎模型提供了一個強大的通用引擎來處理多模態信息，但在某些應用之前，適應性是一個基礎模型必要的。本小節描述了適應性的現有方法，以及決定特定適應性程序是否適合特定環境的幾個因素。此外，該研究還描述了基礎模型適應性的多種示例，最后，該研究提出了一個長遠的目標，即未來研究的基礎模型適應性。

評估

對于基礎模型來說，模型評估是至關重要的。本小節首先介紹了幾種評估：內在評估，包括從廣泛的外在評估中引入內在評估、對內在性質進行直接評估；外在評估與適應性，包括對特定任務而調整基礎模型所花費的資源進行核算。此外本小節還介紹了評估設計等內容。

系統

計算機系統是開發基礎模型的最大瓶頸之一，它們通常需要大量計算資源來訓練，此外，這些模型可能會隨著時間的推移而變得更大，訓練難度將會升級。在本節中，研究者討論了在開發和生產大規模基礎模型時，計算機系統面臨的挑戰。主要從以下幾個方面進行介紹：通過協同設計提高性能、自動優化、基礎模型的產品化等。

除了上述介紹的內容之外，在第四章中還介紹了：數據方面，討論了基礎模型數據生命周期的管理，并概述了關于數據的四個需求，包括大規模數據管理、支持異構數據源、數據治理和數據質量監控；安全和隱私方面，討論了單點故障、安全瓶頸等內容。

第五章 基礎模型的社會影響

本章主要介紹了基礎模型的社會影響，包括模型本身的構建和它們在開發應用程序中的作用，需要研究者仔細檢查。具體而言，該研究認為基礎模型具有廣泛的社會影響，但同時也非常難以理解：基礎模型不是直接部署的中間資源，而是作為一個基礎，來進一步的進行適應性。因此，用傳統方法對技術的社會影響進行推理可能很復雜：對于具有明確目的的系統來說，社會影響相對來說更容易（但仍然很難）理解。本章中，該研究討論并開始理解基礎模型社會影響的復雜性。本章討論了不公平帶來的危害和濫用的危害；基礎模型對經濟和環境的影響；基礎模型在法律和道德方面影響。

不平等與平等：本小節主要描述了內在偏差，即間接但普遍地影響了下游基礎模型的屬性，此外還包括外部損害，即在特定下游應用環境中產生的損害等內容。

濫用：考慮基礎模型的濫用——人們按照預期使用基礎模型的情況（例如，生成語言），但是這種功能被有意地利用來對人群或個人造成傷害。本小節概述了基礎模型如何使新的濫用形式成為可能，并介紹了支持濫用檢測和緩解的新工具。

圖中顯示了基礎模型對操控性和有害內容生成的影響，以及對檢測的影響。

環境：本小節主要介紹了碳影響應該得到緩解、在使用基礎模型之前應該評估成本和收益、應系統地報告基礎模型對碳以及能源影響等內容。

用于部署基礎模型的成本效益分析的可視化。

合法性：本小節描述了美國法律如何影響、約束或促進基礎模型的創建和使用。我們注意到，圍繞算法工具的法律前景仍然具有不確定性。本文強調與（1）模型訓練、（2）模型預測的可靠性（3）模型輸出保護相關的問題。

此外，本章還介紹了經濟，基礎模型有潛力通過提高生產力和創新來大幅提高整體生活水平，這些模型可以用來替代人類勞動，增強人類能力，或者幫助研究者發現新的任務和機會。本節最后還介紹了道德規范相關內容。

這門研究生水平的課程將專注于NLP框架、算法和方法的高級研究，包括語言建模、文本分類、機器翻譯和問題回答等最先進的技術。本課程將包括多種編程作業、論文閱讀、期中和期末專題。在這門課之前，學生應該至少學習過一門自然語言處理/機器學習的入門課程，并且熟悉Python編程。

本課程包括相關主題的介紹性講座。這些講座是和COS 484聯合的，請看這里的課程安排。

//princeton-nlp.github.io/cos484/cos584.html

Date Topics Fri (2/5) Language Models Fri (2/12) Text classification Fri (2/19) Word embeddings Fri (2/26) Feedforward Neural Networks Fri (3/5) Conditional Random Fields Fri (3/12) No meeting (midterm) Fri (3/19) Recurrent neural networks and neural language models Fri (3/26) Dependency parsing Fri (4/2) Machine translation Fri (4/9) Transformers Fri (4/16) Pre-training Fri (4/23) Language Grounding

【導讀】李飛飛老師的CS231N課程《卷積神經網絡視覺識別》被奉為經典，最新2021季3月30號開始了！眾多想學習深度卷積神經網絡的同學，可不能錯過！

地址： //cs231n.stanford.edu/index.html

計算機視覺已經在我們的社會中無處不在，隨著搜索、圖像理解、apps、地圖、醫學、無人機和自動駕駛汽車等領域的應用，計算機視覺已經在我們的社會中無處不在。

這些應用程序的核心是視覺識別任務，如圖像分類和對象檢測。神經網絡方法的最新發展極大地提高了這些最先進的視覺識別系統的性能。本課程深入探討了基于神經網絡的計算機視覺深度學習方法的細節。

在本課程中，學生將學習如何實現、訓練和調試自己的神經網絡，并對計算機視覺的前沿研究有詳細的了解。我們將涵蓋學習算法，神經網絡架構，和實際工程技巧的訓練和微調網絡的視覺識別任務。

醫療保健是人工智能最令人興奮的應用領域之一，在醫學圖像分析、基于電子健康記錄的預測和精確醫療等領域具有變革潛力。本課程將深入探討醫療領域人工智能的最新進展，特別關注醫療問題的深度學習方法。我們將從神經網絡基礎開始，然后在各種醫療保健數據(包括圖像、文本、多模態和時間序列數據)的背景下研究前沿的深度學習模型。在本課程的后半部分，我們將討論在社會應用(如醫療保健)中整合人工智能所面臨的開放挑戰，包括可解釋性、健壯性、隱私性和公平性。本課程旨在為來自不同背景的學生提供醫療領域人工智能前沿研究的概念理解和實踐基礎。

//web.stanford.edu/class/biods220/index.html

【導讀】陳丹琦博士是自然語言處理研究員領域的新星大神，她從斯坦福畢業后，到普林斯頓大學任助理教授。她將深度學習用于一系列自然語言處理重要問題，幫助機器獲取知識、更好地回答問題。她開設了COS 598C (Winter 2020)課程，深度學習自然語言處理， Deep Learning for Natural Language Processing，共有21講，講解最新NLP進展，非常值得follow。

本課程旨在介紹自然語言處理的前沿深度學習方法。本課程的主題包括詞的嵌入/上下文化的詞的嵌入、預訓練和微調、機器翻譯、問題回答、摘要、信息提取、語義分析和對話系統等。我們對每個主題進行了深入的討論，并討論了最近關于每個主題的重要論文，包括背景、方法、評價、目前的局限性和未來的發展方向。學生應定期閱讀和提交研究論文，并完成一篇期末論文。

學習目標:

本課程旨在為您在自然語言處理方面的前沿研究做準備。我們將討論在NLP的每個子領域中最有影響力的想法，最先進的技術和我們今天面臨的主要問題。

練習你的研究技能，包括閱讀研究論文，進行文獻調查，口頭和書面報告，以及提供建設性的反饋。