生成式AI系統的快速發展和崛起正在重塑各行各業以及人類的創造力。雖然生成式AI提供了新的機會,但它也可能放大對個人和社會帶來的現有和新出現的傷害。例如,我們已經看到了聊天機器人對用戶提示提供不恰當和有害的反饋,生成式AI深度偽造的廣泛傳播,以及合成兒童性虐待材料的創建。平衡生成式AI的潛在利益和風險是至關重要的。
這份立場聲明檢查了生成式AI的不斷演變的景觀,提供了生成式AI生命周期的概述、其使用和誤用的例子,以及在線安全風險和機會的考慮。聲明還提出了一系列監管挑戰和方法。最后一部分強調了新興的良好實踐和新的“安全設計”措施,為行業提供有意義的、可操作的和可實現的指導,以最小化現有和新出現的生成式AI傷害。
**機器學習在過去十年取得了重大進展。其最成功的范式是深度神經網絡,由連續表示層組成,其參數通過梯度下降在大規模數據集上進行優化。**深度神經網絡在許多任務上取得了卓越的性能,如物體識別、語言理解和自動駕駛。然而,他們仍然在推理任務中掙扎,這些任務通常需要操作符號并將多個步驟組合起來,例如,求解數學方程或編寫計算機程序。在這篇論文中,我們的目標是彌合這一差距,并教機器以精確、系統、可解釋和魯棒的方式進行推理,以應對現實環境中的模糊性。**本文采用神經符號方法,結合機器學習和符號推理的互補優勢。符號推理具有精確性和系統性。**但它已被限制在可嚴格形式化的領域。相比之下,主要的機器學習方法很靈活,但眾所周知難以解釋,需要大量數據,并且無法在訓練分布之外進行泛化。集成兩種方法的優勢對于構建具有精確和系統泛化能力的靈活推理機至關重要。具體而言,本文從兩個角度研究了神經符號推理。首先,將機器學習應用于與符號推理相關的任務,如自動定理證明(第2章)。其次,將符號推理啟發的歸納偏差引入機器學習模型,以提高其可解釋性、泛化性和數據效率(第3章和第4章)。結果強調了(1)神經符號模型架構,(2)在適當的抽象水平上進行推理,以及(3)明確的、推理的組合表示,如符號證明。 //dataspace.princeton.edu/handle/88435/dsp015q47rr958
位置采集和無線通信技術的進步使得時空(ST)數據的可用性更加廣泛。深度神經網絡(DNNs)已成功地應用于各種問題,如計算機視覺、語音識別、自然語言理解。與這些領域不同,ST數據具有獨特的空間屬性(即地理層次和距離)和時間屬性(即緊密程度、時期和趨勢)。同時獲得所有這些ST特性是非常具有挑戰性的。
近年來,人們對計算機視覺中的具身人工智能研究越來越感興趣。在研究界已經舉辦了多個嵌入式AI研討會和挑戰,包括ICLR 2022年物理世界的廣義策略學習、IROS 2020年的OCRTOC:開放云機器人表組織挑戰、CVPR 2019年的棲息地:嵌入式agent挑戰和研討會,以及CVPR 2020年和2021年的嵌入式AI研討會。計算機視覺現在是具身人工智能研究的一個重要模塊,但我們仍然缺少一個基本的教程來指導研究人員,尤其是那些有視覺和機器學習背景的研究人員,開始在這個領域。
特別是,在物理模擬和渲染技術的最新進展的推動下,虛擬環境中的具身AI已經取得了許多令人印象深刻的進展。這些平臺使得許多視覺機器人問題的研究成為可能,而這些問題在現實世界中是無法進行大規模研究的。更快的速度、更容易的并行化、更簡單的數據收集和更低的成本的本質允許模擬中的嵌入式AI研究建立更大的社區,具有不同的研究人員背景、改進的代碼共享和標準基準。但是,虛擬環境也有其自身的問題,例如模擬參數和域間隙,在構建和使用它們時值得注意。
我們的教程旨在為計算機視覺研究人員提供入門指南,以研究環境中具身代理的視覺問題,以及突出使用這些環境時遇到的常見問題。本教程將側重于跨平臺共享的原則,并教授使用多個模擬環境的概念。
//ai-workshops.github.io/building-and-working-in-environments-for-embodied-ai-cvpr-2022/
在過去的十年里,人們對人工智能和機器學習的興趣有了相當大的增長。從最廣泛的意義上說,這些領域旨在“學習一些有用的東西”,了解生物體所處的環境。如何處理收集到的信息導致了算法的發展——如何處理高維數據和處理不確定性。在機器學習和相關領域的早期研究階段,類似的技術在相對孤立的研究社區中被發現。雖然不是所有的技術都有概率論的自然描述,但許多都有,它是圖模型的框架(圖和概率論的結合),使從統計物理、統計、機器學習和信息理論的想法的理解和轉移。在這種程度上,現在有理由期待機器學習研究人員熟悉統計建模技術的基礎知識。這本書集中在信息處理和機器學習的概率方面。當然,沒有人說這種方法是正確的,也沒有人說這是唯一有用的方法。事實上,有人可能會反駁說,這是沒有必要的,因為“生物有機體不使用概率論”。無論情況是否如此,不可否認的是,圖模型和概率框架幫助機器學習領域出現了新算法和模型的爆炸式增長。我們還應該清楚,貝葉斯觀點并不是描述機器學習和信息處理的唯一方法。貝葉斯和概率技術在需要考慮不確定性的領域中發揮了自己的作用。
//www0.cs.ucl.ac.uk/staff/d.barber/brml/
本書結構
本書第一部分的目的之一是鼓勵計算機科學專業的學生進入這一領域。許多現代學生面臨的一個特別困難是有限的正規微積分和線性代數訓練,這意味著連續和高維分布的細節可能會讓他們離開。在以概率作為推理系統的一種形式開始時,我們希望向讀者展示他們可能更熟悉的邏輯推理和動態規劃的想法如何在概率環境中有自然的相似之處。特別是,計算機科學的學生熟悉的概念,算法為核心。然而,在機器學習中更常見的做法是將模型視為核心,而如何實現則是次要的。從這個角度來看,理解如何將一個數學模型轉換成一段計算機代碼是核心。
第二部分介紹了理解連續分布所需的統計背景,以及如何從概率框架來看待學習。第三部分討論機器學習的主題。當然,當一些讀者看到他們最喜歡的統計話題被列在機器學習下面時,他們會感到驚訝。統計學和機器學習之間的一個不同觀點是,我們最終希望構建什么樣的系統(能夠完成“人類/生物信息處理任務的機器),而不是某些技術。因此,我認為這本書的這一部分對機器學習者來說是有用的。第四部分討論了明確考慮時間的動態模型。特別是卡爾曼濾波器被視為圖模型的一種形式,這有助于強調模型是什么,而不是像工程文獻中更傳統的那樣把它作為一個“過濾器”。第五部分簡要介紹了近似推理技術,包括隨機(蒙特卡羅)和確定性(變分)技術。
在現實世界中,越來越多的客戶在使用人工智能服務時將隱私視為一個問題,尤其是當客戶內容包含敏感數據時。最近的研究表明,像GPT-2這樣的大型語言模型可以記憶內容,這些內容可以被對手提取出來。當模型在客戶數據上接受訓練時,這在部署場景中帶來了很高的隱私風險。由于其數學上的嚴密性,差分隱私被廣泛認為是隱私保護的黃金標準。為了緩解機器學習中對隱私的擔憂,許多研究工作都在研究具有不同隱私保障的機器學習。現在是時候澄清不同隱私下學習的挑戰和機會了。在本教程中,我們首先描述了機器學習模型中潛在的隱私風險,并介紹了差分隱私的背景,然后介紹了在機器學習中保障差分隱私的流行方法。在接下來的教程中,我們強調學習和隱私之間的相互作用。在第二部分中,我們展示了如何利用學習屬性來提高隱私學習的效用,特別是利用數據點之間的相關性和深度學習模型的低秩屬性來解決這些挑戰的最新進展。在第三部分,我們提出了研究的另一個方向,即利用差分隱私的工具來解決經典的泛化問題,并給出了利用差分隱私的思想來抵抗機器學習攻擊的具體場景。
終身機器學習(LL)是一種先進的機器學習(ML)范式,它不斷學習,積累過去學到的知識,并使用/適應它來幫助未來的學習和問題解決。在這個過程中,學習者變得越來越有知識,學習能力也越來越強。這種持續不斷的學習能力是人類智力的特征之一。然而,目前占主導地位的ML范式是孤立學習的:給定一個訓練數據集,它只在數據集上運行ML算法來生成模型。它不試圖保留所學的知識,并在以后的學習中使用。雖然這種主要基于數據驅動優化的孤立ML范式已經非常成功,但它需要大量的訓練示例,并且只適用于封閉環境中定義明確的狹窄任務。相比之下,我們人類學習有效地與幾個例子,在動態和開放的世界self-supervised方式或環境因為我們的學習也非常知識:知識學習在過去幫助我們學習新事物沒有數據或努力和適應新的/看不見的情況下。這種自我至上(或自我意識)的學習也使我們能夠在工作中,在與他人的互動中,在沒有外部監督的情況下,與現實世界的環境進行學習。LL的目標是實現所有這些能力。諸如聊天機器人、無人駕駛汽車或任何與人類/物理環境交互的人工智能系統都需要這些功能,因為它們需要應對動態和開放的環境,這讓它們別無選擇,只能不斷學習新東西,以便更好地工作。如果沒有LL能力,AI系統就不能被認為是真正智能的,也就是說,LL是智能或AGI(人工一般智能)所必需的。(見我的終身學習研究頁面)。
人工智能的一個基本任務是學習。深度神經網絡已經被證明可以完美地處理所有的學習范式,即有監督學習、無監督學習和強化學習。然而,傳統的深度學習方法利用云計算設施,不能很好地擴展到計算資源低的自治代理。即使在云計算中,它們也受到計算和內存的限制,不能用來為假設有數十億神經元的網絡的代理建立適當的大型物理世界模型。這些問題在過去幾年中通過可擴展深度學習的新興主題得到了解決,該主題在訓練之前和整個過程中利用了神經網絡中的靜態和自適應稀疏連接。本教程將分兩部分介紹這些研究方向,重點是理論進展、實際應用和實踐經驗。
//sites.google.com/view/ijcai2020-sparse-training/home
前言: 目標:本課程旨在讓學生對人工智能的基本概念和實踐有一個堅實的(通常是有點理論性的)基礎。這門課程在第一學期主要涉及符號化的人工智能,有時也被稱為優秀的老式人工智能(GofAI),并在第二學期提供統計方法的基礎。事實上,一個完整的基于機器學習的AI應該有專業課程,并且需要比我們在這門課程中更多的數學基礎。
課程內容:
目標: 使學生對人工智能領域的基本概念和實踐有一個堅實的基礎。該課程將基于Russell/Norvig的書《人工智能》:現代方法[RN09]
Artificial Intelligence I(第一部分): 介紹人工智能作為一個研究領域,討論作為人工智能統一概念范式的理性代理,并涵蓋問題解決、搜索、約束傳播、邏輯、知識表示和規劃。
Artificial Intelligence II(第二部分): 更傾向于讓學生接觸基于統計的人工智能的基礎知識:我們從不確定性下的推理開始,用貝葉斯網絡建立基礎,并將其擴展到理性決策理論。在此基礎上,我們介紹了機器學習的基礎知識。