來源| 麻省理工學院
編輯| 專知翻譯整理
如何幫助人類理解機器人？
麻省理工學院和哈佛大學的研究人員建議，將認知科學和教育心理學的理論應用于人機交互領域，可以幫助人類為其機器人合作者建立更準確的心理模型，從而提高合作工作空間的性能并提高安全性。
HRI2022：Revisiting Human-Robot Teaching and Learning Through the Lens of Human Concept Learning Theory(從人類概念學習的角度重新審視人機教學)
研究人機交互的科學家往往專注于從機器人的角度理解人類的意圖，因此機器人學會更有效地與人合作。但人機交互是雙向的，人類也需要學習機器人的行為方式。
由于數十年的認知科學和教育心理學研究，科學家們對人類如何學習新概念有了很好的掌握。因此，麻省理工學院和哈佛大學的研究人員合作，將完善的人類概念學習理論應用于人機交互的挑戰。
他們檢查了過去的研究，重點是人類試圖教機器人新行為。研究人員發現了這些研究可以將兩種互補的認知科學理論中的元素納入他們的方法的機會。他們使用這些作品中的例子來展示這些理論如何幫助人類更快、更準確、更靈活地形成機器人的概念模型，從而提高他們對機器人行為的理解。
為機器人建立更準確的心智模型的人類通常是更好的合作者，當人類和機器人在制造和醫療保健等高風險情況下一起工作時，這一點尤其重要，Serena Booth 說，她是互動機器人小組的研究生。計算機科學與人工智能實驗室（CSAIL），該論文的主要作者。
“無論我們是否試圖幫助人們建立機器人的概念模型，他們無論如何都會建立它們。這些概念模型可能是錯誤的。這會使人們處于嚴重的危險之中。重要的是，我們盡我們所能為那個人提供他們可以建立的最佳心理模型，”Booth說。
Booth 和她的導師 Julie Shah 與哈佛大學的研究人員合作，共同撰寫了這篇論文。Julie Shah是麻省理工學院航空航天學教授，也是交互式機器人小組的負責人。Elena Glassman是哈佛大學John A. Paulson工程與應用科學學院的計算機科學助理教授，在學習理論和人機交互方面具有專業知識，是這個項目的主要顧問。哈佛大學的合著者還包括研究生Sanjana Sharma和研究助理Sarah Chung。這項研究在IEEE人機交互會議上發表。
01 理論方法
研究人員使用兩個關鍵理論分析了 35 篇關于人機教學的研究論文。“類比遷移理論”表明人類通過類比學習。當一個人與一個新的領域或概念進行交互時，他們會隱含地尋找他們可以用來理解新實體的熟悉的東西。
什么是人類概念學習？ 人類概念學習的認知理論解釋了人類如何理解復雜的高維現象并對未揭示的事實和未來做出預測——因此，這些理論可用于幫助人類了解機器人在世界上的行為方式。我們著眼于兩個互補的理論，類比轉移理論和學習的變異理論，以告知界面如何最好地調解人類學習機器人行為的實踐。
變異理論支持人類將核心知識與表面或附帶細節區分開來，類比遷移理論支持人類將知識轉移到新概念或新現象。變異理論規定了方差和不變性的有序序列，以幫助人類將核心行為與表面或附帶的細節區分開來，而類比轉移理論則通過將新的和未知的概念與熟悉的實體對齊來規定知識轉移。這些理論共同為人機交互界面和算法提供了設計指導，即關于機器人行為的選擇、順序和呈現。
“學習的變異理論”認為，策略變異可以揭示一個人可能難以辨別的概念。它表明人類在與新概念交互時會經歷一個四步過程：重復、對比、概括和變化。
Booth說，雖然許多研究論文包含了一種理論的部分要素，但這很可能是偶然的。如果研究人員在工作開始時就參考了這些理論，他們可能能夠設計出更有效的實驗。
例如，在教人類與機器人互動時，研究人員經常向人們展示機器人執行相同任務的許多示例。但是為了讓人們建立一個準確的機器人心智模型，變異理論表明他們需要看到機器人在不同環境中執行任務的一系列示例，并且他們還需要看到它犯錯。
“這在人機交互文獻中非常罕見，因為它違反直覺，但人們還需要看到負面例子來理解機器人不是什么，”Booth說。
這些認知科學理論也可以改進物理機器人設計。Booth 解釋說，如果機械臂類似于人類手臂，但運動方式與人類運動不同，那么人們將難以建立機器人的準確心智模型。正如類比轉移理論所建議的那樣，由于人們將他們所知道的——人類手臂——映射到機器人手臂，如果運動不匹配，人們可能會感到困惑并且難以學習與機器人互動。
02 增強解釋
Booth和她的合作者還研究了人類概念學習理論如何改進解釋，以幫助人們建立對不熟悉的新機器人的信任。
“在可解釋性方面，我們有一個非常大的確認偏差問題。通常沒有關于解釋是什么以及人們應該如何使用它的標準。作為研究人員，我們經常設計一種解釋方法，它對我們來說看起來不錯，然后我們將其發布，”她說。
相反，他們建議研究人員使用人類概念學習的理論來思考人們將如何使用解釋，這些解釋通常由機器人生成，以清楚地傳達他們用來做出決策的政策。Booth說，通過提供幫助用戶理解解釋方法的含義、何時使用以及不適用的地方的課程，他們將對機器人的行為有更深入的理解。
根據他們的分析，他們就如何改進人機教學研究提出了一些建議。一方面，他們建議研究人員通過指導人們在學習使用新機器人時進行適當的比較來結合類比轉移理論。Booth說，提供指導可以確保人們使用合適的類比，這樣他們就不會對機器人的行為感到驚訝或困惑。
他們還建議，包括機器人行為的正面和負面例子，并讓用戶了解機器人“策略”中參數的戰略變化如何影響其行為，最終跨越戰略變化的環境，可以幫助人類更好更快地學習。機器人的策略是一個數學函數，它為機器人可以采取的每個動作分配概率。
“多年來，我們一直在進行用戶研究，但我們一直根據自己的直覺從臀部拍攝，以了解什么對向人類展示有幫助或無用。下一步將更加嚴格地將這項工作建立在人類認知理論的基礎上，”Glassman說。
既然使用認知科學理論的初步文獻綜述已經完成，Booth計劃通過重建她研究的一些實驗來測試他們的建議，看看這些理論是否真的能改善人類學習。
?這項工作得到了美國國家科學基金會的部分支持。
03 成果在【ACM/IEEE International Conference on Human-Robot Interaction (HRI) 2022】發表
標題
Revisiting Human-Robot Teaching and Learning Through the Lens of Human Concept Learning
作者 Serena Booth，Sanjana Sharma，Sarah Chung，Julie Shah，Elena L. Glassman
摘要 在與機器人交互時，人類會形成概念模型（質量參差不齊）來捕捉機器人的行為方式。這些概念模型只是通過觀察機器人或與機器人互動而形成的，無論有沒有有意識的思考。一些方法選擇和呈現機器人行為以改進人類概念模型的形成；然而，這些方法和更廣泛的 HRI 尚未參考人類概念學習的認知理論。這些經過驗證的理論提供了具體的設計指導，以支持人類更快、更準確、更靈活地開發概念模型。具體而言，類比遷移理論和學習變異理論已成功應用于其他領域，并為 HRI 社區提供了關于機器人行為選擇和呈現的新見解。運用這些理論，我們回顧并分析了 35 部先前在人機教學中的作品，并評估這些作品如何融入或省略這些理論的設計含義。從這篇綜述中，我們發現了算法和界面的新機會，可以幫助人類更輕松地學習機器人行為的概念模型，這反過來又可以幫助人類成為更有效的機器人教師和合作者。
付費5元查看完整內容
相關內容
來源|麻省理工學院新聞辦公室 編輯|專知翻譯整理
?研究人員發現一些計算機視覺系統處理圖像的方式與人類通過眼角看到的方式之間存在相似之處。
也許計算機視覺和人類視覺有更多的共同點？
麻省理工學院的研究表明，某種類型的強大計算機視覺模型感知視覺表示的方式類似于人類使用周邊視覺的方式。這些模型被稱為對抗性魯棒模型，旨在克服添加到圖像數據中的細微噪聲。
研究人員發現，這些模型學習轉換圖像的方式類似于人類外圍處理中涉及的某些元素。但由于機器沒有視覺外圍，計算機視覺模型的工作很少集中在外圍處理上，資深作者、大腦、思維和機器中心的博士后 Arturo Deza 說。
“這似乎是周邊視覺，以及正在進行的紋理表示，已被證明對人類視覺非常有用。所以，我們的想法是，也許對機器也有一些用途，”核心作者、電氣工程和計算機科學系的研究生 Anne Harrington 說。
結果表明，設計一個包含某種形式的外圍處理的機器學習模型可以使模型能夠自動學習對圖像數據中的一些細微操作具有魯棒性的視覺表示。Deza 補充說，這項工作還可以幫助闡明人類外圍處理的目標，這些目標仍然沒有得到很好的理解。
該研究成果在國際頂會（ICLR 2022）上發表（如下）。
【Finding Biological Plausibility for Adversarially Robust Features via Metameric Tasks】：最近的工作表明，深度神經網絡 (DNN) 訓練數據集中的特征約束驅動了對抗性噪聲的魯棒性（Ilyas 等人，2019 年）。通過圖像處理，這種對抗性魯棒網絡學習的表示也被證明比非魯棒網絡在人類感知上更一致（Santurkar 等人，2019 年，Engstrom 等人，2019 年）。盡管看起來更接近人類視覺感知，但尚不清楚穩健 DNN 表示中的約束是否與人類視覺中發現的生物約束相匹配。人類視覺似乎依賴于外圍基于紋理/摘要的統計表示，這已被證明可以解釋諸如擁擠 (Balas et al., 2009) 和視覺搜索任務 (Rosenholtz et al., 2012) 等現象。為了了解對抗性魯棒優化/表示與人類視覺相比如何，我們使用類似于 Freeman & Simoncelli, 2011, Wallis et al., 2016 和 Deza et al., 2019 的 metamer 任務進行了心理物理學實驗，我們評估了人類的表現如何觀察者可以區分為匹配對抗性魯棒表示而合成的圖像與非魯棒表示和周邊視覺的紋理合成模型（Texforms a la Long et al., 2018）。我們發現，隨著刺激在外圍呈現得更遠，魯棒表示和紋理模型圖像的可辨別性降低到接近機會的表現。此外，魯棒和紋理模型圖像的性能在參與者中顯示出相似的趨勢，而在非魯棒表示上的性能在整個視野中變化很小。這些結果共同表明（1）對抗性魯棒表示比非魯棒表示更好地捕獲外圍計算，以及（2）魯棒表示捕獲外圍計算，類似于當前最先進的紋理外圍視覺模型。更廣泛地說，我們的研究結果支持這樣一種觀點，即局部紋理摘要統計表示可能會推動人類對對抗性擾動的不變性，并且在 DNN 中加入此類表示可能會產生有用的屬性，如對抗性魯棒性。這些結果共同表明（1）對抗性魯棒表示比非魯棒表示更好地捕獲外圍計算，以及（2）魯棒表示捕獲外圍計算，類似于當前最先進的紋理外圍視覺模型。更廣泛地說，我們的研究結果支持這樣一種觀點，即局部紋理摘要統計表示可能會推動人類對對抗性擾動的不變性，并且在 DNN 中加入此類表示可能會產生有用的屬性，如對抗性魯棒性。這些結果共同表明（1）對抗性魯棒表示比非魯棒表示更好地捕獲外圍計算，以及（2）魯棒表示捕獲外圍計算，類似于當前最先進的紋理外圍視覺模型。更廣泛地說，我們的研究結果支持這樣一種觀點，即局部紋理摘要統計表示可能會推動人類對對抗性擾動的不變性，并且在 DNN 中加入此類表示可能會產生有用的屬性，如對抗性魯棒性。
【雙重視覺】
人類和計算機視覺系統都具有所謂的中心凹視覺，用于檢查高度詳細的物體。人類還擁有周邊視覺，用于組織廣闊的空間場景。Deza 說，典型的計算機視覺方法試圖模擬中央凹視覺——這是機器識別物體的方式——并且傾向于忽略周邊視覺。
但是中央凹計算機視覺系統容易受到攻擊者添加到圖像數據中的對抗性噪聲的影響。在對抗性攻擊中，惡意代理會巧妙地修改圖像，因此每個像素都發生了非常細微的變化——人類不會注意到差異，但噪音足以欺騙機器。例如，一張圖像對人類來說可能看起來像一輛汽車，但如果它受到對抗性噪聲的影響，計算機視覺模型可能會自信地將其誤分類為蛋糕，這可能會對自動駕駛汽車產生嚴重影響。
為了克服這個漏洞，研究人員進行了所謂的對抗性訓練，他們創建了經過對抗性噪聲操縱的圖像，將它們輸入神經網絡，然后通過重新標記數據并重新訓練模型來糾正其錯誤。
“僅僅進行額外的重新標記和訓練過程似乎就與人類處理產生了很多感知上的一致性，”Deza 說。
他和 Harrington 想知道這些經過對抗訓練的網絡是否健壯，因為它們編碼的對象表示類似于人類周邊視覺。因此，他們設計了一系列心理物理人體實驗來檢驗他們的假設。
【檢測時間】
他們從一組圖像開始，并使用三種不同的計算機視覺模型從噪聲中合成這些圖像的表示：一個“正常”機器學習模型，一個經過訓練具有對抗魯棒性的模型，一個專門設計用于解釋了人類外圍處理的某些方面，稱為 Texforms。
該團隊在一系列實驗中使用了這些生成的圖像，參與者被要求區分原始圖像和每個模型合成的表示。一些實驗還讓人類區分來自相同模型的不同對隨機合成圖像。
參與者將他們的眼睛集中在屏幕的中心，而圖像則在屏幕的遠端，在他們周圍的不同位置閃爍。在一個實驗中，參與者必須在一系列圖像中識別出奇怪的圖像，這些圖像一次只閃爍幾毫秒，而在另一個實驗中，他們必須匹配在他們的中央凹處呈現的圖像，兩個候選模板圖像放置在他們的外圍。
在實驗中，參與者將他們的眼睛集中在屏幕的中心，而圖像則在屏幕的另一邊閃爍，在他們周圍的不同位置，就像這些動畫 gif 一樣。在一項實驗中，參與者必須在一系列圖像中識別出奇怪的圖像，這些圖像一次只閃爍幾毫秒。由研究人員提供。
在這個實驗中，研究人員讓人類將中心模板與兩個外圍模板之一進行匹配，而他們的眼睛不會從屏幕中心移開。由研究人員提供。
當合成圖像顯示在遠處時，參與者在很大程度上無法區分對抗性魯棒模型或 Texform 模型的原始圖像。標準機器學習模型并非如此。
然而，最引人注目的結果可能是人類所犯的錯誤模式（作為刺激在外圍的位置的函數）在所有使用來自 Texform 模型的刺激的實驗條件和對抗性穩健的模型。這些結果表明，對抗性穩健模型確實捕捉到了人類外圍處理的某些方面，Deza 解釋說。
研究人員還計算了特定的機器學習實驗和圖像質量評估指標，以研究每個模型合成的圖像之間的相似性。他們發現對抗性魯棒模型和 Texforms 模型生成的模型最相似，這表明這些模型計算相似的圖像轉換。
“我們正在闡明人類和機器如何犯同樣類型的錯誤，以及為什么會犯這種錯誤，”Deza 說。為什么會發生對抗性魯棒性？是否存在我們尚未在大腦中發現的機器對抗魯棒性的生物學等效物？”
Deza希望這些結果能激發該領域的更多工作，并鼓勵計算機視覺研究人員考慮構建更多受生物啟發的模型。
這些結果可用于設計具有某種模擬視覺外圍的計算機視覺系統，可以使其對對抗性噪聲具有自動魯棒性。這項工作還可以為機器的開發提供信息，這些機器能夠通過使用人類外圍處理的某些方面來創建更準確的視覺表示。
“我們甚至可以通過嘗試從人工神經網絡中獲取某些屬性來了解人類視覺，”Harrington 補充道。
以前的工作已經展示了如何隔離圖像的“穩健”部分，在這些圖像上的訓練模型使它們不太容易受到對抗性失敗的影響。達姆施塔特工業大學心理學研究所和認知科學中心的感知教授托馬斯沃利斯解釋說，這些強大的圖像看起來像是真實圖像的加擾版本。
“為什么這些強大的圖像看起來像它們的樣子？Harrington 和 Deza 使用仔細的人類行為實驗來表明，人們看到這些圖像與外圍原始照片之間差異的能力在質量上與從受生物啟發的人類外圍信息處理模型生成的圖像相似，”Wallis 說，誰沒有參與這項研究。“Harrington 和 Deza 提出，學習忽略外圍一些視覺輸入變化的相同機制可能是為什么穩健的圖像看起來像它們的樣子，以及為什么對穩健的圖像進行訓練會降低對抗敏感性。這個有趣的假設值得進一步研究，并且可以代表生物和機器智能研究之間協同作用的另一個例子。”
這項工作得到了麻省理工學院大腦、思想和機器中心和洛克希德馬丁公司的部分支持。
付費5元查看完整內容
//deepmind.com/learning-resources/-introduction-reinforcement-learning-david-silver
這個經典的10部分課程，由強化學習(RL)的驅David Silver教授，雖然錄制于2015年，但仍然是任何想要學習RL基礎的同學所必需的資源。
強化學習已經成為現代機器學習中一項強大的技術，它允許系統通過反復試驗進行學習。它已成功應用于許多領域，包括AlphaZero等系統，學會了掌握國際象棋、圍棋和Shogi游戲。
這門課程由DeepMind首席科學家、倫敦大學學院教授、AlphaZero的共同創始人David Silver教授共同向學生們介紹RL中使用的主要方法和技術。學生們還會發現薩頓和巴托的經典著作《強化學習:入門》(Reinforcement Learning: an Introduction)是一個很有幫助的書籍。
經典書《強化學習導論》
強化學習教父 Richard Sutton 的經典教材《Reinforcement Learning：An Introduction》第二版公布啦。本書分為三大部分，共十七章，機器之心對其簡介和框架做了扼要介紹，并附上了全書目錄、課程代碼與資料。下載《強化學習》PDF 請點擊文末「閱讀原文」。
原書籍地址：
當我們思考學習的本質時，首先映入腦海的想法很可能是通過與環境的交互進行學習。當一個嬰兒玩耍時，揮舞手臂，左顧右盼，旁邊沒有老師指導他，他與環境卻有著一種直接的感知連接。通過這種連接，他懂得了因果關系，行動帶來的結果，以及為了達成目標所需做的一切。人的一生中，這樣的交互成了我們關于環境和自身知識的主要來源。不管學習駕駛汽車，還是進行一場交談，實際上我們自始至終觀察著環境如何回應我們的所為，并通過自身行為影響當下情景。交互式學習幾乎是所有學習與智能理論的基石。
本書中我們提出了一種通過計算實現交互式學習的方法。我們沒有直接理論化人類或動物的學習方式，而是探索理想的學習環境，評估不同學習方法的有效性。即，我們站在人工智能研究者或工程師的角度來解決問題。我們探討了在解決科學或經濟問題方面表現突出的機器的設計，通過數學分析或計算實驗評估其設計。我們提出的這一方法稱之為強化學習。相較于其他機器學習方法，它更專注于交互之中的目標導向性學習。
付費5元查看完整內容
人工智能
·
這個新版本提供了一個全面的，豐富多彩的，最新的的人工智能導論，還包括理論基礎。它包括大量的例子，應用程序，全彩圖像，和人類興趣盒，以提高學生的興趣。關于機器人技術和機器學習的新章節現在包括在內。高級主題包括神經網絡、遺傳算法、自然語言處理、規劃和復雜的棋類游戲。
付費5元查看完整內容
【導讀】本課程探討現代人工智能基礎上的概念和算法，深入探討游戲引擎、手寫識別和機器翻譯等技術的思想。通過實踐項目，學生在將圖形搜索算法、分類、優化、強化學習以及其他人工智能和機器學習的主題融入到他們自己的Python程序中，從而獲得圖形搜索算法、分類、優化和強化學習背后的理論知識。課程結束時，學生將獲得機器學習庫的經驗，以及人工智能原理的知識，使他們能夠設計自己的智能系統。
目錄
- 搜索（Search）
- 知識（Knowledge）
- 不確定性（Uncertainty）
- 優化（Optimization）
- 學習（Learning）
- 神經網絡（Neural Networks）
- 語言（Language）
講師簡介
David J. Malan是Gordon McKay工程與應用科學學院的計算機科學實踐教授，也是哈佛大學教育研究生院的教員。他于1999年、2004年和2007年分別獲得哈佛大學計算機科學學士學位、碩士學位和博士學位。他教授計算機科學50課程，也被稱為CS50，這是哈佛大學最大的課程，耶魯大學最大的課程之一，也是edX最大的MOOC課程，注冊人數超過150萬。他還在哈佛商學院、哈佛法學院、哈佛延伸學院和哈佛暑期學院任教。他所有的課程都是免費開放課程。
我是布賴恩，哈佛大學繼續教育學院的資深導師。我于2019年從哈佛大學畢業，獲得了計算機科學和語言學學位。我目前在哈佛大學計算機科學導論課程CS50的團隊中工作，在那里我專注于教學、課程開發、拓展和軟件工具。我也是通過edX、哈佛擴展學院和哈佛暑期學院提供的Python人工智能入門和Python和JavaScript Web編程的講師。 我曾與許多其他計算機科學課程合作過，包括CS51，哈佛計算機抽象與設計課程，CS124，哈佛算法導論，以及CS100，哈佛數字人文領域的軟件工程課程。除了計算機科學教育，我還在Palantir做過軟件工程實習生，在哈佛深紅報做過新聞主管和數字戰略家，我還在 3P Speech和全國演講與辯論協會工作過。我對計算、語言和教育感興趣。
個人鏈接：
部分PPT：
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191