線性模型預測控制的工業部署需要一個凸二次規劃(QP)的實時解。QP的顯式解刻畫了MPC控制律的特征,即狀態的分段仿射函數和一些無偏移量控制的穩態目標的計算。眾所周知,顯式控制律的復雜性隨著問題規模的增加呈指數級增長,使得離線描述和在線部署使用顯式控制律對任何合理規模的工業工廠都是難以處理的。最近的觀察表明,以修正線性單元(ReLU)為激活函數的深度神經網絡也代表一個分段仿射函數,這使得它們成為獲得精確逼近顯式MPC控制律的有吸引力的候選對象。通過大型化工實例的數值實驗,驗證了該方法的可擴展性。
題目:
Con?dence-Aware Learning for Deep Neural Networks
簡介:
盡管深度神經網絡可以執行多種任務,但過分一致的預測問題限制了它們在許多安全關鍵型應用中的實際應用。已經提出了許多新的工作來減輕這個問題,但是大多數工作需要在訓練和/或推理階段增加計算成本,或者需要定制的體系結構來分別輸出置信估計。在本文中,我們提出了一種使用新的損失函數訓練深度神經網絡的方法,稱為正確排名損失,該方法將類別概率顯式規范化,以便根據依據的有序等級更好地進行置信估計。所提出的方法易于實現,并且無需進行任何修改即可應用于現有體系結構。而且,它的訓練計算成本幾乎與傳統的深度分類器相同,并且通過一次推斷就可以輸出可靠的預測。在分類基準數據集上的大量實驗結果表明,所提出的方法有助于網絡產生排列良好的置信度估計。我們還證明,它對于與置信估計,分布外檢測和主動學習密切相關的任務十分有效。
這本書的目標是介紹自動微分的基本算法,以及流行的數學和統計函數的自動微分規則的百科全書式的集合。
自動微分是一種通用的技術,用于將函數的計算值轉換為可計算導數的值。導數計算只給用于計算函數值的每個操作增加一個常數的開銷,因此可微函數與原始函數具有相同的復雜度階數。在描述了自動微分的標準形式之后,這本書提供了一個百科全書收集的正切和伴隨規則的前向模式和后向模式自動微分,涵蓋了最廣泛使用的標量,向量,矩陣和概率函數。附錄包含正向模式、反向模式和混合模式自動區分的工作示例代碼。
人類的視覺系統證明,用極少的樣本就可以學習新的類別;人類不需要一百萬個樣本就能學會區分野外的有毒蘑菇和可食用蘑菇。可以說,這種能力來自于看到了數百萬個其他類別,并將學習到的表現形式轉化為新的類別。本報告將正式介紹機器學習與熱力學之間的聯系,以描述遷移學習中學習表征的質量。我們將討論諸如速率、畸變和分類損失等信息理論泛函如何位于一個凸的,所謂的平衡曲面上。我們規定了在約束條件下穿越該表面的動態過程,例如,一個調制速率和失真以保持分類損失不變的等分類過程。我們將演示這些過程如何完全控制從源數據集到目標數據集的傳輸,并保證最終模型的性能。
人工智能本質是解決生產力升級的問題,人類生產力可以歸類為知識生產力和勞動生產力,人工智能走入產業后,可以分為感知智能、認知智能和行為智能,后兩者更與生產力相對應,NLP和知識圖譜是發展認知智能的基礎。
原始數據通過知識抽取或數據整合的方式轉換為三元組形式,然后三元組數據再經過實體對齊,加入數據模型,形成標準的知識表示,過程中如產生新的關系組合,通過知識推理形成新的知識形態,與原有知識共同經過質量評估,完成知識融合,最終形成完整形態上的知識圖譜。
在面對數據多樣、復雜,孤島化,且單一數據價值不高的應用場景時,存在關系深度搜索、規范業務流程、規則和經驗性預測等需求,使用知識圖譜解決方案將帶來最佳的應用價值。
2019年涵蓋大數據分析預測、領域知識圖譜及NLP應用的大數據智能市場規模約為106.6億元,預計2023年將突破300億元,年復合增長率為30.8%,其中2019年市場中以金融領域和公安領域應用份額占比最大。
隨著整體市場數據基礎的完善和需求喚醒,大數據智能領域規模持續走高,但在行業可落地性和理性建設的限制下,預計市場增速將呈現下降趨勢,期間咨詢性需求將會大量出現,從整體發展來看增速處于良性區間,對真正有價值的公司和產品有正向意義。
機器人和自主系統在現代經濟中扮演著重要的角色。定制機器人顯著提高了生產率、操作安全性和產品質量。然而,人們通常通過編程操作這些機器人來完成較小的領域的特定任務,而無法快速適應新任務和新情況。廉價、輕便和靈活的機器人硬件的出現為將機器人的自主能力提升到前所未有的水平提供了機會。新的機器人硬件在日常環境中的一個主要挑戰是處理現實世界的持續變化性和不確定性。為了應對這一挑戰,我們必須解決感知和行動之間的協同作用:一方面,機器人的感知自適應地指導其行動,另一方面,它的行動產生了新的感知信息,用于決策。我認為,實現通用機器人自治的關鍵一步是將感知和動作緊密地結合起來。
新興的人工智能計算工具已經證明了成功的希望,并構成了在非結構化環境中增強機器人感知和控制的理想候選。機器人的實體本質迫使我們超越現有的從無實體數據集學習的范式,并激勵我們開發考慮物理硬件和動態復雜系統的新算法。
本論文的研究工作是建立可通用的機器人感知和控制的方法和機制。我們的工作表明,感知和行動的緊密耦合,有助于機器人通過感官與非結構化的世界進行交互,靈活地執行各種任務,并適應地學習新任務。我們的研究結果表明,從低級的運動技能到高級的任務理解三個抽象層次上解剖感知-動作循環,可以有效地促進機器人行為的魯棒性和泛化。我們規劃的研究工作是處理日益復雜的任務,展現出我們朝著圣杯目標的路線圖:在現實世界中構建長期的、通用的機器人自治。