亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

優化非凸函數已成為現代機器學習和人工智能的標準算法技術。了解現有的優化非凸函數啟發式方法非常重要，我們需要設計更有效的優化器。其中最棘手的問題是尋找非凸優化問題的全局極小值，甚至僅僅是一個 4 階多項式——NP 困難。因此，具有全局保證的理論分析依賴于優化的目標函數的特殊屬性。為了描述真實世界目標函數的屬性特征，研究者假設機器學習問題的許多目標函數具有以下屬性：全部或者絕大多數局部極小值近似于全局極小值。

基于局部導數的優化器可以在多項式時間內求解這一系列函數（下文討論中也增加了一些額外的假設）。經驗證據也表明機器學習和深度學習的實際目標函數可能具有這樣的屬性。

文章共分為七個章節，各章節主旨內容如下：

第一章：非凸函數的基本內容；

第二章：分析技術，包括收斂至局部極小值、局部最優 VS 全局最優和流形約束優化；

第三章：廣義線性模型，包括種群風險分析和經驗風險集中；

第四章：矩陣分解問題，包括主成分分析和矩陣補全；

第五章：張量分解，包括正交張量分解的非凸優化和全局最優；

第六章：神經網絡優化的綜述與展望。

深度學習在計算機視覺和語言理解領域取得了驚人的成功，受此影響，推薦研究已經轉向了基于神經網絡的新推薦模型的發明。

近年來，神經網絡推薦模型的發展取得了顯著的進展，由于神經網絡具有強大的表示能力，使得傳統的推薦模型得到了推廣和超越。

在本文中，我們對神經推薦模型進行了系統性回顧，旨在對該領域進行總結，以促進未來的發展。與現有的基于深度學習技術分類法對現有方法進行分類的調研不同，我們從推薦建模的角度對該領域進行了總結，這可能對研究推薦系統的研究者和從業者更有指導意義。

具體來說，我們根據他們用于推薦建模的數據將工作分為三種類型:

1. 協同過濾模型，它利用了用戶-物品交互數據;

2. 內容豐富模型，利用與用戶和物品相關的側面信息，如用戶檔案和物品知識圖譜;

3)上下文豐富模型，它解釋了與互動相關的上下文信息，如時間、地點和過去的互動。

在回顧了每種類型的代表性工作后，我們最后討論了該領域的一些有前途的方向，包括標桿推薦系統、基于圖推理的推薦模型，以及可解釋和公平的社會公益推薦。

//www.zhuanzhi.ai/paper/cbf33028b44f85138520717fd1d72792

由于互聯網的擴散，信息過載在人們的每一個生活中都是一個日益嚴重的問題。與搜索引擎一樣，推薦系統是緩解信息過載問題的有效解決方案，方便用戶尋找所需信息，增加服務提供商的流量和收入。它已經被廣泛應用于電子商務、社交媒體網站、新聞門戶、應用商店、數字圖書館等。它是現代信息系統中最普遍的以用戶為中心的人工智能應用之一。

關于推薦的研究可以追溯到20世紀90年代的[1]，在那個年代早期的工作開發了許多基于內容的啟發式和協同過濾(CF)[2]。由于Netflix的挑戰，Matrix Factorization (MF)[3]后來很長一段時間(從2008年到2016年)成為主流推薦模型[4]，[5]。然而，因子分解模型的線性性質使其在處理大而復雜的數據時效率較低。復雜的用戶-物品交互，這些物品可能包含復雜的語義(例如，文本和圖像)，這需要對它們進行徹底的理解。大約在2010年中期的同一時期，機器學習領域的深度神經網絡(deep neural networks，又稱“深度神經網絡”)興起。(比如深度學習)已經在語音識別、計算機視覺和自然語言處理等領域產生了革命性的變化。深度學習的巨大成功源于神經網絡相當大的表達能力，尤其有利于從具有復雜模式的大數據中學習。這自然為推薦技術的發展帶來了新的機會。毫不奇怪，在過去的幾年中出現了很多關于開發神經網絡方法的推薦系統的工作。在這項工作中，我們的目的是提供一個系統的回顧推薦模型使用神經網絡-稱為“神經推薦模型”。這是當前推薦研究中最熱門的話題，不僅近年來取得了許多令人興奮的進展，而且顯示出了成為下一代推薦系統的技術基礎的潛力。

我們專注于物品推薦的一般任務，即向用戶推薦項目，而忽略了對其他推薦任務的討論，如向一組用戶推薦物品、特定領域推薦(如教育推薦和時尚推薦)。此外，我們專注于利用單個域的數據的工作，而忽略了關于跨域推薦[8]的討論。我們的目標是提供一個單一領域的一般性項目推薦的全面綜述，并幫助青年研究者掌握該領域的主要研究方向。

本次綜述的組織結構如下。在第2節中，我們將回顧使用ID和交互歷史進行建模的協同過濾模型。在第3節中，我們回顧了將用戶和商品的側面信息整合到推薦中的模型，如用戶簡介和社交網絡、商品屬性和知識圖譜。我們將它們稱為內容豐富的模型，它通過集成側信息自然地擴展了CF。在第4節中，我們將回顧解釋上下文信息的模型。上下文數據與每個用戶-項目交互相關聯，例如時間、位置和過去的交互序列。上下文感知模型基于上下文數據進行預測。由于頁面限制，我們主要關注時間信息，這是最常見的上下文數據之一。最后，對研究結果進行了總結，并提出了展望。

基于最近關于非凸優化算法在訓練深度神經網絡和數據分析中的其他優化問題中的應用，我們對非凸優化算法全局性能保證的最新理論成果進行了綜述。我們從經典的論證開始，證明一般的非凸問題不可能在合理的時間內得到有效的解決。然后，我們給出了一個可以通過盡可能多地利用問題的結構來尋找全局最優解的問題列表。處理非凸性的另一種方法是將尋找全局最小值的目標放寬到尋找一個平穩點或局部最小值。對于這種設置，我們首先給出確定性一階方法收斂速度的已知結果，然后是最優隨機和隨機梯度格式的一般理論分析，以及隨機一階方法的概述。然后，我們討論了相當一般的一類非凸問題，如α-弱擬凸函數的極小化和滿足Polyak- Lojasiewicz條件的函數，這些函數仍然可以得到一階方法的理論收斂保證。然后我們考慮非凸優化問題的高階、零階/無導數方法及其收斂速度。

自動微分（Automatic Differentiation，簡稱AD）也稱自動求導，算法能夠計算可導函數在某點處的導數值的計算，是反向傳播算法的一般化。自動微分要解決的核心問題是計算復雜函數，通常是多層復合函數在某一點處的導數，梯度，以及Hessian矩陣值。它對用戶屏蔽了繁瑣的求導細節和過程。目前知名的深度學習開源庫均提供了自動微分的功能，包括TensorFlow、pytorch等。

//mblondel.org/teaching/autodiff-2020.pdf

最新深度學習對抗魯棒性教程

• 深度學習基礎 Deep learning essentials
• 對抗擾動 Introduction to adversarial perturbations
  • Simple Projected Gradient Descent-based attacks
  • Targeted Projected Gradient Descent-based attacks
  • Fast Gradient Sign Method (FGSM) attacks
  • Natural [8]
  • Synthetic [1, 2]
• Optimizer susceptibility w.r.t to different attacks 優化器對不同攻擊的敏感性w.r.
• 對抗學習 Adversarial learning
  • Training on a dataset perturbed with FGSM
  • Training with Neural Structured Learning [3]
• Improving adversarial performance with EfficientNet [4] and its variants like Noisy Student Training [5] and AdvProp [6]

//github.com/dipanjanS/adversarial-learning-robustness

低秩稀疏矩陣優化問題是一類帶有組合性質的非凸非光滑優化問題. 由于零模與秩函數 的重要性和特殊性, 這類 NP-難矩陣優化問題的模型與算法研究在過去?幾年里取得了長足發 展. 本文從稀疏矩陣優化問題、低秩矩陣優化問題、低秩加稀疏矩陣優化問題、以及低秩張量 優化問題四個方面來綜述其研究現狀; 其中, 對稀疏矩陣優化問題, 主要以稀疏逆協方差矩陣估 計和列稀疏矩陣優化問題為典例進行概述, 而對低秩矩陣優化問題, 主要從凸松弛和因子分解 法兩個角度來概述秩約束優化和秩 (正則) 極小化問題的模型與算法研究. 最后，總結了低秩 稀疏矩陣優化研究中的一些關鍵與挑戰問題, 并提出了一些可以探討的問題。

//bicmr.pku.edu.cn/~wenzw/paper/review_lowrank20200321.pdf

深度學習系統在許多任務中都取得了顯著的性能，但要確保生成的模型服從硬約束(在許多控制應用程序中可能經常需要這樣做)，常常是出了名的困難。在這次演講中，我將介紹一些最近的關于在深度學習系統中加強不同類型的約束的工作。具體來說，我將重點介紹最近的一些工作，包括將一般的凸優化問題集成為深網絡中的層次，研究保證表示凸函數的學習網絡，以及研究增強非線性動力學的全局穩定性的深層動力系統。在所有情況下，我們都強調我們可以設計網絡結構來編碼這些隱性偏見的方式，這種方式可以讓我們輕松地執行這些硬約束。

論文題目

一致收斂可能無法解釋深度學習中的泛化現象，Uniform convergence may be unable to explain generalization in deep learning

論文摘要

我們對基于一致收斂的泛化界的能力表示懷疑，以提供一個完整的圖像，說明為什么過度參數化的深網絡泛化良好。雖然眾所周知，許多現有的邊界是數值大的，通過各種實驗，我們首先揭示了這些界限的另一個關鍵和更關注的方面：在實踐中，這些界限可以{EM增加與數據集的大小。在我們的觀察結果的指導下，我們給出了隨機梯度下降（SGD）訓練的超參數線性分類器和神經網絡的例子，在這些例子中，即使我們盡可能充分地考慮隱式正則化{\em}，一致收斂也無法“解釋泛化”。更準確地說，即使我們只考慮SGD輸出的一組測試誤差小于某個小?的分類器，對這組分類器應用（雙邊）一致收斂也會得到一個大于1?的泛化保證，因此幾乎是空的

論文亮點

本文提出了一個反對使用基于一致收斂的泛化界來解釋超參數深網絡泛化良好的理由。它們是通過破壞最緊的（算法，分布相關的）一致收斂界來實現的。

論文結構

• 作者首先回顧了基于標準一致收斂的邊界是如何工作的
• 經典的基于一致收斂的方法通過測試誤差來約束測試誤差<=訓練誤差+O（某些復雜項）/SRT（訓練集大小），由于過度的超調，在過參數化設置中失敗。
• 在現代方法中，我們試圖找到在實際數據上訓練時隱式正則化的權值，然后對它們（更簡單的，范數有界的函數類）應用一致收斂來產生更好的界

論文作者

Vaishnavh Nagarajan, J. Zico Kolte。