亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

大多數大型在線推薦系統，如新聞推送排名、人員推薦、工作推薦等，通常都有多個實用工具或指標需要同時優化。經過訓練以優化單一效用的機器學習模型通過參數組合在一起，生成最終的排名函數。這些組合參數驅動業務指標。找到正確的參數選擇通常是通過在線A/B實驗，這是非常復雜和耗時的，特別是考慮到這些參數對指標的非線性影響。

在本教程中，我們將討論如何應用貝葉斯優化技術為這樣復雜的在線系統獲取參數，以平衡競爭性指標。首先，我們將深入介紹貝葉斯優化，包括一些基礎知識以及該領域的最新進展。其次，我們將討論如何將一個真實世界的推薦系統問題制定為一個可以通過貝葉斯優化解決的黑盒優化問題。我們將專注于一些關鍵問題，如新聞推送排名、人員推薦、工作推薦等。第三，我們將討論解決方案的架構，以及我們如何能夠為大規模系統部署它。最后，我們將討論該領域的擴展和一些未來的發展方向。

//sites.google.com/view/ijcai2020-linkedin-bayesopt/home

我們給出了一個關于調查透明度和可解釋性的前沿教程，因為它們與NLP有關。研究團體和業界都在開發新的技術，以使黑箱型NLP模型更加透明和可解釋。來自社會科學、人機交互(HCI)和NLP研究人員的跨學科團隊的報告，我們的教程有兩個組成部分:對可解釋的人工智能(XAI)的介紹和對NLP中可解釋性研究的最新回顧; 研究結果來自一個大型跨國技術和咨詢公司在現實世界中從事NLP項目的個人的定性訪談研究。第一部分將介紹NLP中與可解釋性相關的核心概念。然后，我們將討論NLP任務的可解釋性，并對AI、NLP和HCI會議上的最新文獻進行系統的文獻綜述。第二部分報告了我們的定性訪談研究，該研究確定了包括NLP在內的現實世界開發項目中出現的實際挑戰和擔憂。

自然語言處理中可解釋AI的現狀調研

近年來，最領先的模型在性能上取得了重要的進步，但這是以模型變得越來越難以解釋為代價的。本調研提出了可解釋AI (XAI)的當前狀態的概述，在自然語言處理(NLP)領域內考慮。我們討論解釋的主要分類，以及解釋可以達到和可視化的各種方式。我們詳細介紹了目前可用來為NLP模型預測生成解釋的操作和可解釋性技術，以作為社區中模型開發人員的資源。最后，我們指出了在這個重要的研究領域目前的挑戰和未來可能工作方向。

//www.zhuanzhi.ai/paper/377e285abccf56a823a3fd0ad7a3f958

雖然大多數流行和成功的模型架構都是由人工專家設計的，但這并不意味著我們已經探索了整個網絡架構空間并確定了最佳選擇。如果我們采用一種系統的、自動的方式來學習高性能模型體系結構，那么我們將更有可能找到最佳的解決方案。

自動學習和演化網絡拓撲并不是一個新想法(Stanley & Miikkulainen, 2002)。近年來，Zoph & Le 2017和Baker等人在2017年的開創性工作吸引了神經架構搜索(NAS)領域的大量關注，為更好、更快、更經濟的NAS方法帶來了許多有趣的想法。

當我開始研究NAS時，我發現Elsken等人2019年的這項調查非常有幫助。它們將NAS描述為一個由三個主要成分組成的系統，簡潔明了，也被其他NAS論文廣泛采用。

• 搜索空間: NAS搜索空間定義了一組操作(例如卷積、全連接、池化)以及如何將操作連接起來形成有效的網絡架構。搜索空間的設計通常涉及人類的專業知識，以及不可避免的人類偏見。

• 搜索算法: NAS搜索算法對網絡體系結構候選對象進行采樣。它接受子模型性能指標作為獎勵(例如，高精度，低延遲)，并優化生成高性能架構候選。

• 評估策略: 我們需要測量、估計或預測提出的大量子模型的性能，以獲得反饋，供搜索算法學習。候選評估的過程可能非常昂貴，許多新的方法被提出來節省時間或計算資源。

【導讀】這本書對自動化機器學習（AutoML）的一般化方法進行了全面的闡述，并且收集了以這些方法為基礎的系統的描述和一系列關于自動化機器學習系統領域的挑戰。最近，機器學習在商業領域取得的成就和該領域的快速增長對機器學習產生了大量的需求，尤其是可以很容易地使用，并且不需要專家知識的機器學習方法。然而，當前許多表現優異的機器學習方法的大多都依賴人類專家去手動選擇適當的機器學習架構以及模型的超參數（深度學習架構或者更加傳統的機器學習方法）。為了克服這個問題，AutoML基于優化原理和機器學習本身去逐步實現機器學習的自動化。這本書可以為為研究人員和高年級學生提供一個進入這個快速發展的領域的切入點，同時也為打算在工作中使用AutoML的從業者提供參考。

第一部分 自動機器學習方法

每個機器學習系統都有超參數，而自動化機器學習最基本的任務就是自動設置這些超參數來優化性能。尤其是最近的深度神經網絡嚴重依賴對于神經網絡的結構、正則化和優化等超參數的選擇。自動優化超參數(HPO)有幾個重要的用例：?

• 減少機器學習應用過程中所需的人力。這在自動化機器學習（AutoML）的上下文中尤其重要。
• 提高機器學習算法的性能(根據實際問題調整算法);這已經在一些研究中對重要的機器學習基準方法產生了效果。
• 提高科學研究的再現性和公平性。自動化的HPO顯然比手工搜索更具可重復性。它使得不同的方法可以公平的比較，因為不同的方法只有在它們在相同級別的問題上調優時才能公平地進行比較。

第二部分 自動化機器學習系統

越來越多的非領域專家開始學習使用機器學習工具，他們需要非獨立的解決方案。機器學習社區通過開源代碼為這些用戶提供了大量復雜的學習算法和特征選擇方法，比如WEKA和mlr。這些開源包需要使用者做出兩種選擇：選擇一種學習算法，并通過設置超參數對其進行定制。然而想要一次性做出正確的選擇是非常具有挑戰性的，這使得許多用戶不得不通過算法的聲譽或直覺來進行選擇，并將超參數設置為默認值。當然，采用這種方法所獲得的性能要比最佳方法進行超參數設置差得多。

第三部分 自動化機器學習面臨的挑戰

直到十年之前，機器學習還是一門鮮為人知的學科。對于機器學習領域的科學家們來說，這是一個“賣方市場”:他們研究產出了大量的算法，并不斷地尋找新的有趣的數據集。大的互聯網公司積累了大量的數據，如谷歌，Facebook，微軟和亞馬遜已經上線了基于機器學習的應用，數據科學競賽也吸引了新一代的年輕科學家。如今，隨著開放性數據的增加，政府和企業不斷發掘機器學習的新的應用領域。然而，不幸的是機器學習并不是全自動的：依舊很難確定哪個算法一定適用于哪種問題和如何選擇超參數。完全自動化是一個無界的問題，因為總是有一些從未遇到過的新設置。AutoML面臨的挑戰包括但不限于：

• 監督學習問題（分類和回歸）
• 特征向量表示問題
• 數據集特征分布問題（訓練集，驗證集和測試集分布相同）
• 小于200兆字節的中型數據集
• 有限的計算資源

主題： Towards Automatic Machine Learning Pipeline Design

簡介： 數據收集量的迅速增加，使決策的瓶頸迅速從缺乏數據轉向缺乏數據科學家，以幫助分析收集的數據。此外，用于數據分析的新潛在解決方案和方法的發布速度已經超過了人類數據科學家所能遵循的速度。同時，我們注意到數據科學家在分析過程中執行的許多任務都可以自動化。自動機器學習(AutoML)研究和解決方案試圖使部分甚至整個數據分析過程自動化。我們解決了自動化研究中的兩個挑戰: 首先，如何表示適合元學習的ML程序;第二，如何改進自動系統的評估，使之能夠比較各種方法，而不僅僅是預測。為此，我們設計并實現了一個ML程序框架，該框架提供了以標準方式描述ML程序所需的所有組件。該框架是可擴展的，框架的組件之間是解耦的，例如，該框架可以用來描述使用神經網絡的ML程序。我們為執行框架中描述的程序提供參考工具。我們還設計并實現了一個服務，一個元學習數據庫，它存儲由不同的自動化系統生成的執行ML程序的信息。

我們通過測量使用框架與執行直接調用底層庫的ML程序的計算開銷來評估框架。我們注意到框架的ML程序執行時間比不使用該框架的ML程序慢一個數量級，內存使用量是不使用該框架的ML程序的兩倍。 通過比較使用我們的框架的10個不同的AutoML系統，我們展示了我們的框架評估AutoML系統的能力。結果表明，該框架既可以用來描述一組不同的ML程序，又可以用來明確地確定哪個自動化系統生成了最佳的ML程序。在許多情況下，生成的ML程序的性能優于由人類專家編寫的ML程序。