亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

主題： Learning Colour Representations of Search Queries

摘要： 圖像搜索引擎依賴于適當設計的排名功能，這些功能可以捕獲內容語義的各個方面以及歷史上的流行。在這項工作中，我們考慮了色彩在相關性匹配過程中的作用。觀察到很大一部分用戶查詢具有與之相關的固有顏色，這促使我們開展工作。雖然某些查詢包含明確的顏色提及（例如“黑色汽車”和“黃色雛菊”），但其他查詢卻包含隱式的顏色概念（例如“天空”和“草”）。此外，顏色的基礎查詢不是到單一顏色的映射，而是顏色空間中的分布。例如，對“樹”的搜索往往會在綠色和棕色之間形成雙峰分布。我們利用歷史點擊數據為搜索查詢生成顏色表示，并提出一種遞歸神經網絡架構，將看不見的查詢編碼到顏色空間中。我們還展示了如何從印象日志中的交叉模式相關性排序器中學習該嵌入，在印象日志中單擊了結果圖像的子集。我們證明了查詢圖像顏色距離功能的使用可改善排名性能，該性能通過用戶對點擊圖像和跳過圖像的偏好來衡量。

題目： Review of Mathematical frameworks for Fairness in Machine Learning

摘要：

從數學的角度回顧了過去幾年文獻中提出的主要公平定義和公平學習方法。根據基于獨立的方法，考慮如何構建公平的算法，以及與可能不公平的情況相比，算法性能下降的后果。這相當于公平的價格由標準統計均等或機會均等給出。給出了最優公平分類器和最優公平預測器(在線性回歸高斯模型下)在機會均等意義下的新結果。

隨著機器學習模型越來越多地用于在醫療保健和刑事司法等高風險環境中幫助決策者，確保決策者(最終用戶)正確理解并信任這些模型的功能非常重要。我們將回顧了解模型的可解釋性和explainability的概念,詳細討論不同類型的可說明的模型(例如,基于原型方法,稀疏線性模型、基于規則的技術,廣義可加模型),事后解釋(黑箱解釋，包括反事實解釋和顯著性映射)，并探索可解釋性與因果性、調試和公平性之間的聯系。可解釋機器學習這些應用可以極大地受益于模型的可解釋性，包括刑事司法和醫療保健。

主題： Machine learning for protein engineering

摘要： 機器學習指導的蛋白質工程是一種新的范例，可以優化復雜的蛋白質功能。 機器學習方法使用數據來預測蛋白質功能，而無需詳細的基礎物理或生物學途徑模型。

題目

跨語言表示學習，Unsupervised Cross-lingual Representation Learning at Scale

關鍵詞

自然語言處理，表示學習，跨語言，人工智能

簡介

本文表明，針對多種跨語言轉換任務，大規模地對多語言語言模型進行預訓練可以顯著提高性能。 我們使用超過2 TB的經過過濾的CommonCrawl數據在一百種語言上訓練了基于Transformer的屏蔽語言模型。 我們的模型稱為XLM-R，在各種跨語言基準測試中，其性能明顯優于多語言BERT（mBERT），包括XNLI的平均精度為+ 13.8％，MLQA的平均F1得分為+ 12.3％，NER的平均F1得分為+ 2.1％。 XLM-R在低資源語言上表現特別出色，與以前的XLM模型相比，斯瓦希里語的XNLI準確性提高了11.8％，烏爾都語的準確性提高了9.2％。 我們還對獲得這些收益所需的關鍵因素進行了詳細的實證評估，包括（1）積極轉移和能力稀釋以及（2）大規模資源資源的高低性能之間的權衡。 最后，我們首次展示了在不犧牲每種語言性能的情況下進行多語言建模的可能性。 XLM-R在GLUE和XNLI基準測試中具有強大的單語言模型，因此非常具有競爭力。 我們將公開提供XLM-R代碼，數據和模型。

作者

Alexis Conneau， Kartikay Khandelwal等。

NeurIPS 2019（Neural Information Processing Systems）將在12月8日-14日在加拿大溫哥華舉行。NeurIPS 是全球最受矚目的AI、機器學習頂級學術會議之一，每年全球的人工智能愛好者和科學家都會在這里聚集，發布最新研究。今天小編整理了表示學習相關論文。

1. Self-attention with Functional Time Representation Learning

作者： Da Xu, Chuanwei Ruan, Evren Korpeoglu, Sushant Kumar, Kannan Achan

摘要：在自然語言處理中，具有self-attention的序列模型已經取得了很好的效果。self-attention具有模型靈活性、計算復雜性和可解釋性等優點，正逐漸成為事件序列模型的重要組成部分。然而，像大多數其他的序列模型一樣，自我注意并不能解釋事件之間的時間跨度，因此它捕捉的是序列信號而不是時間模式。在不依賴遞歸網絡結構的情況下，self-attention通過位置編碼來識別事件的順序。為了彌補時間無關和時間相關事件序列建模之間的差距，我們引入了一個嵌入時間跨度到高維空間的功能特征映射。通過構造相關的平移不變時間核函數，揭示了經典函數函數分析結果下特征圖的函數形式，即Bochner定理和Mercer定理。我們提出了幾個模型來學習函數性時間表示以及與事件表示的交互。這些方法是在各種連續時間事件序列預測任務下對真實數據集進行評估的。實驗結果表明，所提出的方法與基線模型相比，具有更好的性能，同時也能捕獲有用的時間-事件交互。
論文鏈接：
//papers.nips.cc/paper/9720-self-attention-with-functional-time-representation-learning

2. Large Scale Adversarial Representation Learning

作者：Jeff Donahue, Karen Simonyan

摘要：對抗訓練生成模型(GANs)最近取得了引人注目的圖像合成結果。GANs在無監督的表現學習中盡管在早期取得了的成功，但是它們已經被基于自監督的方法所取代。在這項工作中，我們證明了圖像生成質量的進步轉化為極大地改進了表示學習性能。我們的方法BigBiGAN建立在最先進的BigGAN模型之上，通過添加編碼器和修改鑒別器將其擴展到表示學習。我們廣泛地評估了這些BigBiGAN模型的表示學習和生成能力，證明了這些基于生成的模型在ImageNet的無監督表示學習方面達到了最新的水平，并在無條件生成圖像方面取得了令人信服的結果。

論文鏈接：

3. Rethinking Kernel Methods for Node Representation Learning on Graphs

作者：Yu Tian, Long Zhao, Xi Peng, Dimitris Metaxas

摘要：圖核是度量圖相似性的核心方法，是圖分類的標準工具。然而，作為與圖表示學習相關的一個問題，使用核方法進行節點分類仍然是不適定的，目前最先進的方法大多基于啟發式。在這里，我們提出了一個新的基于核的節點分類理論框架，它可以彌補這兩個圖上表示學習問題之間的差距。我們的方法是由圖核方法驅動的，但是擴展到學習捕獲圖中結構信息的節點表示。我們從理論上證明了我們的公式與任何半正定核一樣強大。為了有效地學習內核，我們提出了一種新的節點特征聚合機制和在訓練階段使用的數據驅動的相似度度量。更重要的是，我們的框架是靈活的，并補充了其他基于圖形的深度學習模型，如圖卷積網絡(GCNs)。我們在一些標準節點分類基準上對我們的方法進行了經驗評估，并證明我們的模型設置了最新的技術狀態。
論文鏈接：

4. Continual Unsupervised Representation Learning

作者：Dushyant Rao, Francesco Visin, Andrei Rusu, Razvan Pascanu, Yee Whye Teh, Raia Hadsell

摘要：持續學習旨在提高現代學習系統處理非平穩分布的能力，通常是通過嘗試按順序學習一系列任務。該領域的現有技術主要考慮監督或強化學習任務，并經常假設對任務標簽和邊界有充分的認識。在這項工作中，我們提出了一種方法(CURL)來處理一個更普遍的問題，我們稱之為無監督連續學習。重點是在不了解任務身份的情況下學習表示，我們將探索任務之間的突然變化、從一個任務到另一個任務的平穩過渡，甚至是數據重組時的場景。提出的方法直接在模型中執行任務推斷，能夠在其生命周期內動態擴展以捕獲新概念，并結合其他基于排練的技術來處理災難性遺忘。我們用MNIST和Omniglot演示了CURL在無監督學習環境中的有效性，在這種環境中，沒有標簽可以確保沒有關于任務的信息泄露。此外，與現有技術相比，我們在i.i.中表現出了較強的性能。在i.i.d的設置下，或將該技術應用于監督任務(如漸進式課堂學習)時。 論文鏈接：

5. Unsupervised Scalable Representation Learning for Multivariate Time Series

作者： Jean-Yves Franceschi, Aymeric Dieuleveut, Martin Jaggi

摘要：由于時間序列在實際應用中具有高度可變的長度和稀疏標記，因此對機器學習算法而言，時間序列是一種具有挑戰性的數據類型。在本文中，我們提出了一種學習時間序列通用嵌入的無監督方法來解決這一問題。與以前的工作不同，它的長度是可伸縮的，我們通過深入實驗和比較來展示學習表示的質量、可移植性和實用性。為此，我們將基于因果擴張卷積的編碼器與基于時間負采樣的新三重態損耗相結合，獲得了可變長度和多元時間序列的通用表示。
論文鏈接：

6. A Refined Margin Distribution Analysis for Forest Representation Learning

作者：Shen-Huan Lyu, Liang Yang, Zhi-Hua Zhou

摘要：在本文中，我們將森林表示學習方法casForest作為一個加法模型，并證明當與邊際標準差相對于邊際均值的邊際比率足夠小時，泛化誤差可以以O(ln m/m)為界。這激勵我們優化比例。為此，我們設計了一種邊際分布的權重調整方法，使深林模型的邊際比較小。實驗驗證了邊緣分布與泛化性能之間的關系。我們注意到，本研究從邊緣理論的角度對casForest提供了一個新的理解，并進一步指導了逐層的森林表示學習。

論文鏈接：

7. Adversarial Fisher Vectors for Unsupervised Representation Learning

作者：Shuangfei Zhai, Walter Talbott, Carlos Guestrin, Joshua Susskind

摘要：我們通過基于深度能量的模型(EBMs)來研究生成對抗網絡(GANs)，目的是利用從這個公式推導出的密度模型。與傳統的鑒別器在達到收斂時學習一個常數函數的觀點不同，這里我們證明了它可以為后續的任務提供有用的信息，例如分類的特征提取。具體來說，在EBM公式中，鑒別器學習一個非歸一化密度函數(即，負能量項)，它描述了數據流形。我們建議通過從EBM中獲得相應的Fisher分數和Fisher信息來評估生成器和鑒別器。我們證明了通過假設生成的示例形成了對學習密度的估計，費雪信息和歸一化費雪向量都很容易計算。我們還證明了我們能夠推導出例子之間和例子集之間的距離度量。我們進行的實驗表明，在分類和感知相似性任務中，甘氏神經網絡誘導的費雪向量作為無監督特征提取器表現出了競爭力。代碼地址：
論文鏈接：

8. vGraph: A Generative Model for Joint Community Detection and Node Representation Learning

作者：Fan-Yun Sun, Meng Qu, Jordan Hoffmann, Chin-Wei Huang, Jian Tang

摘要：本文重點研究了圖數據分析的兩個基本任務:社區檢測和節點表示學習，它們分別捕獲圖數據的全局結構和局部結構。在現有的文獻中，這兩個任務通常是獨立研究的，但實際上是高度相關的。提出了一種協作學習社區成員和節點表示的概率生成模型vGraph。具體地說，我們假設每個節點都可以表示為群落的混合，并且每個群落都定義為節點上的多項分布。混合系數和群落分布均由節點和群落的低維表示參數化。我們設計了一種有效的變分推理算法，通過反向傳播進行優化，使相鄰節點的社區成員關系在潛在空間中相似。在多個真實圖上的實驗結果表明，vGraph在社區檢測和節點表示學習兩方面都非常有效，在兩方面都優于許多有競爭力的基線。結果表明，該vGraph框架具有良好的靈活性，可以方便地擴展到層次社區的檢測。
論文鏈接：

近幾年來，隨著機器學習的普及，機器學習系統的公平性問題引起了實際的道德、社會等問題。圖書《公平性與機器學習—局限與機遇》以公平性為核心問題來看待機器學習，提供了對當前機器學習實踐以及為實現公平而提出的技術修復方案的批判性思考。

社會、道德和機器學習自身等角度，介紹了目前機器學習中的公平性問題，如由于數據導致的偏置（bias）等問題。

圖書《Fairness and Machine Learning - Limitations and Opportunities》（《公平性與機器學習—局限與機遇》）以公平性為核心問題來看待機器學習，強調機器學習在道德方面的挑戰。作者希望該書盡可能地被廣泛閱讀，但在寫作時依然堅持著技術的嚴謹性。該書并沒有提供包羅萬象的對公平性完整的正式定義，也沒有提出一個快速解決社會對自動決策擔憂的修復方案。

解決機器學習公平性問題需要認真理解機器學習工具的局限性。該書提供了對當前機器學習實踐以及為實現公平而提出的技術修復方案的批判性思考。雖然這些問題都沒有簡單的答案，作者希望這本書能夠幫助讀者更深層次地理解如何構建負責任的機器學習系統。

主題: Safe and Fair Machine Learning

簡介：

在這個演講將討論一些我們的未來的工作在一個新的框架設計的機器學習算法,內容包括：1)使得算法的用戶更容易定義他們認為是不受歡迎的行為(例如,他們認為是不公平的,不安全,或者成本)；2)提供了一個高信任度保證它不會產生一個解決方案,展示了用戶定義的不受歡迎的行為。

作者簡介：

Philip Thomas是馬薩諸塞大學安姆斯特分校信息與計算機科學學院助理教授，自主學習實驗室聯合主任。之前是卡內基·梅隆大學(CMU)的博士后，2015年，在馬薩諸塞州立大學阿默斯特分校(UMass Amherst)獲得了計算機科學博士學位。主要研究如何確保人工智能(AI)系統的安全性，重點是確保機器學習(ML)算法的安全性和公平性以及創建安全和實用的強化學習(RL)算法。