人工神經網絡中最重要的未解決問題是如何像大腦一樣有效地進行無監督學習。目前無監督學習主要有兩種方法。在第一種方法中，以BERT和變分自編碼器為例，使用深度神經網絡重構其輸入。這對于圖像來說是有問題的，因為網絡的最深層需要對圖像的細節進行編碼。另一種方法是由Becker和Hinton在1992年提出的，即訓練一個深度神經網絡的兩個副本，當輸入相同圖像的兩種不同作物時，產生具有高互信息的輸出向量。這種方法被設計為允許表示不受輸入無關細節的約束。
Becker和Hinton使用的優化相互信息的方法是有缺陷的(我將解釋一個微妙的原因)，所以Pacannaro和Hinton用一個有區別的目標代替了它，其中一個向量表示必須從眾多選擇中選擇一個對應的向量表示。隨著硬件速度的提高，對比表示學習最近變得非常流行，并且被證明是非常有效的，但是它存在一個主要的缺陷:要學習具有N比特互信息的表示向量對，我們需要對比正確的對應向量和大約2 N個錯誤的替代。我將描述一種新穎而有效的方法來處理這一局限性。我也會展示這導致了一種簡單的方式在大腦皮層中執行感知學習。
付費5元查看完整內容
相關內容
內容感知的推薦方法對于向新用戶提供有意義的推薦是必不可少的。我們提出了一種基于內容感知神經哈希的協同過濾方法，它為用戶和項生成二進制哈希碼，這樣就可以利用高效的漢明距離估計用戶項相關性。NeuHash-CF被建模為一個自動編碼器架構，由兩個用于生成用戶和項哈希碼的聯合哈希組件組成。受語義哈希的啟發，項目哈希組件直接從項目的內容信息(即，它以相同的方式生成冷啟動和可見項哈希碼)。這與現有的最先進的模型形成了對比，后者分別處理兩個項目的情況。用戶哈希碼是通過學習用戶嵌入矩陣，直接基于用戶id生成的。我們通過實驗證明，在冷啟動推薦設置中，NeuHash-CF的性能顯著優于最先進的基線，最高可達12%的NDCG和13%的MRR，而在所有項目都在訓練時出現的標準設置中，NeuHash-CF和MRR的性能均可達4%。我們的方法使用2-4倍的更短的哈希碼，同時獲得與現有技術相同或更好的性能，因此也可以顯著減少存儲空間。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191