現有機器學習技術得以成功的背后往往依賴充足的標記數據。然而，充足標記數據的獲取非常困難，因為現實任務中數據標記的速度往往趕不上數據產生的速度。弱監督學習（不依賴充足標記數據的機器學習框架）[1]更為貼近現實任務，但也更為困難。
弱監督學習研究主要圍繞各種特定弱監督數據信號開展[1]。例如，半監督學習旨在研究監督信息不完整(Incomplete)的數據；噪聲標記學習旨在研究監督信息不準確(Inaccurate)的數據；多示例學習旨在研究監督信息不具體(Inexact)的數據等。南京大學LAMDA團隊常年來對弱監督學習相關技術瓶頸開展基礎研究，提出了具有性能保障的安全半/弱監督學習、自動半監督學習等工作[2][3]。
隨著弱監督學習不斷走向實際應用，單純的弱監督學習技術已越來越難于滿足現實任務的需求。其原因之一在于，往常的弱監督學習技術僅適合一種弱監督數據信號，類似于某藥方（弱監督學習技術）僅適用于某特定病癥（弱監督數據信號）。然而，現實任務的數據同時伴隨著多種弱監督數據信號時有發生，類似于多種病癥常伴隨出現。能夠協同處理多種病癥的復合弱監督學習（Compound Weakly Supervised Learning）技術非常必要。然而，該方面鮮有相關基礎研究工作，也包括結合實際業務數據的應用案例剖析，亟待開展研究。
本文基于滴滴智能司乘評價的實際業務場景，展示復合弱監督學習的必要性和實際效用。具體而言，業務背景情況如下：隨著移動互聯網顛覆性變革，網約車不斷發展普及，已進入人們日常生活。滴滴作為領先的一站式移動出行平臺，深刻影響著人們的出行和生活方式。為盡可能地提升用戶體驗、建設良好的司乘生態，網約車智能司乘評價體系起著至關重要的作用，需兼顧乘客體驗、司機接單公平性與平臺效能。在智能評價體系中，每個乘客乘車結束后手機端都會收到一個推薦的評價問題，如“司機是否繞路?”。如果該回答能夠很好的反映出此次行程的不足，那將有助于平臺對司機進行教育，以提高用戶的體驗。借助機器學習來進行評價問題推薦就是智能評價體系的主要目標。然而，這其中存在兩個嚴重影響機器學習性能的數據問題，一是數據存在嚴重的標記噪聲，因為評價結果往往受到乘客主觀因素的影響，導致收集到的標記不準確，同時也存在著大量誤操作和乘客隨意評價的情況；二是數據標記分布存在偏差，即訓練數據中差評與好評數據的標記分布和真實線上環境的標記分布存在明顯的差距。圍繞這類實際數據問題，需要發展復合弱監督學習技術。本文提出的復合弱監督學習技術明顯優于單純弱監督學習技術，可將AUC性能提升5%以上。
付費5元查看完整內容
相關內容
弱監督學習：監督學習的一種。大致分3類，第一類是不完全監督（incomplete supervision），即，只有訓練集的一個（通常很小的）子集是有標簽的，其他數據則沒有標簽。這種情況發生在各類任務中。例如，在圖像分類任務中，真值標簽由人類標注者給出的。從互聯網上獲取巨量圖片很容易，然而考慮到標記的人工成本，只有一個小子集的圖像能夠被標注。第二類是不確切監督（inexact supervision），即，圖像只有粗粒度的標簽。第三種是不準確的監督（inaccurate supervision），模型給出的標簽不總是真值。出現這種情況的常見原因有，圖片標注者不小心或比較疲倦，或者某些圖片就是難以分類。
現實世界中的數據通常包含了多種實體類型，這些實體通過不同的實體關系互相關聯形成了錯綜復雜的異構信息網絡。為了有效地挖掘業務中廣泛存在的異構信息網絡，滴滴AI Labs團隊自主研發了一種基于注意力機制的異構圖神經網絡模型（HetSANN），該模型無需使用傳統模型中由專家定義的元路徑，能夠直接自動化地處理、挖掘原異質信息網絡中豐富的語義信息，為網絡中的實體提取出更有效的編碼表示以應用到實體分類等下游任務中。
相較之前方法的局限性，本文的主要創新點為：
- 提出的HetSANN模型利用基于注意力機制的圖卷積神經網絡直接對異質信息網絡進行嵌入式表示學習，不再需要用人為定義的元路徑對異質信息網絡進行處理；
- 文本還探索了異質信息網絡中關系的方向性、實體類型變換過程中的循環一致性、以及HetSANN在多任務學習中的應用；
付費5元查看完整內容
近年來，隨著深度神經網絡模型性能不斷刷新，模型的骨干網絡參數量愈發龐大，存儲和計算代價不斷提高，從而導致難以部署在資源受限的嵌入式平臺上。滴滴 AI Labs 與美國東北大學王言治教授研究組合作，聯合提出了一種基于 AutoML 思想的自動結構化剪枝的算法框架 AutoCompress，能自動化的去尋找深度模型剪枝中的超參數，去除模型中不同層的參數冗余，替代人工設計的過程并實現了超高的壓縮倍率。從而滿足嵌入式端上運行深度模型的實時性能需求。
相較之前方法的局限性，該方法提出三點創新性設計：
（1）提出混合型的結構化剪枝維度； （2）采用高效強大的神經網絡剪枝算法 ADMM（交替乘子優化算法）對訓練過程中的正則項進行動態更新； （3）利用了增強型引導啟發式搜索的方式進行行為抽樣。在 CIFAR 和 ImageNet 數據集的大量測試表明 AutoCompress 的效果顯著超過各種神經網絡壓縮方法與框架。在相同準確率下，實際參數量的壓縮相對之前方法最大可以提高超 120 倍。
付費5元查看完整內容
論文題目：富信息網絡表示學習及典型應用問題研究
論文作者:楊成，博士，北京郵電大學計算機學院助理教授，2019年7月畢業于清華大學計算機科學與技術系，從事自然語言處理與社會計算相關方向的研究，博士期間在國內外頂級期刊會議上發表多篇論文，Google Scholar累計獲得引用近500次，并擔任國內外頂級會議包括ACL、EMNLP、SMP等在內的程序委員會成員和期刊的審稿人。
指導老師：孫茂松，教授，博士生導師，曾任清華大學計算機科學與技術系系主任，現任教育部在線教育研究中心副主任、清華大學計算機系黨委書記、清華大學大規模在線開放教育研究中心主任。
論文摘要:網絡是表達對象與對象間關系的常用數據形式，在人們的日常生活與工作學 習中無處不在。除去網絡的拓撲結構信息之外，真實的網絡數據中一般還包含著 根據節點的屬性、行為等產生的豐富信息，統稱為富信息網絡。隨著互聯網技術 和移動智能設備的發展，富信息網絡的數據規模飛速增長，并帶來了豐富的應用 任務和巨大的市場價值。在富信息網絡數據的規模及其相關應用的研究需求日益 增長的同時，數據驅動的深度學習技術已經在計算機視覺、自然語言處理等多個 領域取得了巨大的成功。如何讓已經在多個領域展示出其有效性的機器學習，特 別是深度學習技術，服務于富信息網絡數據及其典型應用已經在近年來成為人工 智能領域的研究熱點。 傳統的鄰接矩陣形式的網絡表示具有維度過高和數據稀疏兩大缺點，使得研 究者們無法在網絡數據上應用機器學習和深度學習技術。因此，研究者們轉而將 網絡中的節點編碼為低維稠密的向量表示，稱為網絡表示或者網絡嵌入。為網絡 中的節點學習其向量表示的任務稱為網絡表示學習。本文針對現有的網絡表示學 習工作的缺點和不足，系統性地進行了以下五個工作： 針對缺乏對于已有網絡表示學習算法的理論分析的問題，本文提出了網絡表 示學習的統一框架和增強算法。本工作將大多數現有的只考慮拓撲結構信息的網 絡表示學習方法總結為一個統一的兩步框架：鄰近度矩陣構造和降維，并進一步 提出了網絡嵌入更新（NEU）算法，該算法從理論上隱含地近似了高階鄰近度，可 以應用于已有網絡表示學習方法以提高它們的性能。 針對現有網絡表示學習方法忽略了網絡拓撲結構以外的豐富信息的問題，本 文提出了結合富特征信息的網絡表示學習。受前一工作中得到的最先進的網絡表 示學習算法實際上等同于一種特殊的矩陣分解的結論的啟發，該工作以文本特征 為例，在矩陣分解的框架下將節點的特征信息結合到網絡表示學習中。 針對現有網絡表示學習方法難以應用于相對復雜的典型應用問題的缺點，本 文以網絡表示學習技術作為模型底層，并根據特定的富信息網絡場景利用包括循 環神經網絡、卷積神經網絡在內的深度學習模型進行建模，在推薦系統和傳播預 測兩個富信息網絡典型應用問題中，創新性地提出了基于位置的社交網絡的推薦 系統、微觀層面的信息傳播預測和多層面的信息傳播預測的應用模型。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191