論文鏈接：//www.zhuanzhi.ai/paper/3a1e9a5b1d5014aa139465d7afb57410
基于數據采樣的優化（Optimization from Samples，OPS）是將機器學習和優化相結合，實現從數據到優化的端到端的性能保證。然而近期的研究指出，雖然從數據到模型的學習過程和基于模型的優化各自能給出較好的理論保證，但是 OPS 在一些情況下是不能達到端到端的理論保證的。
微軟亞洲研究院和中國科學院計算技術研究所的研究員們在去年的 ICML 會議上提出了基于結構化數據采樣的優化方法（Optimization from Structured Samples, OPSS），通過巧妙地利用采樣數據中的結構化信息，將學習和優化更緊密地結合, 從而達到端到端性能的理論保證。
在今年 ICML 會議上發表的本文，沿 OPSS 方向進一步探索，更進一步研究了比較復雜的基于數據采樣的影響力最大化問題（Influence Maximization from Samples, IMS）。具體是指：當社交網絡未知，只能觀察到其上的歷史傳播數據時，如何選取少數種子結點以達到影響力最大化的傳播效果。傳統的方式是先從歷史傳播數據中學習，得到一個傳播模型和模型參數，然后在這套模型和參數上運行成熟的基于影響力最大化的算法。但這樣的方法會導致在某些情況下，模型及其參數的學習效果不好時，優化的效果也不盡如人意。因此需要對這種傳統模式加以改進，在模型參數學習效果不好時仍能找到替代方法，從而達到良好的優化效果。
從端到端來講，本文的算法可以保證對于任何網絡結構和傳播參數的組合，都能從傳播數據采樣中得到影響力最大化的常數近似解，而且該算法不再依賴于最大似然估計，而是通過簡單直接的等式推導，使得網絡推斷可以基于更寬泛的假設從而達到運算速度更快、需要更少數據樣本的效果。同時，在解決 IMS 問題的過程中，網絡推斷（Network Inference）算法也得到了改進。
付費5元查看完整內容
相關內容
圖上的不平衡分類是普遍存在的，但在許多現實世界的應用(如欺詐節點檢測)中具有挑戰性。近年來，圖神經網絡在許多網絡分析任務中顯示出良好的性能。然而，現有的GNN大多只關注平衡網絡，在不平衡網絡上的性能不理想。為了彌補這一缺陷，本文提出了生成式對抗圖網絡模型ImGAGN來解決圖上的不平衡分類問題。介紹了一種新的圖結構數據生成器GraphGenerator，它可以通過生成一組合成的少數節點來模擬少數類節點的屬性分布和網絡拓撲結構分布，從而使不同類中的節點數量達到均衡。然后訓練一個圖卷積網絡(GCN)識別器來區分合成平衡網絡上的真實節點和虛假節點(即生成節點)，以及少數節點和多數節點。為了驗證該方法的有效性，在四個真實的不平衡網絡數據集上進行了大量的實驗。實驗結果表明，在半監督不平衡節點分類任務中，該方法優于現有的算法。
付費5元查看完整內容
論文題目：Data Poisoning Attack against Recommender System Using Incomplete and Perturbed Data
作者：Hengtong Zhang, 田長鑫, Yaliang Li, Lu Su, Jing Gao, Nan Yang, 趙鑫
論文概述：最近的研究表明，推薦系統由于其開放性，它們很容易受到數據投毒攻擊。在數據投毒攻擊中，攻擊者通常會通過一組受控制的用戶將精心設計的用戶-項目交互數據注入推薦模型的訓練集，以便根據需要修改模型參數。因此，現有的攻擊方法通常需要完全訪問訓練數據，從而推斷物品的特征，并為受控制的用戶制造虛假交互。但是，由于攻擊者數據收集能力的有限和推薦服務方隱私保護機制的干擾，攻擊者無法實現對訓練數據的完全訪問，這導致這種攻擊方法在實踐中可能并不可行。在本文中，我們提出了兩種新的對抗攻擊方法來處理訓練數據的不完整性和擾動。首先，我們提出了一個雙層優化框架，結合概率生成模型來尋找訓練數據中未被顯著干擾的用戶-物品交互，并利用這些交互數據來制造虛假的用戶-物品交互。此外，我們逆轉了推薦模型的學習過程，并在此基礎上開發了一種簡單而有效的方法，該方法可以結合上下文特定的啟發式規則來處理數據的不完整性和擾動。我們在兩個數據集上對三種典型推薦模型進行了大量實驗，實驗結果表明，所提出的方法比現有方法具有更好的攻擊性能。
付費5元查看完整內容
對抗訓練是提高模型對抗擾動魯棒性的最有效技術之一。然而，這種方法對模型的全部影響還沒有被很好地理解。例如，雖然對抗訓練可以減少對抗風險(針對對手的預測錯誤)，但它有時會增加標準風險(沒有對手時的泛化錯誤)。在本文中，我們關注于分布擾動對手框架，其中對手可以改變訓練數據分布的鄰域內的測試分布。鄰域是通過分布之間的Wasserstein距離定義的，鄰域的半徑是對手操縱能力的度量。我們研究了標準風險和對抗風險之間的權衡，并推導了在特征維數不變的無限數據限制下，在特定類型的模型上可實現的Pareto最優權衡。我們考慮了三種學習設置:1) 線性模型類的回歸; 2) 二元分類下的高斯混合數據模型，用線性分類器分類; 3)用一類隨機特征模型進行回歸(可等效表示為第一層權值為隨機的兩層神經網絡)。我們表明，標準風險和對抗性風險之間的權衡在所有三種情況下都得到了體現。我們進一步描述了Pareto最優權衡曲線，并討論了各種因素，如特征相關性、對手的力量或兩層神經網絡的寬度會如何影響這種權衡。
付費5元查看完整內容
我們提出了一種新的參數化方案來解決在大型神經網絡上運用差分私有SGD所面臨的挑戰，這些挑戰包括1) 存儲單個梯度的巨大存儲成本，2) 附加的噪聲嚴重依賴于維數。具體地說，我們用兩個小維的梯度載波矩陣和一個殘差權矩陣來重新參數化每個權矩陣。我們認為，這樣的重新參數化保持向前/向后過程不變，同時使我們能夠在不計算梯度本身的情況下計算投影梯度。為了學習差分隱私，我們設計了重參數梯度擾動(RGP)，它擾亂梯度載體矩陣上的梯度，并從有噪聲的梯度中重建原始權重的更新。重要的是，我們使用歷史更新來尋找梯度載波矩陣，其最優性在線性回歸下得到嚴格證明，并通過深度學習任務得到經驗驗證。RGP顯著降低了內存成本并改進了實用程序。例如，我們首次能夠在BERT模型上應用差分隱私，并在e = 8的四個下游任務上實現了83.9%的平均精度，與非私有基準相比，損失在5%以內，但隱私泄漏風險要低得多。
付費5元查看完整內容
現有的GNN解釋方法側重于解釋圖的節點或邊的重要性，但忽略了圖子結構。事實上子結構更直觀且容易被人理解。論文提出了一種通過識別重要的子圖來解釋GNNs 的方法，即 Subgraph X。給定一個經過訓練的GNN模型和一個輸入圖，Subgraph X 通過蒙特卡洛樹搜索有效地探索不同的子圖來解釋其預測。為了使樹搜索更加有效，論文提出使用 Shapley 值作為子圖重要性的衡量標準，這也可以捕捉到不同子圖之間的相互作用。為了加快計算速度，論文提出了高效的近似方案來計算圖數據的 Shapley 值。該論文是通過識別子圖來解釋 GNN 的第一次嘗試，實驗結果表明，Subgraph X 明顯改善了解釋結果，同時將計算量也相對合理。
先說說為啥要關注圖神經網絡的可解釋性？
現有的 GNN 模型大多被視為黑盒子，其預測結果缺乏可解釋性。如果不理解和推理預測背后的關系，這些模型就不能被人們理解信任，阻礙了它們在關鍵領域的應用，因此研究深度圖模型的可解釋性十分必要。
本文的提出的解釋方法的獨特性在于？
很多文獻在研究圖像和文本上的深度模型的解釋技術方面做了工作，這些方法可以通過不同的策略解釋網絡行為和特定輸入的預測結果。然而，GNN 的可解釋性仍未得到充分的探索。與圖像和文本不同，圖數據不是網格狀的數據，它包含重要的結構信息。因此，圖像和文本領域的方法不能直接應用。目前存在的GNN 解釋方法，如 GNNExplainer、PGExplainer 和 PGM-Explainer，但它都是關注節點、邊或節點特征層面的可解釋性，沒有進行子圖層面的可解釋性研究。本文認為子圖層面的解釋更加直觀和有用，因為子圖是復雜圖的簡單構件，與圖的功能高度相關。
付費5元查看完整內容
殘差網絡(ResNets)在模式識別方面顯示了令人印象深刻的結果，最近，由于與神經常微分方程(neural ODEs)的感知聯系，獲得了相當大的理論興趣。隨著層數的增加，這條鏈路依賴于網絡權值的收斂到平滑的函數。我們通過詳細的數值實驗研究了隨機梯度下降訓練權值的性質，以及它們隨網絡深度的變換。我們觀察到有明顯不同于神經ODE文獻中假設的標度區存在。根據網絡結構的某些特征，如激活函數的光滑性，人們可以得到另一個ODE極限，一個隨機微分方程或兩者都不能。這些發現對神經ODE模型作為深度ResNets的充分漸近描述的有效性提出了質疑，并指出了另一類微分方程作為深度網絡極限的更好描述。
付費5元查看完整內容
圖神經網絡(GNN)中缺乏各向異性核極大地限制了其表達能力，導致了一些眾所周知的問題，如過度平滑。為了克服這個限制，我們提出了第一個全局一致的各向異性核GNN，允許根據拓撲導出的方向流定義圖卷積。首先，通過在圖中定義矢量場，我們提出了一種方法應用方向導數和平滑投影節點特定的信息到場。然后，我們提出用拉普拉斯特征向量作為這種向量場。在Weisfeiler-Lehman 1-WL檢驗方面，我們證明了該方法可以在n維網格上泛化CNN，并證明比標準的GNN更有分辨力。我們在不同的標準基準上評估了我們的方法，發現在CIFAR10圖數據集上相對誤差減少了8%，在分子鋅數據集上相對誤差減少了11%到32%，在MolPCBA數據集上相對精度提高了1.6%。這項工作的重要成果是，它使圖網能夠以一種無監督的方式嵌入方向，從而能夠更好地表示不同物理或生物問題中的各向異性特征。
付費5元查看完整內容
模仿學習是一種基于專家示教重建期望策略的方法，一直是AI領域的研究熱點。為了提升模仿學習的通用性和在實際工程中的應用，相關的研究方向吸引了大量學術和工業界人士，其中利用多模態模仿學習提升模仿學習效果是重要的方向之一。例如，應用于自動駕駛中的駕駛行為學習，真實駕駛員示教數據由于駕駛技能和行為習慣的多樣性呈現多種模態并服從不同的分布，如果直接利用行為克隆（Behavioral Cloning，BC）或逆向強化學習（Inverse Reinforcement Learning，IRL）容易導致模態坍塌問題（mode collapse problem），因缺乏發現和區分示教數據中的模態變化的能力。為了針對多模態示教數據進行有效的模仿，我們提出了一種基于生成對抗模仿學習（Generative Adversarial Imitation Learning，GAIL）的多模態模仿學習算法框架（圖3），稱為Triple-GAIL，通過對模態選擇和行為模仿聯合學習并利用模態選擇器增量式生成數據促進模態區分優化模仿效果。Triple-GAIL在GAIL的基礎上增加了一個模態選擇器（Selector）用于區分多個模態，并和生成器（Generator）一起持續生成狀態-動作-模態數據序列，達到數據增廣的目的，而判別器（Discriminator）用于區分狀態-動作-模態數據序列是否來自于專家示教數據。與已有多模態模仿學習方法相比，Triple-GAIL既可以直接通過指定模態生成行為軌跡，也可以直接利用模態選擇器基于歷史數據判斷模態。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191