題目：
Mining Anomalies using Static and Dynamic Graphs
簡介：
在許多情況下，例如安全性，醫療保健，財務和網絡，異常檢測，即稀有或異常模式是一個緊迫的問題。審查欺詐和網絡入侵攻擊之類的異常編碼可疑，欺詐或惡意行為，不僅影響人們做出次優的決策，而且穩定地削弱了他們對業務的信任。這樣，檢測正在進行的異常并警告即將發生的異常的算法對企業和最終用戶都具有很大的影響。本文通過開發可利用連接性和時間信息來檢測異常行為或事件的原理化，可擴展算法，來考慮異常檢測問題。這些方法對于大型動態復雜數據集很有用，這些數據集具有很強的關系和時間特性，多個實體相互交互，并且會隨著時間而發展。如今，此類數據集是在多種多樣的環境中生成的，其示例范圍從電子商務日志到在線社交網絡再到物聯網。 論文的前半部分著重于圖形中的異常檢測，在這些圖中，只有靜態連接信息是已知的。給定一個圖和一些標記的頂點，我們如何推斷其余頂點的標記？例如，我們如何從一小組手動標記的誠實和偽造帳戶中發現Amazon或Facebook上的所有偽造用戶帳戶？與現有文獻相比，我們的工作利用了現實世界圖中的三個關鍵屬性，即頂點和邊類型的異質性，偏度分布和高階結構，可以產生更準確的頂點標記。所提出的算法具有封閉形式的解決方案，嚴格的收斂性保證，可以使用稀疏矩陣運算有效地實現，并且可以隨圖形大小線性縮放。 本文的后半部分著重于從連接結構隨時間變化的數據中挖掘異常。在許多情況下，尤其是與安全和衛生保健有關的情況，新發現或預期的異常的價值在于當下，而不是不久的將來。因此，給定一個隨時間變化的圖表（顯式圖或隱式圖），我們如何才能近乎實時地檢測異常或事件，甚至可能在它們發生之前提早發出警報？我們的算法可以通過僅存儲到目前為止所看到的圖形的簡短摘要并且不需要監督，就可以實時檢測異常圖形的足跡，例如密集子圖的突然出現或消失以及橋邊。我們還展示了如何以在線方式從時間序列數據推斷狀態轉換圖，并使用它來提前警告用戶標記的異常，例如不利的醫療條件。在整個論文中，著重強調的算法不僅（a）在實踐中有效，而且（b）高效，可以在幾秒鐘內在普通筆記本電腦上處理數百萬條邊緣，并且（c）有原則可以進行嚴格的推理，從而為推理，檢測或利用數據相關的見解提供理論上的保證。我們證明了我們的算法在從社交網絡和電子商務到安全和醫療保健的一系列應用中的功效。
付費5元查看完整內容
相關內容
在數據挖掘中，異常檢測（英語：anomaly detection）對不符合預期模式或數據集中其他項目的項目、事件或觀測值的識別。通常異常項目會轉變成銀行欺詐、結構缺陷、醫療問題、文本錯誤等類型的問題。異常也被稱為離群值、新奇、噪聲、偏差和例外。
特別是在檢測濫用與網絡入侵時，有趣性對象往往不是罕見對象，但卻是超出預料的突發活動。這種模式不遵循通常統計定義中把異常點看作是罕見對象，于是許多異常檢測方法（特別是無監督的方法）將對此類數據失效，除非進行了合適的聚集。相反，聚類分析算法可能可以檢測出這些模式形成的微聚類。
有三大類異常檢測方法。[1] 在假設數據集中大多數實例都是正常的前提下，無監督異常檢測方法能通過尋找與其他數據最不匹配的實例來檢測出未標記測試數據的異常。監督式異常檢測方法需要一個已經被標記“正常”與“異常”的數據集，并涉及到訓練分類器（與許多其他的統計分類問題的關鍵區別是異常檢測的內在不均衡性）。半監督式異常檢測方法根據一個給定的正常訓練數據集創建一個表示正常行為的模型，然后檢測由學習模型生成的測試實例的可能性。
主題： Laplacian Change Point Detection for Dynamic Graphs
摘要： 動態圖和時間圖是豐富的數據結構，用于對實體之間的復雜關系進行建模，尤其是時間圖的異常檢測是現實世界中至關重要的應用，例如網絡系統中的入侵識別，生態系統擾動的檢測和流行病的檢測。在本文中，我們專注于動態圖的變化點檢測，并解決與該問題相關的兩個主要挑戰：I）如何跨時間比較圖快照，II）如何捕獲時間依存關系。為了解決上述挑戰，我們提出了拉普拉斯異常檢測（LAD），它使用每個快照上圖結構的拉普拉斯矩陣的頻譜來獲得低維嵌入。 LAD通過應用兩個滑動窗口顯式地對短期和長期依賴性進行建模。在合成實驗中，LAD的性能優于最新方法。我們還將在三個真實的動態網絡上評估我們的方法：UCI消息網絡，美國參議院共同贊助網絡和加拿大法案投票網絡。在所有三個數據集中，我們證明了我們的方法可以根據重大的現實事件更有效地識別異常時間點。
付費5元查看完整內容
使用生成模型的無監督學習具有發現3D場景豐富表示的潛力。這種神經場景表示可能隨后支持各種下游任務，從機器人技術到計算機圖形再到醫學成像。然而，現有的方法忽略了場景最基本的屬性之一:三維結構。在這項工作中，我們使神經場景表征與一個感應偏差的三維結構的情況。我們證明了這種歸納偏差如何使無監督的發現幾何和外觀，只給定的二維圖像。通過學習一組這樣的三維結構感知神經表征的分布，我們可以執行聯合重建的三維形狀和外觀只給出一個單一的二維觀察。我們表明，在這個過程中學習到的特征使整個類對象的三維語義分割成為可能，只訓練了30個帶標記的例子，證明了三維形狀、外觀和語義分割之間的緊密聯系。最后，我們討論了場景表示學習在計算機視覺本身中的本質和潛在作用，并討論了未來工作的前景。
付費5元查看完整內容
題目： A Survey on Dynamic Network Embedding
簡介：
現實世界的網絡由各種相互作用和不斷發展的實體組成，而大多數現有研究只是將它們描述為特定的靜態網絡，而沒有考慮動態網絡的發展趨勢。近來，在跟蹤動態網絡特性方面取得了重大進展，它利用網絡中實體和鏈接的變化來設計網絡嵌入技術。與靜態網絡嵌入方法相比，動態網絡嵌入致力于將節點編碼為低維密集表示形式，從而有效地保留了網絡結構和時間動態特性，這對眾多下游機器學習任務是有益的。在本文中，我們對動態網絡嵌入進行了系統的調查。特別是，描述了動態網絡嵌入的基本概念，特別是，我們首次提出了一種基于現有動態網絡嵌入技術的新分類法，包括基于矩陣分解的方法，基于Skip-Gram的方法，基于自動編碼器，基于神經網絡和其他嵌入方法。此外，我們仔細總結了常用的數據集以及動態網絡嵌入可以帶來的各種后續任務。之后，我們提出了現有算法面臨的幾個挑戰，并概述了促進未來研究的可能方向，例如動態嵌入模型，大規模動態網絡，異構動態網絡，動態屬性網絡，面向任務的動態網絡嵌入和更多的嵌入空間。
付費5元查看完整內容
題目： Improving Deep Learning Training and Inference with Dynamic Hyperparameter Optimization
簡介：
在過去的十年中，深度學習證明了計算機視覺和自然語言處理所帶來的挑戰的最新準確性，從而使這些領域發生了革命性變化。深度學習模型現在是自動駕駛，醫學成像和神經機器翻譯等應用程序的基本構建塊。但是，在生產中部署這些模型時，仍然存在許多挑戰。研究人員和從業人員必須解決各種各樣的問題，包括如何有效地設計，培訓和部署資源密集型深度學習模型，以及如何在確保對變化條件的魯棒性的同時使這些方法自動化。本文提供并評估了提高深度學習訓練和推理效率以及底層系統對環境變化的魯棒性的新方法。我們通過關注為優化模型的準確性和資源使用而優化的許多超參數來解決這些問題。這些超參數包括模型架構的選擇，訓練數據集，優化算法，優化算法的超參數（例如學習率和動量）以及訓練時間預算。當前，在實踐中，幾乎所有超參數在訓練之前都進行了一次調整，此后保持不變，然而最佳的超參數值會隨時間變化（例如，隨著訓練的進行或替換用于推理的硬件時）。我們將動態調整應用于傳統上被認為是靜態的超參數。通過三個案例研究，我們表明，使用運行時信息來動態適應傳統上靜態的超參數可以提高機器學習訓練和推理的效率。 首先，我們提出并分析Selective-Backprop，這是一種新的重要采樣方法，它以在線方式對高損失示例進行優先排序。在Selective-Backprop中，被認為具有挑戰性的示例是可調超參數。通過優先處理這些具有挑戰性的示例，Selective-Backprop可以將給定的目標錯誤率訓練到比靜態方法快3.5倍的目標。接下來，我們探索AdaptSB，它是Selective-Backprop的變體，可以動態調整我們對具有挑戰性的示例進行優先級排序的方式。在“選擇性反向傳播”中，分配給難度不同示例的優先級保持不變。在AdaptSB中，我們將分配給不同類別示例的優先級視為可調超參數。通過對數據集和訓練階段動態地調整示例優先級，AdaptSB在出現標簽錯誤的數據集上表現優于Selective-Backprop。 最后，我們提出并分析了Mainstream，這是一種視頻分析系統，可讓并發應用共享共享邊緣資源，以最大程度地提高匯總結果質量。在Mainstream中，我們認為應用程序共享的程度是一個可調參數。 Mainstream在部署時使用更專業的DNN自動確定正確的權衡方案，以提高每幀的準確性并保留更多的非專業基礎模型。結果顯示，與靜態ap方法相比，Mainstream將平均事件檢測F1分數提高了多達87倍。
付費5元查看完整內容
題目： Probabilistic Regression for Visual Tracking
簡介：
從根本上說，視覺跟蹤是在每個視頻幀中使目標狀態回歸的問題。盡管取得了重大進展，但跟蹤器仍然容易出現故障和不準確的情況。因此，至關重要的是在目標估算中表示不確定性。盡管當前的主要范式依賴于估計與狀態有關的置信度得分，但是該值缺乏明確的概率解釋，使它的使用變得復雜。因此，在這項工作中，我們提出了概率回歸公式，并將其應用于跟蹤。我們的網絡預測給定輸入圖像后焦油狀態的條件概率密度。至關重要的是，我們的配方能夠對由于任務中不正確的注釋和歧義而產生的標簽噪聲進行建模。通過最小化Kullback Leibler差異來訓練回歸網絡。當應用于跟蹤時，我們的公式不僅允許輸出的概率表示，而且還可以顯著提高性能。我們的跟蹤器在六個數據集上設置了最新的技術，在LaSOT上實現了59.8％的AUC，在Tracking Net上實現了75.8％的成功。可以在//github.com/visionml/pytracking獲得代碼和模型。
付費5元查看完整內容
題目： Dynamic Spatio-temporal Graph-based CNNs for Traffic Flow Prediction
摘要： 由于其時空結構的復雜性和動態性，預測未來交通流是一個具有挑戰性的問題。大多數現有的基于圖的CNN都試圖捕捉靜態關系，而忽略了序列數據下的動態關系。本文通過學習表達特征來表示時空結構，并從監控視頻數據中預測未來的交通流，提出了一種基于動態時空圖的神經網絡(DST-GCNNs)。特別是，DST-GCNN是一個雙流網絡。在流量預測流中，我們提出了一種新的基于圖形的時空卷積層來從流量的圖形表示中提取特征。然后將幾個這樣的層疊加在一起來預測未來的流動。同時，隨著交通條件的變化，圖中交通流之間的關系往往是時變的。為了捕獲圖的動態，我們使用圖預測流來預測動態圖結構，并將預測的結構輸入到流預測流中。在實際數據集上的實驗表明，該模型與現有的方法相比具有較強的競爭能力。
付費5元查看完整內容
機器學習的許多應用都需要一個模型來對測試樣本做出準確的預測，這些測試樣本在分布上與訓練示例不同，而在訓練期間，特定于任務的標簽很少。應對這一挑戰的有效方法是，在數據豐富的相關任務上對模型進行預訓練，然后在下游任務上對其進行微調。盡管預訓練在許多語言和視覺領域都是有效的，但是如何在圖數據集上有效地使用預訓練仍是一個有待解決的問題。本文提出了一種新的圖神經網絡訓練策略和自監督方法。我們的策略成功的關鍵是在單個節點以及整個圖的層次上預訓練一個具有強表示能力的GNN，以便GNN能夠同時學習有用的局部和全局表示。我們系統地研究了多類圖分類數據集的預處理問題。我們發現，在整個圖或單個節點級別上對GNN進行預訓練的樸素策略改進有限，甚至可能導致許多下游任務的負遷移。相比之下，我們的策略避免了負遷移，顯著提高了下游任務的泛化能力，使得ROC-AUC相對于未經訓練的模型提高了9.4%，實現了分子特性預測和蛋白質功能預測的最好性能。
付費5元查看完整內容
主題： A framework for pattern mining and anomalydetection in multi-dimensional time series andevent logs
摘要： 目前，傳感器數據和文本日志是由許多設備生成的。分析這些時間序列數據，可以發現有趣的模式和異常。近年來，人們開發了許多算法來發現時間序列數據中有趣的模式以及檢測異常行為的周期。然而，這些算法在現實環境中的應用具有挑戰性。我們提出了一個框架，由通用轉換組成，它允許結合最新的時間序列表示、模式挖掘和基于模式的自動檢測算法。使用早期或后期集成，我們的框架處理多維連續序列和事件日志的混合。最后，我們提出了一個開源的、輕量級的、交互式的工具，它幫助模式挖掘和領域專家選擇算法、指定參數和視覺檢查結果，同時屏蔽了實現框架的底層技術復雜性。
作者簡介： Vincent Vercruyssen，在魯汶大學攻讀人工智能（專業數據挖掘和機器學習）博士學位。
Boris Cule，Jan De Nul unlimited CoC總工程師。等
付費5元查看完整內容
論文題目： Dynamic graph representation learning via self-attention networks
論文摘要： 學習圖中節點的潛在表示是一項重要且普遍存在的任務，在鏈接預測、節點分類和圖可視化等領域有著廣泛的應用。以往的圖表示學習方法主要集中在靜態圖上，而現實世界中的很多圖都是動態的、隨時間變化的。在這篇論文中，我們提出了Dynamic Self-Attention Network (DySAT)，這是一種新型的神經架構，它操作在動態圖上，并學習節點表示，以捕捉結構特性和時間演化模式。具體來說，DySAT通過在兩個維度(結構鄰域和時間動態)上聯合使用self-attention層來計算節點表示。我們對兩類圖進行了鏈接預測實驗：通信網絡和二分評級網絡。我們的實驗結果表明，DySAT在幾種不同的最先進的圖嵌入baseline上有顯著的性能提升。
作者簡介： 武延宏，Visa Research的研究員。在加入Visa之前，他是IBM T.J.Watson研究中心的博士后研究員，負責金融領域的異常檢測和分析。他還曾在Aviz | INRIA和Microsoft Research Asia擔任訪問學者，專注于大型圖挖掘和可視化。他于2013年6月從香港理工大學獲得博士學位，并于2013年6月在復旦大學軟件學院獲得學士學位。他的研究興趣包括圖形建模、深入學習和可視化分析。等
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191