網絡修剪是解決大型語言模型（LLMs）部署和推理中巨大計算資源需求的有前景的方法。對于LLMs的修剪方法來說，無需重新訓練是重要的。然而，幾乎所有現有的LLMs無需重新訓練的修剪方法都集中在非結構化修剪上，這需要特定硬件支持才能加速。在本文中，我們提出了一種新穎的針對LLMs的無需重新訓練的結構化修剪框架，命名為FLAP（基于波動的自適應結構化修剪）。它通過有效減少存儲和提高推理速度，對硬件友好。為了有效地對LLMs進行結構化修剪，我們強調了三個需高度關注的關鍵要素：制定結構化重要性指標、自適應搜索全局壓縮模型和實施補償機制以減輕性能損失。首先，FLAP基于波動修剪指標判斷移除權重列時輸出特征圖是否容易恢復。然后它標準化重要性分數以自適應地確定全局壓縮模型結構。最后，FLAP添加額外的偏置項使用基線值來恢復輸出特征圖。我們在各種語言基準上全面評估了我們的方法。在無需任何重新訓練的情況下，我們的方法顯著優于包括LLM-Pruner和Wanda在內的結構化修剪領域的最新方法。代碼發布在//github.com/CASIA-IVA-Lab/FLAP。
付費5元查看完整內容
相關內容
基于擴散的生成性圖模型已被證明在生成高質量的小圖上非常有效。然而，他們需要更具可擴展性才能生成包含數千個節點并期望圖統計的大圖。在這項工作中，我們提出了EDGE，一種新的基于擴散的生成性圖模型，用于處理大圖的生成任務。為了提高計算效率，我們通過使用一種離散擴散過程鼓勵圖的稀疏性，該過程在每個時間步隨機刪除邊，最終得到一個空圖。EDGE在每個去噪步驟中只關注圖中的一部分節點。它比以前的基于擴散的模型做出更少的邊預測。此外，EDGE允許顯式地模擬圖的節點度，進一步提高模型的性能。實證研究顯示，EDGE比競爭方法更高效，能夠生成包含數千個節點的大圖。它在生成質量上也超過了基線模型：我們方法生成的圖的圖統計數據與訓練圖的更相似。
//www.zhuanzhi.ai/paper/cc59405ca6fa98d54ead7fd468e1015e
付費5元查看完整內容
近年來，基于異構信息網絡(HINs)的自監督預訓練方法與傳統的半監督異構圖神經網絡(HGNNs)相比顯示出了良好的競爭力。不幸的是，它們的性能嚴重依賴于精心定制各種策略，以生成高質量的正例和反例，這明顯限制了它們的靈活性和泛化能力。在這項工作中，我們提出了一種新的自監督異構圖預訓練方法SHGP，它不需要生成任何正例或負例。它由兩個共享相同注意力聚合方案的模塊組成。在每次迭代中，Att-LPA模塊通過結構聚類產生偽標簽，這些偽標簽作為自我監督信號，指導Att-HGNN模塊學習對象嵌入和注意系數。這兩個模塊可以有效地相互利用和增強，促進模型學習判別嵌入。在四個真實數據集上的大量實驗證明了SHGP對最先進的無監督基線甚至半監督基線的優越有效性。我們在//github.com/kepsail/SHGP發布源代碼。
付費5元查看完整內容
從合成生物學到計算機架構，計算設計問題出現在許多環境中。在本文中，我們的目標是解決基于數據驅動模型的優化(MBO)問題，其中的目標是找到一個設計輸入，使一個未知的目標函數最大化，只提供訪問先前實驗的靜態數據集。這種數據驅動的優化過程是許多現實領域中唯一實用的方法，在這些領域中，主動數據收集是昂貴的(如優化蛋白質)或危險的(如優化飛機設計)。針對已知模型優化設計的典型MBO方法遭遇了分布轉移:很容易找到一種設計，它“愚弄”了模型，使其預測出高價值。為了克服這一點，我們提出了保守目標模型(COMs)，一種學習目標函數模型的方法，該模型下界的真實目標的實際值在非分布輸入外，并使用它進行優化。在結構上，COMs類似于用來克服對抗性例子的對抗性訓練方法。COM易于實現，并且在許多MBO問題上優于現有的一些方法，包括優化蛋白質序列、機器人形態、神經網絡權值和超導材料。
付費5元查看完整內容
深度學習模型的分散訓練是實現網絡上數據隱私和設備上學習的關鍵要素。在現實的學習場景中，不同客戶端局部數據集之間存在異構，這對優化提出了挑戰，并可能嚴重影響泛化性能。在本文中，我們研究并識別了幾種分散優化算法在不同程度的數據異構下的局限性。我們提出了一種新的基于動量的方法來緩解這種分散訓練的困難。我們通過對各種CV/NLP數據集(CIFAR-10、ImageNet和AG News)和幾種網絡拓撲(Ring和Social network)的大量經驗實驗表明，與其他現有方法相比，我們的方法對客戶數據的異構性更穩健，測試性能顯著提高(1% - 20%)。我們的代碼是公開的。
付費5元查看完整內容
協同過濾(CF)作為推薦系統的一種基本方法，通常建立在具有可學習參數的潛在因子模型上，預測用戶對產品的偏好。但是，為給定的數據設計適當的CF模型并不容易，因為數據集的屬性是高度多樣化的。在本文中，基于自動機器學習(AutoML)的最新進展，我們提出利用AutoML技術設計一個數據特定的CF模型。這里的關鍵是一個新的框架，它將最先進的CF方法統一起來，并將它們劃分為輸入編碼、嵌入函數、交互函數和預測函數等不相交的階段。我們進一步開發了一種易于使用、健壯和高效的搜索策略，它利用隨機搜索和性能預測器在上述框架內進行高效搜索。通過這種方式，我們可以從SOTA模型中組合概括出文獻中沒有訪問過的特定于數據的CF模型。在五個真實數據集上的大量實驗表明，對于各種CF任務，我們的方法可以持續優于SOTA方法。進一步的實驗驗證了所提框架的合理性和搜索策略的有效性。搜索的CF模型還可以為將來探索更有效的方法提供見解。
付費5元查看完整內容
由不同的隨機初始化訓練的神經網絡權重集合，被稱為深度集合，實現了最先進的精度和校準。最近引入的批量集成提供了一個更有效的參數替換。在本文中，我們不僅設計了權值，而且設計了超參數，以改善這兩種情況下的技術狀況。為了獲得不依賴預算的最佳性能，我們提出了超深集合，這是一個簡單的過程，涉及對不同超參數的隨機搜索，它們本身在多個隨機初始化中分層。其強大的性能突出的好處，結合模型的重量和超參數多樣性。在批量集成和自調優網絡的基礎上，進一步提出了參數高效的超批量集成。該方法的計算和內存成本明顯低于典型的集成。在圖像分類任務上，通過MLP、LeNet和Wide ResNet 28-10架構，我們的方法在深度和批處理集成上都有所改進。
付費5元查看完整內容
現有的語義分割模型嚴重依賴于密集的像素級標注。為了減少標注的壓力，我們專注于一項具有挑戰性的任務，即零標注語義分割，它的目標是用零標注分割不可見的對象。這一任務可以通過語義詞嵌入在類別間傳遞知識來完成。在本文中，我們提出了一種新的基于上下文的零樣本分割特征生成方法——CaGNet。特別是在觀察到像素級特征高度依賴上下文信息的情況下，我們在分割網絡中插入上下文模塊來捕獲像素級特征的上下文信息，從而指導語義詞嵌入生成更加多樣化和上下文感知的特征的過程。我們的方法在三個基準數據集上實現了最先進的零樣本分割結果。代碼可在:this https URL獲得。
付費5元查看完整內容
預測點擊率
·
對特征交互進行建模是推薦系統中的一個重要問題。在現有的深度推薦模型中，特征交互是由專家設計或者簡單枚舉得到。但是，簡單枚舉所有的特征交互會占用大量的內存和計算時間。更糟糕的是，無效的特征交互會引入不必要的噪聲，干擾推薦模型的訓練。在本工作中，我們提出了一個兩階段的模型AutoFIS。
AutoFIS可以為因子分解類模型自動定義出所有重要的特征交互，而并不過多地增加訓練時間。在搜索階段，為了實現在特征交互的離散集合上進行搜索，我們引入連續型結構變量來輔助搜索。通過在這些結構變量上加入約束型優化器，我們的模型在訓練過程中可以自動定位并刪除無效的特征交互。在重訓練階段，我們將這些結構變量當做注意力機制的權重參數來重新訓練，以進一步提升模型的精度。我們在公開數據集和產品數據集上驗證，AutoFIS可以提升因子分解類模型的精度(AUC和Logloss)。該方法簡單有效，得到KDD評委的高度認可，得到3/2/2的分數，其中meta review的評價是:”Overall the paper presents a novel idea, it is well written and the evaluation is very thorough”。
該工作已經公開//arxiv.org/abs/2003.11235。
付費5元查看完整內容
基于語言模型的預訓練模型，如BERT，在不同的NLP任務中提供了顯著的收益。在本文中，我們研究了不同類型的基于自回歸模型(GPT-2)、自編碼器模型(BERT)和seq2seq模型(BART)等用于條件數據增強的預訓練transformer 模型。我們表明，將類標簽前置到文本序列提供了一種簡單而有效的方法來設置預訓練模型的條件，以便進行數據擴充。在三個分類基準上，預先訓練的Seq2Seq模型優于其他模型。此外，我們還探討了不同的基于預訓練模型的數據擴充在數據多樣性方面是如何不同的，以及這些方法如何很好地保存類標簽信息。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191