亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

由于數據有限甚至不均衡，半監督語義分割在某些類別上的性能往往較差，例如在cityscape數據集中顯示長尾標簽分布的尾類。現有的方法幾乎都忽視了這個問題，并對類別一視同仁。一些流行的方法，如一致性正則化或偽標簽，甚至可能會損害對表現不佳類別的學習，這些類別的預測或偽標簽可能太不準確，無法指導對未標記數據的學習。本文針對這一問題，提出了一種新的半監督語義分割框架——自適應均衡學習(adaptive equalization learning, AEL)。AEL自適應地平衡了訓練好的和表現不好的類別，在訓練期間用一個信心庫動態跟蹤類別的表現。信心庫被用作向表現不佳的類別傾斜訓練的指標，具體體現在三種策略中: 1) 自適應的Copy-Paste和CutMix數據增強方法，使表現不佳的類別有更多的機會被復制或刪除; 2) 自適應數據采樣方法，鼓勵對表現不佳類別的像素進行采樣; 3) 采用一種簡單而有效的加權方法來減輕偽標記帶來的訓練噪聲。在實驗上，在不同的數據劃分協議下，AEL在Cityscapes和Pascal VOC基準測試上的表現大大優于最先進的方法。

代碼可在//github.com/hzhupku/SemiSeg-AEL上找到。

深度學習在大規模均衡數據集的視覺識別方面取得了顯著進展，但在現實世界的長尾數據上仍然表現不佳。以往的方法多采用類別再平衡訓練策略，有效緩解類別不平衡問題，但可能存在類別尾部過擬合的風險。目前的解耦方法利用多階段訓練方案克服了過擬合問題，但仍無法在特征學習階段捕獲尾類信息。在本文中，我們證明軟標簽可以作為一個強大的解決方案，將標簽相關性納入多階段訓練方案的長尾識別。軟標簽所體現的類之間的內在聯系有助于長尾識別，將知識從頭類傳遞到尾類。

具體地說，我們提出了一個概念簡單但特別有效的多階段訓練方案，稱為自監督蒸餾(SSD)。本方案由兩部分組成。首先，我們引入了一個自蒸餾的長尾識別框架，該框架可以自動挖掘標簽關系。其次，提出了一種新的基于自監督引導的蒸餾標簽生成模塊。提取的標簽集成了來自標簽和數據域的信息，可以有效地建模長尾分布。我們進行了廣泛的實驗，我們的方法在三個長尾識別基準上取得了最先進的結果:ImageNet-LT, CIFAR100-LT和iNaturalist 2018。在不同的數據集上，我們的SSD比強大的LWS基線性能高出2.7%到4.5%。

//www.zhuanzhi.ai/paper/9551df29964dcd508862fb665b5b696a

近年來，基于圖卷積網絡(GCNs)的協同過濾(CF)方法引起了廣泛的研究興趣，并取得了最先進的性能。然而，現有的基于GCN的CF模型都是淺層的，無法對高階協同信號進行建模。此外，大多數基于GCN的CF模型利用相同的歸一化規則對鄰居信息進行聚合，導致鄰居具有與流行相關的重要性(對稱歸一化)或同等重要性(左歸一化)。由于節點之間的內在差異，不同的歸一化規則適合于它們聚合鄰居信息。在本文中，我們提出了一種新的混合歸一化深度圖卷積網絡(DGCN-HN)來緩解上述局限性。首先，設計了一個由殘差連接和整體連接組成的深度圖卷積推薦網絡，以緩解過度平滑問題;它允許對GCN進行更深層次的有效訓練。然后，提出了一種混合歸一化層和簡化的注意力網絡，通過自適應地融合來自不同歸一化規則的信息，靈活地建模鄰居的重要性。在三個真實數據集上的綜合實驗表明，DGCN-HN相對于最先進的方法取得了最好的精度(????????????@20和????????@20的平均相對提高了12.12%和12.77%)。此外，我們對最佳基線進行了多樣性研究。這表明我們提出的解決方案可以實現更多樣化的推薦結果。此外，在我們廣泛的案例研究中，我們表明，我們提出的方法更有利于用戶的交互歷史較少，可用于緩解數據稀疏問題。

圖神經網絡(GNNs)被廣泛用于學習一種強大的圖結構數據表示。最近的研究表明，將知識從自監督任務遷移到下游任務可以進一步改善圖的表示。然而，自監督任務與下游任務在優化目標和訓練數據上存在內在的差距。傳統的預訓練方法可能對知識遷移不夠有效，因為它們不能適應下游任務。為了解決這一問題，我們提出了一種新的遷移學習范式，該范式可以有效地將自監督任務作為輔助任務來幫助目標任務。在微調階段，我們的方法將不同的輔助任務與目標任務進行自適應的選擇和組合。我們設計了一個自適應輔助損失加權模型，通過量化輔助任務與目標任務之間的一致性來學習輔助任務的權重。此外，我們通過元學習來學習權重模型。我們的方法可以運用于各種遷移學習方法，它不僅在多任務學習中有很好的表現，而且在預訓練和微調中也有很好的表現。在多個下游任務上的綜合實驗表明，所提出的方法能夠有效地將輔助任務與目標任務相結合，與現有的方法相比，顯著提高了性能。

//www.zhuanzhi.ai/paper/852db932624d6feeb7bbd32e67772b27

藥物的發現往往依賴于對蛋白配體結合親合性的成功預測。近年來，圖神經網絡(GNNs)通過學習蛋白質-配體配合物的表示來實現更好的親合性預測具有廣闊的應用前景。然而，現有的解決方案通常將蛋白質-配體配合物作為拓撲圖數據處理，因此沒有充分利用生物分子的結構信息。在GNN模型中也忽略了原子間基本的遠距離相互作用。為此，我們提出了一種結構感知的交互式圖神經網絡(SIGN)，它由兩部分組成: 極性啟發圖注意力層(PGAL)和成對交互池(PiPool)。PGAL迭代執行節點邊緣聚合過程，更新節點和邊緣的嵌入，同時保留原子之間的距離和角度信息。然后，采用PiPool方法收集交互邊，并進行后續的重構損失，以反映全局交互。在兩個基準上進行了詳盡的實驗研究，驗證了SIGN算法的優越性。

//www.zhuanzhi.ai/paper/92285a2e24c0fced612de

網絡嵌入在社交推薦和網絡分析中得到了廣泛的應用，如推薦系統、圖異常檢測等。然而，以前的大多數方法不能有效地處理大型圖，這是由于(i)圖上的計算通常是昂貴的，(ii)圖的大小或向量的中間結果可能是非常大的，導致要在一臺機器上處理。本文利用Apache Spark提出了一種高效的大型圖上網絡嵌入的分布式算法，該算法將一個圖遞歸地劃分為若干個小的子圖來捕獲節點的內部和外部結構信息，然后并行計算每個子圖的網絡嵌入。最后，通過聚合所有子圖上的輸出，以線性代價得到節點的嵌入。在那之后，我們在各種實驗中證明了我們提出的方法能夠在幾個小時內處理擁有數十億條邊的圖，并且比最先進的方法至少快4倍。在鏈路預測和節點分類任務方面分別提高了4.25%和4.27%。最后，我們將所提出的算法應用于騰訊的兩款網絡游戲中，分別應用好友推薦和項目推薦，在運行時間上提高了競爭者高達91.11%，在相應的評價指標上提高了12.80%。

//arxiv.org/abs/2106.10620

異構圖神經網絡(HGNN)作為一種新興的技術，在處理異構信息網絡(HIN)方面表現出優越的能力。然而，大多數HGNN遵循半監督學習方式，這明顯限制了它們在現實中的廣泛使用，因為標簽在實際應用中通常很少。近年來，對比學習，一種自監督的學習方法，成為最令人興奮的學習模式之一，在沒有標簽的情況下顯示出巨大的潛力。在本文中，我們研究了自監督HGNN的問題，并提出了一種新的HGNN的共同對比學習機制，名為HeCo。不同于傳統的對比學習只關注于對正樣本和負樣本的對比，HeCo采用了跨視角對比機制。具體來說，我們提出了HIN的兩種視圖(網絡模式視圖和元路徑視圖)來學習節點嵌入，從而同時捕獲局部和高階結構。在此基礎上，提出了一種跨視圖對比學習方法，并提出了一種視圖掩碼機制，能夠從兩個視圖中提取正面和負面的嵌入信息。這使得兩個視圖能夠相互協作監督，并最終學習高級節點嵌入。此外，設計了兩個擴展的HeCo，以產生高質量的硬負樣本，進一步提高了HeCo的性能。在各種真實網絡上進行的大量實驗表明，所提出的方法的性能優于最新的技術。

//www.zhuanzhi.ai/paper/9af678b0d09538b9cc18ef07a10d9560

近年來，圍繞著圖卷積網絡(GCN)這一主題的文獻大量涌現。如何有效地利用復雜圖(如具有異構實體和關系類型的知識圖譜)中豐富的結構信息是該領域面臨的主要挑戰。大多數GCN方法要么局限于具有同質邊類型的圖(例如，僅引用鏈接)，要么只專注于節點的表示學習，而不是針對目標驅動的目標共同傳播和更新節點和邊的嵌入。本文提出了一種新的框架，即基于知識嵌入的圖卷積網絡(KE-GCN)，該框架結合了基于圖的信念傳播中知識嵌入的能力和高級知識嵌入(又稱知識圖嵌入)方法的優勢，從而解決了這些局限性。我們的理論分析表明，KE-GCN作為具體案例提供了幾種著名的GCN方法的優雅統一，并提供了圖卷積的新視角。在基準數據集上的實驗結果表明，與強基線方法相比，KE-GCN方法在知識圖譜對齊和實體分類等任務中具有明顯的優勢。

//www.zhuanzhi.ai/paper/3404ccd79333da7c1cbf8e013f258a64

知識圖譜(KG)是一種靈活的結構，能夠描述數據實體之間的復雜關系。目前，大多數KG嵌入模型都是基于負采樣進行訓練的，即模型的目標是最大限度地增加KG內被連接實體的某些相似度，同時最小化被采樣的斷開實體的相似度。負抽樣通過只考慮負實例的子集，降低了模型學習的時間復雜度，這可能會由于抽樣過程的不確定性而無法提供穩定的模型性能。為了避免這一缺陷，我們提出了一種新的KG嵌入高效非采樣知識圖譜嵌入框架(NS-KGE)。其基本思想是在模型學習中考慮KG中的所有負面實例，從而避免負面抽樣。框架可應用于基于平方損失的知識圖譜嵌入模型或其損失可轉換為平方損失的模型。這種非抽樣策略的一個自然副作用是增加了模型學習的計算復雜度。為了解決這一問題，我們利用數學推導來降低非采樣損失函數的復雜度，最終為我們提供了比現有模型更好的KG嵌入效率和精度。在基準數據集上的實驗表明，NS-KGE框架在效率和準確率方面均優于傳統的基于負采樣的模型，該框架適用于大規模知識圖譜嵌入模型。

//www.zhuanzhi.ai/paper/a63903c464665db631cd3167d395a238