亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目： Bayesian Inferential Risk Evaluation On Multiple IR Systems

摘要：

生產系統中的信息檢索(IR)排序模型會根據用戶的反饋、研究的見解和新發展不斷進化。商業提供商可能會選擇同時探索多個新的排名模型，而不是投資所有的工程資源來產生一個對現有系統的單一挑戰者。然而，即使對復雜模型進行微小的更改，也可能產生意想不到的后果。特別是，每個主題的有效性配置文件很可能會發生變化，即使在實現了全面的改進時，也很少能從每個查詢中觀察到收益，這帶來了這樣的風險:如果部署到生產環境中，一些用戶或查詢可能會受到新模型的負面影響。

在進行一對一系統比較時，可以進行風險調整，即相對于收益重估損失并減輕此類行為，但對于一對多或多對一比較則不適用。此外，沒有一種IR評估方法將來自先前或備選排序的先驗整合到一個同質的推理框架中。在這項工作中，我們提出了貝葉斯方法，即多個挑戰者與一個冠軍進行比較。我們還展示了風險可以被納入，并展示了這樣做的好處。最后，還考慮了學術研究中經常遇到的另一種情況，即一個挑戰者與幾個前冠軍進行比較。

題目： Improving Deep Learning Training and Inference with Dynamic Hyperparameter Optimization

簡介：

在過去的十年中，深度學習證明了計算機視覺和自然語言處理所帶來的挑戰的最新準確性，從而使這些領域發生了革命性變化。深度學習模型現在是自動駕駛，醫學成像和神經機器翻譯等應用程序的基本構建塊。但是，在生產中部署這些模型時，仍然存在許多挑戰。研究人員和從業人員必須解決各種各樣的問題，包括如何有效地設計，培訓和部署資源密集型深度學習模型，以及如何在確保對變化條件的魯棒性的同時使這些方法自動化。本文提供并評估了提高深度學習訓練和推理效率以及底層系統對環境變化的魯棒性的新方法。我們通過關注為優化模型的準確性和資源使用而優化的許多超參數來解決這些問題。這些超參數包括模型架構的選擇，訓練數據集，優化算法，優化算法的超參數（例如學習率和動量）以及訓練時間預算。當前，在實踐中，幾乎所有超參數在訓練之前都進行了一次調整，此后保持不變，然而最佳的超參數值會隨時間變化（例如，隨著訓練的進行或替換用于推理的硬件時）。我們將動態調整應用于傳統上被認為是靜態的超參數。通過三個案例研究，我們表明，使用運行時信息來動態適應傳統上靜態的超參數可以提高機器學習訓練和推理的效率。 首先，我們提出并分析Selective-Backprop，這是一種新的重要采樣方法，它以在線方式對高損失示例進行優先排序。在Selective-Backprop中，被認為具有挑戰性的示例是可調超參數。通過優先處理這些具有挑戰性的示例，Selective-Backprop可以將給定的目標錯誤率訓練到比靜態方法快3.5倍的目標。接下來，我們探索AdaptSB，它是Selective-Backprop的變體，可以動態調整我們對具有挑戰性的示例進行優先級排序的方式。在“選擇性反向傳播”中，分配給難度不同示例的優先級保持不變。在AdaptSB中，我們將分配給不同類別示例的優先級視為可調超參數。通過對數據集和訓練階段動態地調整示例優先級，AdaptSB在出現標簽錯誤的數據集上表現優于Selective-Backprop。 最后，我們提出并分析了Mainstream，這是一種視頻分析系統，可讓并發應用共享共享邊緣資源，以最大程度地提高匯總結果質量。在Mainstream中，我們認為應用程序共享的程度是一個可調參數。 Mainstream在部署時使用更專業的DNN自動確定正確的權衡方案，以提高每幀的準確性并保留更多的非專業基礎模型。結果顯示，與靜態ap方法相比，Mainstream將平均事件檢測F1分數提高了多達87倍。

題目： Graph Random Neural Networks

摘要：

圖神經網絡(GNNs)將深度學習方法推廣到圖結構數據中，在圖形挖掘任務中表現良好。然而，現有的GNN常常遇到具有標記節點的復雜圖結構，并受到非魯棒性、過度平滑和過擬合的限制。為了解決這些問題，本文提出了一個簡單而有效的GNN框架——圖隨機神經網絡(Grand)。與現有GNNs中的確定性傳播不同，Grand采用隨機傳播策略來增強模型的魯棒性。這種策略也很自然地使Grand能夠將傳播從特征轉換中分離出來，減少了過度平滑和過度擬合的風險。此外，隨機傳播是圖數據擴充的一種有效方法。在此基礎上，利用無標記節點在多個擴展中的分布一致性，提高模型的泛化能力，提出了Grand的一致性正則化方法。在圖形基準數據集上的大量實驗表明，Grand在半監督的圖形學習任務上顯著優于最先進的GNN基線。最后，證明了它可以顯著減輕過度平滑和過度擬合的問題，并且它的性能與魯棒性相結合。

題目： Bayesian Neural Networks With Maximum Mean Discrepancy Regularization

摘要： 貝葉斯神經網絡(BNNs)訓練來優化整個分布的權重，而不是一個單一的集合，在可解釋性、多任務學習和校準等方面具有顯著的優勢。由于所得到的優化問題的難解性，大多數BNNs要么通過蒙特卡羅方法采樣，要么通過在變分近似上最小化一個合適的樣本下界(ELBO)來訓練。在這篇論文中，我們提出了后者的一個變體，其中我們用最大平均偏差(MMD)估計器代替了ELBO項中的Kullback-Leibler散度，這是受到了最近的變分推理工作的啟發。在根據MMD術語的性質提出我們的建議之后，我們接著展示了公式相對于最先進的公式的一些經驗優勢。特別地，我們的BNNs在多個基準上實現了更高的準確性，包括多個圖像分類任務。此外，它們對權重上的先驗選擇更有魯棒性，而且它們的校準效果更好。作為第二項貢獻，我們提供了一個新的公式來估計給定預測的不確定性，表明與更經典的標準(如微分熵)相比，它在對抗攻擊和輸入噪聲的情況下表現得更穩定。

題目

生成式對抗網絡先驗貝葉斯推斷，Bayesian Inference with Generative Adversarial Network Priors

關鍵字

生成對抗網絡，貝葉斯推斷，深度學習，人工智能，計算物理學，圖像處理

簡介

當兩者通過物理模型鏈接時，貝葉斯推斷被廣泛用于根據相關場的測量來推斷并量化感興趣場的不確定性。盡管有許多應用，貝葉斯推理在推斷具有大維離散表示和/或具有難以用數學表示的先驗分布的字段時仍面臨挑戰。在本手稿中，我們考慮使用對抗性生成網絡（GAN）來應對這些挑戰。 GAN是一種深層神經網絡，具有學習給定字段的多個樣本所隱含的分布的能力。一旦對這些樣本進行了訓練，GAN的生成器組件會將低維潛矢量的iid組件映射到目標場分布的近似值。在這項工作中，我們演示了如何將這種近似分布用作貝葉斯更新中的先驗，以及它如何解決與表征復雜的先驗分布和推斷字段的大范圍相關的挑戰。我們通過將其應用于熱噪聲問題中的熱傳導問題中的推斷和量化初始溫度場中的不確定性的問題，論證了該方法的有效性，該問題由稍后的溫度噪聲測量得出。

作者

Dhruv Patel, Assad A Oberai

主題： MEMO: A Deep Network for Flexible Combination of Episodic Memories

摘要： 近年來開發具有外部存儲器的神經網絡結構的研究經常使用基準bAbI問答數據集，該數據集提供了許多需要推理的具有挑戰性的任務。在這里，我們采用了一個經典的聯想推理任務從內存為基礎的推理神經科學文獻，以便更仔細地探索現有內存增強架構的推理能力。這項任務被認為是抓住了推理的本質——欣賞分布在多個事實或記憶中的元素之間的遙遠關系。令人驚訝的是，我們發現當前的架構很難對長距離關聯進行推理。在一個更復雜的任務中，包括尋找路徑中節點之間的最短路徑，也得到了類似的結果。因此，我們開發了MEMO，一種具有遠距離推理能力的架構。這是通過添加兩個新組件實現的。首先，它將存儲在外部存儲器中的存儲器/事實與構成外部存儲器中這些事實的項分離。第二，它使用了一種自適應檢索機制，在產生答案之前允許可變數量的“內存跳躍”。

題目： Scalable Deep Unsupervised Clustering with Concrete GMVAEs

摘要：

離散隨機變量是概率聚類模型的自然組成部分。已經發現了許多具有離散潛變量的VAE變異體。訓練這類方法需要將離散的潛在變量邊緣化，使得訓練時間復雜度在簇數上呈線性。通過在這些方法中對離散變量應用連續松弛，我們可以將訓練時間復雜度降低到所使用的集群數量不變。我們證明了在實踐中，對于其中一種方法，即高斯混合VAE，使用連續松弛不會對聚類的質量產生負面影響，但會大大減少訓練時間，將20個集群的CIFAR-100上的培訓時間從47小時減少到不足6小時。

邀請嘉賓：

Hector Urdiales是全球領先的入站營銷和銷售平臺Hubspot的機器學習工程負責人。

Mark Collier就職于Hubspot，研究興趣是機器學習，深度學習，貝葉斯深度學習，遞歸神經網絡。

摘要： 深度卷積神經網絡(Deep convolutional neural networks, DCNNs)通過制作各種破紀錄的模型，主導了計算機視覺領域的最新發展。然而，在資源有限的環境下，如嵌入式設備和智能手機上，實現強大的DCNNs仍然是一個巨大的挑戰。研究人員已經認識到，1位CNNs是解決這一問題的一個可行方案;然而，與全精度DCNNs相比，它們的性能較差。在本文中，我們提出了一種新的方法，稱為貝葉斯優化1位CNNs(簡稱BONNs)，利用貝葉斯學習這一成熟的解決困難問題的策略來顯著提高極端1位CNNs的性能。我們在貝葉斯框架中加入了全精度內核的先驗分布和特征，以端到端的方式構造了1位CNNs，這在以前的相關方法中都沒有考慮到。在理論支持下，實現了連續和離散空間同時優化網絡的貝葉斯損失，將不同的損失聯合起來，提高了模型的容量。在ImageNet和CIFAR數據集上的大量實驗表明，與最先進的1位CNNs相比，BONNs具有最佳的分類性能。

題目：* Certified Adversarial Robustness with Additive Noise

摘要：

對抗性數據實例的存在引起了深度學習社區的高度重視;相對于原始數據，這些數據似乎受到了最小程度的干擾，但從深度學習算法得到的結果卻非常不同。盡管已經考慮了開發防御模型的大量工作，但大多數此類模型都是啟發式的，并且常常容易受到自適應攻擊。人們對提供理論魯棒性保證的防御方法進行了深入的研究，但是當存在大規模模型和數據時，大多數方法都無法獲得非平凡的魯棒性。為了解決這些限制，我們引入了一個可伸縮的框架，并為構造對抗性示例提供了輸入操作規范的認證邊界。我們建立了對抗擾動的魯棒性與加性隨機噪聲之間的聯系，并提出了一種能顯著提高驗證界的訓練策略。我們對MNIST、CIFAR-10和ImageNet的評估表明，該方法可擴展到復雜的模型和大型數據集，同時對最先進的可證明防御方法具有競爭力的魯棒性。

作者簡介：

Changyou Chen是紐約州立大學布法羅分校計算機科學與工程系的助理教授，研究興趣包括貝葉斯機器學習、深度學習和深度強化學習。目前感興趣的是:大規模貝葉斯抽樣和推理、深度生成模型，如VAE和GAN、用貝葉斯方法進行深度強化學習。