真實的顏色紋理生成是RGB-D表面重建的一個重要步驟,但由于重建幾何形狀的不準確性、相機姿態的不正確以及與視圖相關的成像偽影,在實踐中仍然具有挑戰性。在這項工作中,我們提出了一種利用從弱監督視圖中獲得的條件對抗損失來生成顏色紋理的新方法。具體地說,我們提出了一種方法,通過學習一個目標函數來生成近似表面的真實感紋理,即使是在未對齊的圖像中。我們的方法的關鍵思想是學習一個基于補丁的條件鑒別器,它可以引導紋理優化對不匹配的容忍度。我們的鑒別器采用一個合成的視圖和一個真實的圖像,并在一個廣義的真實感定義下評估合成的圖像是否真實。我們通過提供輸入視圖的“真實”示例對及其未對齊的版本來訓練鑒別器,這樣學習到的競爭損失將能夠容忍掃描的錯誤。在定量或定性評價下對合成和真實數據進行的實驗表明,我們的方法與現有方法相比具有優勢。我們的代碼是公開的視頻演示。
主題: An operator view of policy gradient methods
摘要: 我們將策略梯度方法轉換為兩個運算符的重復應用:策略改進運算符I(將任何策略π映射到更好的Iπ)和投影運算符P,其在可實現策略集中找到Iπ的最佳近似。 我們使用此框架來引入傳統策略梯度方法(如Reinforce和PPO)的基于操作員的版本,從而更好地理解了它們的原始版本。 我們還利用對I和P作用的認識,提出了預期收益的新的全局下限。 這種新的視角使我們能夠進一步彌合基于策略的方法和基于價值的方法之間的鴻溝,例如,展示了如何將Reinforce和Bellman最優算子視為同一枚硬幣的兩個方面。
主動學習是通過對最有代表性的樣本進行抽樣,設計標簽有效的算法。在本文中,我們提出了一種狀態重新標記對抗主動學習模型(SRAAL),該模型利用標注和標記/未標記的狀態信息來獲得信息量最大的未標記樣本。SRAAL由一個表示生成器和一個狀態鑒別器組成。該生成器利用補充標注信息與傳統重建信息生成樣本的統一表示,將語義嵌入到整個數據表示中。然后,我們在鑒別器中設計了一個在線不確定度指標,使未標記樣本具有不同的重要性。因此,我們可以根據鑒別器的預測狀態來選擇信息最豐富的樣本。我們還設計了一個算法來初始化標記池,這使得后續的采樣更加有效。在各種數據集上進行的實驗表明,我們的模型優于現有的主動學習方法,并且我們的初始采樣算法具有更好的性能。
對抗攻擊的最新進展揭示了現代深層神經網絡的內在弱點。從那時起,人們就致力于通過專門的學習算法和損失函數來增強深度網絡的魯棒性。在這項工作中,我們從體系結構的角度研究了網絡體系結構的模式,這些模式對對抗攻擊具有彈性。為了獲得本研究所需的大量網絡,我們采用單次神經結構搜索,對一個大網絡進行一次訓練,然后對采樣的子網絡進行細化。采樣的結構及其實現的精度為我們的研究提供了豐富的基礎。我們的“健壯架構Odyssey”揭示了幾個有價值的觀察結果:1)緊密連接的模式提高了健壯性;2)在計算預算下,直接連接邊加入卷積運算是有效的;3)求解過程流(FSP)矩陣是網絡魯棒性的良好指標。基于這些觀察,我們發現了一系列健壯的體系結構(RobNets)。在各種數據集上,包括CIFAR、SVHN、Tiny-ImageNet和ImageNet,與其他廣泛使用的體系結構相比,RobNets具有更好的健壯性性能。值得注意的是,在白盒和黑箱攻擊下,即使參數數更少,RobNets也能顯著提高魯棒精度(~5%的絕對增益)。
視頻描述是一項具有挑戰性的任務,需要對視覺場景有深刻的理解。最先進的方法使用場景級或對象級信息生成標題,但不顯式地建模對象交互。因此,他們往往無法做出有視覺根據的預測,而且對虛假的相關性很敏感。本文提出了一種新的視頻描述時空圖模型,該模型利用了時空中物體間的相互作用。我們的模型建立了可解釋的鏈接,并能夠提供明確的視覺基礎。為了避免由于對象數量的變化而導致系統性能的不穩定,提出了一種基于局部對象信息的全局場景特征正則化的對象感知知識提取機制。我們通過在兩個基準上的大量實驗來證明我們的方法的有效性,表明我們的方法具有可解釋預測的競爭性能。
人臉識別系統在實際應用中往往會遇到一些不可見的領域,由于其泛化能力較差而導致性能不佳。例如,一個訓練有素的webface數據模型不能處理監視場景中的ID和Spot任務。在本文中,我們的目標是學習一個不需要任何模型更新就可以直接處理新的未知域的廣義模型。為此,我們提出了一種新的基于元學習的人臉識別方法——元人臉識別(Meta face recognition, MFR)。MFR以元優化目標綜合源/目標域移位,這要求模型不僅要在綜合的源域上學習有效的表示,還要在綜合的目標域上學習有效的表示。具體來說,我們通過域級抽樣策略構建域移位批次,并通過優化多域分布得到合成源/目標域上的反向傳播梯度/元梯度。進一步結合梯度和元梯度對模型進行更新,提高了模型的泛化能力。此外,我們提出了兩種評估廣義人臉識別的基準。在我們的基準上進行的實驗驗證了我們的方法與幾個基線和其他技術水平的比較的普遍性。提出的基準將在//github.com/cleardusk/MFR上提供。
題目: Rotate-and-Render: Unsupervised Photorealistic Face Rotation from Single-View Images
簡介:
盡管最近幾年人臉旋轉取得了快速進展,但是缺乏高質量的訓練數據仍然是現有方法的一大障礙。當前的生成模型嚴重依賴于具有同一人的多視圖圖像的數據集。因此,它們的生成結果受到數據源的規模和范圍的限制。為了克服這些挑戰,我們提出了一種新穎的無監督框架,該框架可以僅使用野外的單視圖圖像集來合成逼真的旋轉面部。我們主要在于,在3D空間中來回旋轉面并將其重新渲染到2D平面可以充當強大的自我監督。我們利用3D人臉建模和高分辨率GAN的最新進展來構成我們的構建塊。由于可以在不損失細節的情況下將3D旋轉和面部渲染應用到任意角度,因此我們的方法非常適用于現有方法不足的野外場景(即沒有可用的配對數據)。廣泛的實驗表明,與廣泛使用的姿勢和領域相比,我們的方法具有比最先進的方法更好的合成質量和身份保留功能。此外,我們驗證了旋轉和渲染框架自然可以充當有效的數據增強引擎,即使在強大的基線模型上也可增強現代人臉識別系統.
題目: PolyGen: An Autoregressive Generative Model of 3D Meshes
摘要:
多邊形網格是三維幾何的一種有效表現形式,在計算機圖形學、機器人技術和游戲開發中具有重要意義。現有的基于學習的方法避免了使用3D網格的挑戰,而是使用與神經結構和訓練方法更兼容的替代對象表示。提出了一種直接對網格建模的方法,利用基于變換的結構對網格頂點和面進行順序預測。我們的模型可以對一系列輸入進行條件設置,包括類對象、體素和圖像,因為模型是概率性的,所以它可以生成在模糊場景中捕獲不確定性的樣本。我們證明了該模型能夠產生高質量、可用的網格,并為網格建模任務建立了對數似然基準。我們還根據不同的方法評估了表面重建的條件模型,并在沒有直接訓練的情況下展示了競爭性的表現。
題目: Quantum Adversarial Machine Learning
摘要: 對抗性機器學習是一個新興的研究領域,主要研究機器學習方法在對抗性環境中的脆弱性,并開發相應的技術,使學習對對抗性操作具有魯棒性。它在各種機器學習應用中起著至關重要的作用,近年來引起了不同社區的極大關注。本文探討了量子機器學習中不同的對抗情境。我們發現,與基于經典神經網絡的傳統分類器類似,量子學習系統同樣容易受到精心設計的對抗性示例的攻擊,而與輸入數據是經典的還是量子的無關。特別是,我們發現,通過對原始合法樣本添加不可察覺的擾動而獲得的對抗性示例,可以最終欺騙達到接近最新精度的量子分類器。這在不同場景下的量子對抗學習中得到了明確的證明,包括對現實生活中的圖像(如數據集MNIST中的手寫數字圖像)進行分類,對物質的學習階段(如鐵磁/順磁有序和對稱保護拓撲相)進行分類,以及對量子數據進行分類。此外,我們還指出,根據手頭的對抗性例子的信息,可以設計出實用的防御策略來對抗多種不同的攻擊。我們的研究結果揭示了量子機器學習系統對各種擾動的顯著脆弱性,這不僅從理論上揭示了機器學習與量子物理學之間的聯系,而且為基于近期和未來量子技術的量子分類器的實際應用提供了有價值的指導。