亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

隨著機器學習模型越來越多地用于做出涉及人類的重大決策，重要的是，這些模型不能因為種族和性別等受保護的屬性而歧視。然而，模型持有人并不是受到歧視性模型傷害的首當其沖的人，因此模型持有人修復歧視性模型的自然動機很少。因此，如果其他實體也能發現或減輕這些模型中的不公平行為，將對社會有益。只需要對模型進行查詢訪問的黑盒方法非常適合這個目的，因為它們可以在不知道模型的全部細節的情況下執行。

在這篇論文中，我考慮了三種不同形式的不公平，并提出了解決它們的黑盒方法。第一個是代理使用，模型的某些組件是受保護屬性的代理。其次是個體公平性的缺乏，這使模型不應該做出任意決定的直覺觀念形式化。最后，模型的訓練集可能不具有代表性，這可能導致模型對不同的保護組表現出不同程度的準確性。對于這些行為中的每一個，我提出使用一個或多個方法來幫助檢測模型中的此類行為或確保缺乏此類行為。這些方法只需要對模型的黑箱訪問，即使模型持有者不合作，它們也能有效地使用。我對這些方法的理論和實驗分析證明了它們在這種情況下的有效性，表明它們是有用的技術工具，可以支持對歧視的有效回應。

機器學習正在醫療健康等各種關鍵應用得到實施。為了能夠信任機器學習模型，并在它出現故障時修復它，能夠解釋它的決策是很重要的。例如，如果一個模型在特定的子群體(性別、種族等)上的表現很差，找出原因并解決它是很重要的。在本文中，我們研究了現有可解釋性方法的不足，并介紹了新的ML可解釋性算法，旨在解決一些不足。數據是訓練機器學習模型的材料。如果不返回最初訓練ML模型的數據，就不可能解釋ML模型的行為。一個基本的挑戰是如何量化每個數據源對模型性能的貢獻。例如，在醫療健康和消費市場，有人提出個人應因其產生的數據而得到補償，但對個人數據的公平估值尚不清楚。在本文中，我們討論了數據公平價值評估的原則框架; 也就是說，給定一個學習算法和一個性能度量來量化結果模型的性能，我們試圖找到單個數據的貢獻。本論文分為3個部分，機器學習的可解釋性和公平性，數據估值，以及用于醫療健康的機器學習——所有這些都被一個共同的目標聯系在一起，即使機器學習的使用對人類的福祉更負責。

//searchworks.stanford.edu/view/13874839

在過去的幾年中，深度學習和醫學的交叉領域取得了快速的發展，特別是在醫學圖像的解譯方面。在本文中，我描述了三個關鍵方向，為醫學圖像解釋的深度學習技術的發展提出了挑戰和機遇。首先，我討論了專家級醫學圖像解譯算法的發展，重點是用于低標記醫學數據設置的遷移學習和自監督學習算法。其次，我討論了高質量數據集的設計和管理以及它們在推進算法發展中的作用，重點是使用有限的手動注釋的高質量標記。第三，我討論了真實世界的評估醫學圖像算法的研究，系統地分析了在臨床相關分布變化下的性能。總之，這篇論文總結了關鍵貢獻和見解，在這些方向與關鍵應用跨醫學專業。

//searchworks.stanford.edu/view/13876519

概率圖建模(PGM)提供了一個框架，以設計一個可解釋的生成過程的數據和表達不確定性的未知數。這使得PGM對于理解數據背后的現象和決策非常有用。在可解釋推理是關鍵的領域內，PGM取得了巨大的成功，例如市場營銷、醫學、神經科學和社會科學。然而，PGM往往缺乏靈活性，這阻礙了它在建模大規模高維復雜數據和執行需要靈活性的任務(例如在視覺和語言應用程序中)時的使用。

深度學習(DL)是另一個從數據中建模和學習的框架，近年來取得了巨大的成功。DL功能強大，具有很大的靈活性，但缺乏PGM的可解釋性和校準性。

本文研究了深度概率圖建模(DPGM)。DPGM通過利用DL使PGM更加靈活。DPGM帶來了從數據中學習的新方法，這些方法展示了PGM和DL的優點。

我們在PGM中使用DL來構建具有可解釋潛在結構的靈活模型。我們提出一系列模型擴展指數族主成分分析(EF-PCA)，使用神經網絡提高預測性能，同時加強潛在因素的可解釋性。我們引入的另一個模型類支持在建模順序數據時考慮長期依賴關系，這在使用純DL或PGM方法時是一個挑戰。該序列數據模型類已成功應用于語言建模、情感分析的無監督文檔表示學習、會話建模和醫院再入院預測的患者表示學習。最后，DPGM成功地解決了概率主題模型的幾個突出問題。

在PGM中利用DL也帶來了學習復雜數據的新算法。例如，我們開發了熵正則化對抗學習，這是一種與PGM中使用的傳統最大似然方法不同的學習范式。從DL的角度來看，熵正則化對抗學習為生成式對抗網絡長期存在的模式崩潰問題提供了一種解決方案。

在21世紀，人們與技術互動的方式發生了重大變化，自然語言生成(NLG)發揮著核心作用。智能手機和智能家居設備的用戶現在希望他們的設備能夠了解他們的處境，并在交互中產生自然的語言輸出。本文從人類溝通的三個方面來確定如何讓機器聽起來像人類——風格、內容和結構。本文提供了深度學習的解決方案來控制這些變量在神經文本生成。我首先概述了可以操縱的各種模塊，以進行有效的可控文本生成。我提供了一種使用反向翻譯進行樣式轉換的新穎解決方案，并引入了兩個新任務，將來自非結構化文檔的信息利用到生成過程中。我還為句子排序任務提供了一種新的優雅設計，以學習有效的文檔結構。最后，我提供了一個關于可控制文本生成應用的倫理考慮的討論。提出的工作，我計劃:(I) 提供對各種可控文本生成技術的經驗理解，(ii) 提供對樣式的計算理解并構建有用的樣式表示，(iii) 設計有效的內容基礎生成方式，以及(iv) 探索可控文本生成的更廣泛影響。

//www.cs.cmu.edu/~sprabhum/

向量嵌入模型是現代機器學習知識表示和推理方法的基石。這些方法旨在通過在低維向量空間中學習概念和其他領域對象的表示，將語義問題轉化為幾何問題。本著這種精神，這項工作提倡基于密度和區域的表示學習。將領域元素作為幾何對象嵌入到單點之外，使我們能夠自然地表示廣度和一詞多義，進行不對稱比較，回答復雜的查詢，并在標記數據稀缺時提供強烈的歸納偏見。我們提出了一個使用高斯密度的詞表示模型，實現了概念之間的不對稱隱含判斷，以及一個基于軸對齊超矩形表示(盒)格的加權傳遞關系和多元離散數據的概率模型。我們將探討這些嵌入方法在不同的稀疏性、邊緣權值、相關性和獨立結構的適用性，以及表示的擴展和不同的優化策略。我們從理論上研究了盒格的表示能力，并提出了擴展模型來解決在建模困難的分布和圖方面的不足。

教機器理解人類語言文檔是人工智能領域最難以捉摸和長期存在的挑戰之一。本文探討了閱讀理解的問題:如何構建計算機系統來閱讀一篇文章并回答理解問題。一方面，我們認為閱讀理解是評估計算機系統理解人類語言能力的一項重要任務。另一方面，如果我們能夠構建高性能的閱讀理解系統，它們將成為問答和對話系統等應用的關鍵技術。

本文主要研究了基于深度神經網絡的閱讀理解模型。與傳統的稀疏的、手工設計的基于特征的模型相比，這些端到端神經模型被證明在學習豐富的語言現象方面更有效，并在很大程度上提高了所有現代閱讀理解基準的性能。

本文由兩部分組成。第一部分，我們的目標是涵蓋神經閱讀理解的本質，并介紹我們在構建有效的神經閱讀壓縮模型方面所做的努力，更重要的是了解神經閱讀理解模型實際學習了什么，以及解決當前任務需要多大的語言理解深度。我們還總結了該領域的最新進展，并討論了該領域未來的發展方向和有待解決的問題。

在本文的第二部分，我們探討了如何基于最近神經閱讀理解的成功構建實際應用。特別是，我們開創了兩個新的研究方向:1)如何將信息檢索技術與神經閱讀理解相結合，解決大規模開放領域的問題回答;和2)如何從現有的單輪、基于斯潘語言的閱讀理解模型中構建會話問答系統。我們在DRQA和COQA項目中實現了這些想法，并證明了這些方法的有效性。我們相信它們對未來的語言技術有著巨大的前景。

//chendq-thesis-zh.readthedocs.io/en/latest/index.html

【導讀】牛津大學的博士生Oana-Maria Camburu撰寫了畢業論文《解釋神經網絡 （Explaining Deep Neural Networks）》，系統性介紹了深度神經網絡可解釋性方面的工作，值得關注。

作者介紹：

Oana-Maria Camburu，來自羅馬尼亞，目前是牛津大學的博士生，主修機器學習、人工智能等方向。

Explaining Deep Neural Networks

深度神經網絡在計算機視覺、自然語言處理和語音識別等不同領域取得了革命性的成功，因此越來越受歡迎。然而，這些模型的決策過程通常是無法向用戶解釋的。在各種領域，如醫療保健、金融或法律，了解人工智能系統所做決策背后的原因至關重要。因此，最近研究了幾個解釋神經模型的方向。

在這篇論文中，我研究了解釋深層神經網絡的兩個主要方向。第一個方向由基于特征的事后解釋方法組成，也就是說，這些方法旨在解釋一個已經訓練過的固定模型(事后解釋)，并提供輸入特征方面的解釋，例如文本標記和圖像的超級像素(基于特征的)。第二個方向由生成自然語言解釋的自解釋神經模型組成，也就是說，模型有一個內置模塊，為模型的預測生成解釋。在這些方面的貢獻如下：

• 首先，我揭示了僅使用輸入特征來解釋即使是微不足道的模型也存在一定的困難。我表明，盡管有明顯的隱含假設，即解釋方法應該尋找一種特定的基于真實值特征的解釋，但對于預測通常有不止一種這樣的解釋。我還展示了兩類流行的解釋方法，它們針對的是不同類型的事實基礎解釋，但沒有明確地提及它。此外，我還指出，有時這兩種解釋都不足以提供一個實例上決策過程的完整視圖。

• 其次，我還介紹了一個框架，用于自動驗證基于特征的事后解釋方法對模型的決策過程的準確性。這個框架依賴于一種特定類型的模型的使用，這種模型有望提供對其決策過程的洞察。我分析了這種方法的潛在局限性，并介紹了減輕這些局限性的方法。引入的驗證框架是通用的，可以在不同的任務和域上實例化，以提供現成的完整性測試，這些測試可用于測試基于特性的后特殊解釋方法。我在一個情緒分析任務上實例化了這個框架，并提供了完備性測試s1，在此基礎上我展示了三種流行的解釋方法的性能。

• 第三，為了探索為預測生成自然語言解釋的自解釋神經模型的發展方向，我在有影響力的斯坦福自然語言推斷(SNLI)數據集之上收集了一個巨大的數據集，數據集約為570K人類編寫的自然語言解釋。我把這個解釋擴充數據集稱為e-SNLI。我做了一系列的實驗來研究神經模型在測試時產生正確的自然語言解釋的能力，以及在訓練時提供自然語言解釋的好處。

• 第四，我指出，目前那些為自己的預測生成自然語言解釋的自解釋模型，可能會產生不一致的解釋，比如“圖像中有一只狗。”以及“同一幅圖片中沒有狗”。不一致的解釋要么表明解釋沒有忠實地描述模型的決策過程，要么表明模型學習了一個有缺陷的決策過程。我將介紹一個簡單而有效的對抗性框架，用于在生成不一致的自然語言解釋時檢查模型的完整性。此外，作為框架的一部分，我解決了使用精確目標序列的對抗性攻擊的問題，這是一個以前在序列到序列攻擊中沒有解決的場景，它對于自然語言處理中的其他任務很有用。我將這個框架應用到e-SNLI上的一個最新的神經模型上，并表明這個模型會產生大量的不一致性。

這項工作為獲得更穩健的神經模型以及對預測的可靠解釋鋪平了道路。

地址： //arxiv.org/abs/2010.01496

論文摘要：

教機器理解人類語言文檔是人工智能中最難以捉摸和長期存在的挑戰之一。本文探討了閱讀理解的問題:如何構建計算機系統來閱讀文章和回答理解問題。一方面，我們認為閱讀理解是評價計算機系統對人類語言理解程度的一項重要任務。另一方面，如果我們能夠構建高性能的閱讀理解系統，那么它將成為問答和對話系統等應用的關鍵技術。本文以神經閱讀理解為研究對象:一種基于深度神經網絡的閱讀理解模型。與傳統的稀疏的、手工設計的基于特征的模型相比，這些端到端神經模型在學習豐富的語言現象方面更加有效，并且在所有現代閱讀理解基準上的表現都有很大的提高。本文由兩部分組成。第一部分是對神經閱讀理解的本質進行概括，介紹我們在構建有效的神經閱讀理解模型方面所做的努力，更重要的是了解神經閱讀理解模型實際學到了什么，以及解決當前任務需要什么樣的語言理解深度。我們還總結了該領域的最新進展，討論了該領域的未來發展方向和有待解決的問題。在本文的第二部分，我們探討了如何在最近神經閱讀理解成功的基礎上建立實際應用。特別是，我們開創了兩個新的研究方向:1)如何將信息檢索技術與神經閱讀理解相結合，解決大規模開放領域的問題;(2)如何從當前的單圈、跨步閱讀理解模式中構建會話問答系統。我們在DrQA和CoQA項目中實現了這些想法，并證明了這些方法的有效性。我們相信他們對推動未來的語言技術有很大幫助。

論文題目：

Compositional visual intelligence

作者：

Johnson Justin

貢獻者：

Li, Fei Fei, 1976- degree supervisor.

Goodman, Noah, degree committee member.

Ré, Christopher, degree committee member.

Stanford University. Computer Science Departmen

網址：

//searchworks.stanford.edu/view/12746402

論文摘要：

計算機視覺領域在過去幾年取得了巨大的進步，這主要歸功于卷積神經網絡。盡管在傳統的計算機視覺任務上取得了成功，但我們的機器系統離人類的一般視覺智能還有很長的路要走。視覺智能的一個重要方面是組合——對整體的理解源于對部分的理解。為了實現組成視覺智能的目標，我們必須探索新的計算機視覺任務，創建新的數據集，開發利用組成性的新模型。在這篇論文中，我將討論我的工作在三個不同的計算機視覺任務涉及語言，其中包含的合規性幫助我們建立具有更豐富的視覺智能的系統。我將首先討論圖像標題描述:傳統系統生成描述圖像的簡短句子，但是通過將圖像分解為區域和描述分解為短語，我們可以生成兩種更豐富的描述:密集的標題和段落。其次，我將討論視覺問答:現有的數據集主要由簡短的問題組成;為了研究更復雜的需要復合位置推理的問題，我們引入了一個新的benchark數據集。在此基礎上，提出了一種可視化問題交互的顯式組成模型，該模型將問題轉換為功能程序，并通過組合神經模塊來執行這些程序。第三，我將討論文本到圖像生成:現有的系統可以根據文本描述檢索或生成單個對象的簡單圖像，但難以處理更復雜的描述。用對象和關系的構成場景圖代替自由形式的自然語言，可以檢索和生成包含多個對象的復雜圖像。