亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

稀疏深度神經網絡 (DNNs) 在許多數據和計算密集型應用中是一個重要的計算核心（例如，圖像分類、語音識別和語言處理）。這些核心中的稀疏性激發了許多稀疏DNN加速器的發展。然而，盡管已經有大量的提議，但還沒有一個系統的方法來理解、建模和開發各種稀疏DNN加速器。為了解決這些限制，這篇論文首先提出了一個稀疏性相關加速特性的分類法，以系統地理解稀疏DNN加速器的設計空間。基于這個分類法，它提出了Sparseloop，這是第一個用于稀疏DNN加速器的快速、準確和靈活評估的分析建模工具，使得在早期階段可以探索龐大和多樣的稀疏DNN加速器設計空間。在代表性的加速器設計和工作負載中，Sparseloop比周期級模擬實現了超過2000倍的建模速度，保持了相對的性能趨勢，并達到了≤ 8%的平均建模誤差。利用Sparseloop，這篇論文研究了設計空間，并提出了HighLight，一個高效且靈活的稀疏DNN加速器。具體來說，HighLight通過一個新的稀疏模式，稱為分層結構稀疏性，來加速DNNs，關鍵的洞見是我們可以通過分層地組合簡單的稀疏模式來高效地加速各種程度的稀疏性（包括密集型）。與現有的工作相比，HighLight在具有不同稀疏度的工作負載中實現了高達6.4倍的能量延遲乘積 (EDP) 改進，并且始終位于代表性DNNs的EDP-準確性帕累托前沿。

語言模型已在自然語言處理中無處不在，它們利用大量未標記的數據并為下游任務進行微調。但人們對這些模型生成的文本的準確性和可信度提出了擔憂。

與此同時，差分隱私已成為一種框架，用于保護敏感信息，同時允許機器學習算法從中學習。然而，統計保證與實用性之間的權衡對許多應用都帶來了挑戰**。因此，這篇論文旨在開發平衡保證和實用性的技術，重點是提高生成模型的可靠性，同時保持其靈活性**。

首先，我們提出了一個框架，可以有條件地使用硬約束生成文本，允許用戶事先指定某些元素，而留下其他元素供模型預測。通過促進交互式編輯和重寫，此框架為用戶提供了對生成文本的精確控制。 接下來，我們引入了在軟約束下生成預測的共形預測方法，以確保統計的正確性。這些方法在保持高經驗精度的同時，為文本生成產生有效的置信集。

最后，我們通過放寬差分隱私的保證概念到基于猜測的定義，探索數據發布中隱私與實用性之間的平衡。我們提出了一種基于學習的去識別化方法，解決了隱私保護的挑戰，同時仍能有效地利用數據。我們提出的方法的有效性通過一系列任務得到了證明，包括文本填充、放射學報告生成和X光分類。這些任務展示了我們的技術在各種實際場景中的實用性。

機器學習有潛力革新生物學和醫療保健領域，為科學家和臨床醫生提供新工具進行研究，并決定對患者的正確治療。然而，盡管最近的表示學習方法給人一種普遍的黑箱解決所有問題的印象，但研究表明這并非一般情況。盡管模型可以以黑箱方式表現良好，但它們往往存在泛化能力低和對分布偏移敏感的問題。這凸顯了需要開發出考慮到下游應用的方法，并定制以將問題的對稱性納入模型架構的需求。這些歸納偏差對于新數據的性能以及當數據分布發生變化時模型保持穩健至關重要。然而，構建好的模型只是解決方案的一半。為確保模型能夠很好地轉化為臨床應用，他們也需要以這個目標為出發點進行適當的評估。//www.research-collection.ethz.ch/handle/20.500.11850/602440在這篇論文中，我在深入研究生物學、醫學和機器學習交叉處的結構化數據類型的同時，解決了上述問題。在算法貢獻方面，我首先提出了一種新的非線性降維算法，旨在保留多尺度關系。基因組測序的成本降低和測序單個細胞的能力導致生命科學中高維數據呈指數級增長。這樣的數據不能被直觀地理解，因此降維方法，能夠捕捉到生物學中存在的嵌套關系，成為必要工具。其次，我開發了適用于存在不規則采樣數據的臨床應用的方法。傳統的機器學習模型需要將此類數據轉換為固定大小的表示，或者在應用之前對缺失值進行插值。我提出了兩種適用于不規則采樣數據的方法，不需要進行此類預處理步驟。第一種是一種新的從MALDI-TOF光譜中提取峰值的核函數，而第二種是一種可以通過將它們描述為觀察集合應用于不規則采樣時間序列的深度學習模型。第三，我提出了一種擴展圖神經網絡的方法，允許模型考慮全局信息，而不是只要求節點與它們的鄰居交換信息。圖是藥理學的一個重要數據結構，因為它們經常用于表示小分子。第三，我展示了對圖神經網絡的擴展，允許模型考慮全局信息，而不是僅僅要求節點僅與它們的鄰居交換信息。圖是藥理學的一個重要數據結構，因為它們經常用來表示小分子。為了解決對這類模型的適當評估，我進行了一項關于醫療時間序列模型的詳細研究，重點在于它們在嚴重感染早期預測任務中轉移到其他數據集的能力。此外，我展示了傳統的評估圖生成模型的方法對超參數的選擇高度敏感，這可能導致性能估計偏差。總結來說，我的論文解決了許多在機器學習、醫療保健和生物學交叉點的問題。它演示了如何通過引入更多（領域特定）知識來改進模型，以及在評估這些模型時應關注的地方。

機器學習算法已被廣泛應用于多種領域，人們對這些算法可能存在的偏見越來越關注。雖然已有許多解決算法預測偏見的方案，但在將預測轉化為合理決策的過程中仍存在空白。此外，即使一個公正且公平的決策也可能在決策產生反饋效應時導致不可預期的后果。盡管已經有許多方案提出實現一次性決策的公平性，但在研究連續算法決策的長期效果方面仍有空白。在這篇論文中，我們專注于在連續決策環境中研究算法的公平性。我們首先研究如何將模型預測轉化為公平的決策。具體而言，給定黑箱模型（機器學習模型或人類專家）的預測，我們基于經典的學習自專家方案提出了一個算法，將預測結合起來生成公平且準確的決策。我們的理論結果表明，可以在不犧牲太多遺憾的情況下實現近似等化的機會。我們還展示了這個算法在公平社區常用的真實數據集上的表現。

在論文的第二部分，我們研究在連續設定中強制執行靜態公平決策是否能在反饋循環下導致弱勢群體的長期平等和改善。特別地，我們使用具有一般過渡函數的馬爾可夫決策模型來模擬算法決策和基本分布之間的互動。我們提出了一個新的度量標準，通過衡量分布的中心、擴散和形狀的變化來衡量算法決策的分布影響。這個度量將影響劃分為群體內影響和群體間影響，其中群體內影響度量政策如何影響組內分布，群體間影響則度量政策如何對兩個人口群體的分布產生不同的影響。我們的結果顯示，閾值策略的效用和群體間影響之間通常存在權衡，常見的公平約束可能會導致“反作用效應”，即對各群體的影響可能存在差異。

隨著深度學習方法多年來取得了巨大的成功，對這些模型的理解還沒有跟上模型的發展。可解釋機器學習是致力于理解復雜機器學習模型的主要研究領域之一。雖然提出解釋的例子越來越多，但對解釋的評估一直是一個懸而未決的問題。在解釋的開發階段，涉及人類的評估是昂貴的。為了解決解釋設計過程中涉及到人的困難，本文旨在定義客觀標準，允許人們在沒有人的情況下衡量一些好的屬性解釋和相對于客觀標準可取的設計解釋。

在本文中，我們討論了使可解釋AI方法的評估更加客觀的不同標準，其中我們的方法主要可以分為三個方面:(a)忠實導向(b)理論驅動的(c)應用驅動的。面向忠實度的度量通常與模型的解釋應該忠實地“解釋”模型這一核心概念相關聯。理論動機的客觀標準通常具有“當模型和數據滿足某種性質時，解釋應滿足相應的性質”的形式。應用驅動的客觀標準定量模擬解釋如何在沒有人類的情況下幫助某些應用。我們為不同類型的解釋設計客觀標準，并使用這些客觀標準來指導新的解釋的設計。最后，通過一些人體研究來驗證這些新解釋的設計。

Chih-Kuan Yeh

//chihkuanyeh.github.io/ 谷歌Brain的研究科學家。在CMU讀博期間，研究興趣集中在通過更客觀的解釋(可能是功能評價或理論性質)來理解和解釋機器學習模型。最近，對用更少(但更有效)的數據構建更好的大尺度模型感興趣，并通過模型解釋獲得的理解來改進模型。

**引言

可解釋人工智能(XAI)領域關注的是解釋機器學習模型的任務，隨著現代機器學習模型復雜性的增長，這一領域受到了越來越多的關注。解釋機器學習模型復雜的內部工作原理的需求也顯著增加，特別是當機器學習模型被應用于高風險決策時，包括金融、法律、醫療、社會應用和自動駕駛。在這些應用中，對高風險決策的解釋有助于理解和調試模型，增強用戶對模型的信任，明確模型的責任，并與模型就人- ai協作進行溝通。例如，使用人工智能幫助診斷的醫生將通過了解人工智能如何預測來決定是否信任它，從而受益。在社交應用中，理解模型為什么會做出某些決定來檢驗算法是否公平也很關鍵。此外，《通用數據保護條例》聲稱，數據保護當局有權解釋算法的輸出[123]。

解釋機器學習模型的一個關鍵困難是術語“解釋”或“可解釋性”沒有明確定義。目前的大多數解釋都解釋了復雜模型的某些類型的“屬性”，這些屬性可以被人類消化。一些常見的屬性包括但不限于模型使用的最顯著的數據輸入特征，模型使用的最顯著的訓練數據，模型使用的最顯著的人類可理解的概念，以及如何改變數據點的特征來改變模型的預測。然而，有許多不同的解釋和相互矛盾的哲學。例如，給定一個圖像分類器，圖像分類器的關鍵像素可能被認為是對某些用戶的一個很好的解釋，因為它闡明了模型如何進行預測，但也可能被認為是不可解釋的，因為最顯著的特征可能不足以推斷模型的推理原理。可以進行用戶研究和訪談，并要求用戶在給定的一組不同的解釋中選擇最具解釋性的算法，這與公正性的度量啟發有關[27,75]。然而，要求人類選擇最容易解釋的解釋也有其缺陷。眾所周知，人類存在認知偏差，解釋似乎是可以解釋的，但與模型無關。最近的研究甚至表明，許多關鍵的解釋彼此不一致，用戶可以根據個人喜好來決定使用哪種解釋[92]。如何選擇一個復雜機器學習模型的正確“屬性”來解釋?

衡量解釋有效性的另一種方法可能是評估解釋在應用中與人類一起的有用性，這是許多最近的研究提出的。Doshi-Velez和Kim[39]、Murdoch等人[116]提出要評估涉及人類用戶的現實應用中的解釋，并測試解釋如何在現實應用中幫助用戶。類似地，Chen等人。[25]鼓勵可解釋的機器學習問題與目標用例更緊密地聯系起來，并建議考慮基于真實任務的模擬版本的模擬。雖然這種評價是基于實際的應用，但利用這種類型的評價可能代價高昂，特別是在解釋的發展階段，因為這種評價往往需要真正的人參與。因此，合理的基于功能的評估對于設計/選擇要使用的解釋可能是有用的，而應用程序驅動的評估可以用于驗證設計/選擇的解釋可以在真實的應用程序或模擬用例中幫助人類。我們將這類基于功能的評估稱為客觀標準，主要是因為它在評估階段不需要實際的人員參與。

在本文中，我們主要考慮三類客觀標準(基于功能的評價):(1)以忠實度為動機的客觀標準，其動機是解釋對模型的描述能力如何;(2)以應用為動機的客觀標準，其動機是解釋在現實應用中如何被使用;(3)以理論為動機的公理標準，其動機是通過解釋的某些理論特性來幫助解釋的設計。下面，我們將更深入地討論這三類客觀標準。

• 忠實導向的客觀標準

一類基于功能的評價是基于解釋對給定模型的忠實程度，也被稱為解釋的忠實度或描述準確性[116]。解釋的忠實度是至關重要的，因為“忠實度”通常很難用人類來衡量——人類可能更喜歡那些在視覺上有吸引力但與要解釋的模型無關的解釋。客觀標準的一種形式是基于“解釋是否解釋了這個模型?”這個問題。這些評估的核心思想是確定一個忠實的解釋應該滿足的屬性，并在模型-解釋對上執行測試，以驗證屬性是否滿足。Murdoch等人[116]也將其稱為描述性準確性，因為它衡量了解釋解釋模型的準確性。例如，許多解釋是局部鄰域內的線性近似，而忠實度度量度量解釋在局部鄰域內近似模型的程度。Adebayo等人[2]的一個流行例子是為解釋設計一個完整性檢查，即隨機改變模型權重也應該改變結果解釋。令人驚訝的是，并不是所有的解釋都令人信服地通過了這個理性檢查，這可能意味著一些解釋不忠實于模型。

應用驅動客觀標準

另一種形式的客觀標準是基于與解釋相關的應用，特別是那些不需要人工參與或可以自動模擬的應用。例如，尋找有害的訓練例是基于例解釋的一個關鍵應用，而基于例解釋的某些評估涉及到根據解釋刪除有害的訓練例，并對模型進行再訓練，并衡量新模型的性能。由于在這種應用中不需要人工參與，移除和再訓練評估已經成為由現實應用驅動的基于實例的解釋的一個關鍵的客觀標準。

理論動機的客觀標準

基于功能的解釋評估的另一種形式是公理形式的理論性質。公理可以被看作是解釋在特定輸入中應該如何表現的理論約束。如果要解釋的機器學習模型具有某種期望的特性，人們會希望這種期望的特性可以反映在解釋中。這種解釋的約束稱為公理性質。例如，如果機器學習模型在兩個特征上是完全對稱的，并且這兩個特征對于某個給定的輸入具有相同的值，那么這兩個特征對這個輸入的解釋值應該是相同的。這就是被廣泛用于解釋方法的對稱公理。也許將公理融入設計解釋中最常見的工作是Shapley值家族[139]，它起源于合作博弈論社區。

本文的目標是開發和定義有意義的客觀標準，并使用這些客觀標準來幫助我們設計不同類型的解釋。由于不同的解釋類型自然會遵循不同的客觀標準，我們旨在為各種解釋類型設計客觀標準，包括特征重要性解釋、特征集解釋、特征交互重要性解釋、示例重要性解釋和基于概念的解釋。

長期以來，隨著數據處理系統的復雜性不斷增加，系統設計者一直在想象能夠根據環境線索進行自我配置和適應的系統(如數據庫、調度程序)。在這種情況下，強化學習(RL)方法從一開始就吸引了系統開發人員。他們承諾從原始反饋信號中獲取復雜的決策策略。盡管RL方法在概念上很流行，但在現實世界的數據處理系統中卻很少見到。最近，由于利用大型神經網絡(深度強化學習)取得了引人注目的成功，RL受到了爆炸性增長的關注。新興的機器學習框架和強大的硬件加速器催生了大量新的潛在應用。在本文中，我首先提出，為了高效地設計和執行深度RL算法，需要新穎的軟件抽象來適應通信密集和快速進化算法的獨特計算模式。我提出了一種將邏輯算法構造與本地和分布式執行語義解耦的體系結構。我將進一步介紹RLgraph，這是我對這個體系結構的概念驗證實現。在RLgraph中，算法開發人員可以通過組合邏輯組件構建高級數據流圖來探索新的設計。此數據流圖獨立于特定的后端框架或執行概念，只在以后通過分階段構建過程映射到執行語義。RLgraph支持高性能算法實現，同時保持快速原型的靈活性。

//www.repository.cam.ac.uk/handle/1810/304385

其次，我研究了系統本身中RL應用程序稀缺的原因。我認為，由于缺乏用于任務模型設計的工具來彌合系統和算法之間的差距，以及缺乏評估模型能力的共同標準，應用RL的進展受到了阻礙。在本文中，我介紹了應用RL中第一個用于增量模型設計的工具——Wield。Wield 提供了一小組原語，將系統接口和特定于部署的配置從表示中分離出來。運用的核心是一種新的指導性實驗協議，稱為漸進隨機化，它幫助從業者逐步評估非確定性的不同維度。我演示了如何使用和漸進的隨機化可以用來再現和評估之前的工作，并指導新RL應用程序的實現。

機器學習模型在有偏差的數據集上訓練時是有偏差的。最近提出了許多方法，以減輕被確定為先驗的偏差。然而，在現實世界的應用中，標注偏差不僅耗時而且具有挑戰性。本論文考慮了三種不同的場景，并提出了學習魯棒模型的新算法。這些算法是有效的，因為它們不需要明確的偏差注釋，從而實現了實用的機器學習。

首先，我們引入了一種算法，該算法對從多個環境中收集的數據進行操作，其中偏差特征和標簽之間的相關性可能會有所不同。我們表明，當使用在一個環境上訓練的分類器對來自不同環境的例子進行預測時，它的錯誤是隱藏偏見的信息。

然后，我們利用這些錯誤來創建一組示例，這些示例的插值結果只具有穩定的相關性。我們的算法在四種文本和圖像分類任務上實現了最新的技術。然后我們考慮無法訪問多個環境的情況，這是新任務或資源有限任務的常見場景。我們證明，在現實世界的應用中，相關的任務往往有類似的偏見。在此基礎上，我們提出了一種算法，從資源豐富的源任務中推斷出偏差特征，并將這種知識轉移到目標任務中。與橫跨5個數據集的15個基線相比，我們的方法始終提供顯著的性能提升。

最后，我們研究了只給出一組輸入標簽對的自動偏差檢測。我們的算法學習分割數據集，使得在訓練分割上訓練的分類器不能泛化到測試分割上。性能差距為測量學習特征的偏差程度提供了一個智能體，因此可以用來識別未知偏差。在六個NLP和視覺任務上的實驗表明，我們的方法能夠產生與人類識別的偏差相關的虛假分裂。

隨著機器學習模型越來越多地用于做出涉及人類的重大決策，重要的是，這些模型不能因為種族和性別等受保護的屬性而歧視。然而，模型持有人并不是受到歧視性模型傷害的首當其沖的人，因此模型持有人修復歧視性模型的自然動機很少。因此，如果其他實體也能發現或減輕這些模型中的不公平行為，將對社會有益。只需要對模型進行查詢訪問的黑盒方法非常適合這個目的，因為它們可以在不知道模型的全部細節的情況下執行。

在這篇論文中，我考慮了三種不同形式的不公平，并提出了解決它們的黑盒方法。第一個是代理使用，模型的某些組件是受保護屬性的代理。其次是個體公平性的缺乏，這使模型不應該做出任意決定的直覺觀念形式化。最后，模型的訓練集可能不具有代表性，這可能導致模型對不同的保護組表現出不同程度的準確性。對于這些行為中的每一個，我提出使用一個或多個方法來幫助檢測模型中的此類行為或確保缺乏此類行為。這些方法只需要對模型的黑箱訪問，即使模型持有者不合作，它們也能有效地使用。我對這些方法的理論和實驗分析證明了它們在這種情況下的有效性，表明它們是有用的技術工具，可以支持對歧視的有效回應。

深度學習方法是最近計算機視覺快速發展的基礎。然而，這些方法往往需要昂貴的標記數據。特定于任務的模型，如分類器，并不是為了最大限度地學習一般的內部表示。此外，這些模型不能模擬數據生成過程來合成新樣本，也不能修改輸入樣本。無監督深度生成模型有可能避免這些問題。

然而，兩個主要的生成模型家族，生成對抗網絡(GAN)和變分自編碼器(VAE)，都有各自的特點問題。基于GAN的模型在架構上相對復雜，有一個識別器網絡，但通常沒有編碼器來接受輸入。此外，GAN訓練通常是不穩定的，并且容易忽略訓練分配的部分(“模式崩潰”或“模式下降”)。另一方面，VAEs往往高估分布的某些區域的方差，導致生成的圖像模糊。

這項工作介紹和評估模型和技術，以大大減少上述問題，并生成銳利的圖像輸出與一個簡單的自動編碼器架構。這是通過兩個總體原則實現的。首先，一個合適的技術組合，從GAN模型被集成到最近引入的類似于VAE的對抗生成器-編碼器。第二，網絡的遞歸性質在幾個方面得到了利用。自動調制器代表了一類新的自動編碼器，其特征是使用隱含表示來調制解碼器層的統計信息。該網絡可以獲取多個圖像作為輸入，從中生成融合的合成樣本，輸出的一些尺度由一個輸入驅動，另一個尺度由另一個驅動，允許瞬時“風格混合”和其他新的應用。

這項工作介紹和評估模型和技術，以大大減少上述問題，并生成銳利的圖像輸出與一個簡單的自動編碼器架構。這是通過兩個總體原則實現的。首先，一個合適的技術組合，從GAN模型被集成到最近引入的類似于VAE的對抗生成器-編碼器。第二，網絡的遞歸性質在幾個方面得到了利用。自動調制器代表了一類新的自動編碼器，其特征是使用隱含表示來調制解碼器層的統計信息。該網絡可以獲取多個圖像作為輸入，從中生成融合的合成樣本，輸出的一些尺度由一個輸入驅動，另一個尺度由另一個驅動，允許瞬時“風格混合”和其他新的應用。

這項工作介紹和評估模型和技術，以大大減少上述問題，并生成銳利的圖像輸出與一個簡單的自動編碼器架構。這是通過兩個總體原則實現的。首先，一個合適的技術組合，從GAN模型被集成到最近引入的類似于VAE的對抗生成器-編碼器。第二，網絡的遞歸性質在幾個方面得到了利用。自動調制器代表了一類新的自動編碼器，其特征是使用隱含表示來調制解碼器層的統計信息。該網絡可以獲取多個圖像作為輸入，從中生成融合的合成樣本，輸出的一些尺度由一個輸入驅動，另一個尺度由另一個驅動，允許瞬時“風格混合”和其他新的應用。

最后，使用高斯過程框架，圖像編碼器-解碼器設置從單個圖像擴展到圖像序列，包括視頻和攝像機運行。為此，輔助圖像元數據在生成模型的潛在空間中以非參數先驗的形式被利用。這允許平滑和自由插值圖像序列。在此過程中，高斯過程和計算機視覺方法之間提供了一個優雅的連接，這意味著將兩者結合起來具有深遠的意義。

//aaltodoc.aalto.fi/handle/123456789/101686