近幾年來,隨著機器學習的普及,機器學習系統的公平性問題引起了實際的道德、社會等問題。圖書《公平性與機器學習—局限與機遇》以公平性為核心問題來看待機器學習,提供了對當前機器學習實踐以及為實現公平而提出的技術修復方案的批判性思考。
社會、道德和機器學習自身等角度,介紹了目前機器學習中的公平性問題,如由于數據導致的偏置(bias)等問題。
圖書《Fairness and Machine Learning - Limitations and Opportunities》(《公平性與機器學習—局限與機遇》)以公平性為核心問題來看待機器學習,強調機器學習在道德方面的挑戰。作者希望該書盡可能地被廣泛閱讀,但在寫作時依然堅持著技術的嚴謹性。該書并沒有提供包羅萬象的對公平性完整的正式定義,也沒有提出一個快速解決社會對自動決策擔憂的修復方案。
解決機器學習公平性問題需要認真理解機器學習工具的局限性。該書提供了對當前機器學習實踐以及為實現公平而提出的技術修復方案的批判性思考。雖然這些問題都沒有簡單的答案,作者希望這本書能夠幫助讀者更深層次地理解如何構建負責任的機器學習系統。
題目: Review of Mathematical frameworks for Fairness in Machine Learning
摘要:
從數學的角度回顧了過去幾年文獻中提出的主要公平定義和公平學習方法。根據基于獨立的方法,考慮如何構建公平的算法,以及與可能不公平的情況相比,算法性能下降的后果。這相當于公平的價格由標準統計均等或機會均等給出。給出了最優公平分類器和最優公平預測器(在線性回歸高斯模型下)在機會均等意義下的新結果。
機器學習應用在高風險領域(如刑事判決、醫學測試、在線廣告等)的流行,至關重要的是要確保這些決策支持系統不會傳播歷史數據中可能存在的現有偏見或歧視。一般來說,在算法公平文獻中有兩個關于公平的中心概念。第一個是個體公平,它要求公平的算法以相似的方式對待相似的個體。然而,在實踐中,通常很難找到或設計一個社會可接受的距離度量來捕獲個體之間關于特定任務的相似性。相反,在這篇博客文章中,我們關注的是公平的第二個概念,群體公平,更具體地說是統計上的平等,這本質上要求預測器的結果在不同的子群體中是平等的。
掌握通過機器學習和深度學習識別和解決復雜問題的基本技能。使用真實世界的例子,利用流行的Python機器學習生態系統,這本書是你學習機器學習的藝術和科學成為一個成功的實踐者的完美伴侶。本書中使用的概念、技術、工具、框架和方法將教會您如何成功地思考、設計、構建和執行機器學習系統和項目。
使用Python進行的實際機器學習遵循結構化和全面的三層方法,其中包含了實踐示例和代碼。
第1部分側重于理解機器學習的概念和工具。這包括機器學習基礎,對算法、技術、概念和應用程序的廣泛概述,然后介紹整個Python機器學習生態系統。還包括有用的機器學習工具、庫和框架的簡要指南。
第2部分詳細介紹了標準的機器學習流程,重點介紹了數據處理分析、特征工程和建模。您將學習如何處理、總結和可視化各種形式的數據。特性工程和選擇方法將詳細介紹真實數據集,然后是模型構建、調優、解釋和部署。
第3部分探討了多個真實世界的案例研究,涵蓋了零售、交通、電影、音樂、營銷、計算機視覺和金融等不同領域和行業。對于每個案例研究,您將學習各種機器學習技術和方法的應用。動手的例子將幫助您熟悉最先進的機器學習工具和技術,并了解什么算法最適合任何問題。
實用的機器學習與Python將授權您開始解決您自己的問題與機器學習今天!
你將學習:
這本書是給誰看的 IT專業人士、分析師、開發人員、數據科學家、工程師、研究生
目錄:
Part I: Understanding Machine Learning
Chapter 12: Deep Learning for Computer Vision
題目: A Hierarchy of Limitations in Machine Learning
簡介:
“所有模型都是錯誤的,但有些模型是有用的,”喬治·E·普·博克斯(George E. P. Box)(1979)說。 機器學習專注于概率模型在社會系統中進行預測的有用性,但是直到現在才掌握了這些模型錯誤的方式以及這些缺點的后果。 本文嘗試對機器學習模型在應用于社會時的特定概念,過程和統計局限性進行全面,結構化的概述。 機器學習建模者本身可以使用所描述的層次結構來識別可能的故障點,并思考如何解決這些故障點,并且機器學習模型的使用者在面對有關是否,在何處以及如何應用機器學習的決策時可以知道要問什么。 局限性從量化本身固有的承諾到顯示未建模的依存關系如何導致交叉驗證作為評估模型性能的方式過于樂觀的局限性。
目錄:
主題: Agile Machine Learning
摘要: 凝聚人才,打造一支偉大的應用型機器學習團隊,是一項不小的壯舉。由于開發人員和數據科學家都在各自領域貢獻了專業知識,單靠通信就可能是一個挑戰。敏捷機器學習教你如何通過敏捷過程交付優秀的數據產品,并通過例子學習如何在生產環境中組織和管理一個快速發展的團隊,該團隊面臨著大規模解決新數據問題的挑戰。作者的方法模擬了敏捷宣言中描述的開創性的工程原理。這本書提供了進一步的上下文,并將最初的原則與交付數據產品的系統的需求進行了對比。
作者簡介: Eric Carter,Eric Carter曾在微軟的Bing和Cortana團隊擔任合作伙伴團隊工程經理。在這些角色中,他致力于圍繞產品和評論、業務列表、電子郵件和日歷的搜索功能。他目前在微軟白板產品組上工作。
【導讀】這本書對自動化機器學習(AutoML)的一般化方法進行了全面的闡述,并且收集了以這些方法為基礎的系統的描述和一系列關于自動化機器學習系統領域的挑戰。最近,機器學習在商業領域取得的成就和該領域的快速增長對機器學習產生了大量的需求,尤其是可以很容易地使用,并且不需要專家知識的機器學習方法。然而,當前許多表現優異的機器學習方法的大多都依賴人類專家去手動選擇適當的機器學習架構以及模型的超參數(深度學習架構或者更加傳統的機器學習方法)。為了克服這個問題,AutoML基于優化原理和機器學習本身去逐步實現機器學習的自動化。這本書可以為為研究人員和高年級學生提供一個進入這個快速發展的領域的切入點,同時也為打算在工作中使用AutoML的從業者提供參考。
第一部分 自動機器學習方法
每個機器學習系統都有超參數,而自動化機器學習最基本的任務就是自動設置這些超參數來優化性能。尤其是最近的深度神經網絡嚴重依賴對于神經網絡的結構、正則化和優化等超參數的選擇。自動優化超參數(HPO)有幾個重要的用例:?
第二部分 自動化機器學習系統
越來越多的非領域專家開始學習使用機器學習工具,他們需要非獨立的解決方案。機器學習社區通過開源代碼為這些用戶提供了大量復雜的學習算法和特征選擇方法,比如WEKA和mlr。這些開源包需要使用者做出兩種選擇:選擇一種學習算法,并通過設置超參數對其進行定制。然而想要一次性做出正確的選擇是非常具有挑戰性的,這使得許多用戶不得不通過算法的聲譽或直覺來進行選擇,并將超參數設置為默認值。當然,采用這種方法所獲得的性能要比最佳方法進行超參數設置差得多。
第三部分 自動化機器學習面臨的挑戰
直到十年之前,機器學習還是一門鮮為人知的學科。對于機器學習領域的科學家們來說,這是一個“賣方市場”:他們研究產出了大量的算法,并不斷地尋找新的有趣的數據集。大的互聯網公司積累了大量的數據,如谷歌,Facebook,微軟和亞馬遜已經上線了基于機器學習的應用,數據科學競賽也吸引了新一代的年輕科學家。如今,隨著開放性數據的增加,政府和企業不斷發掘機器學習的新的應用領域。然而,不幸的是機器學習并不是全自動的:依舊很難確定哪個算法一定適用于哪種問題和如何選擇超參數。完全自動化是一個無界的問題,因為總是有一些從未遇到過的新設置。AutoML面臨的挑戰包括但不限于:
書籍介紹: 機器學習是一門人工智能的科學,該領域的主要研究對象是人工智能,特別是如何在經驗學習中改善具體算法的性能。機器學習是人工智能及模式識別領域的共同研究熱點,其理論和方法已被廣泛應用于解決工程應用和科學領域的復雜問題。本書從機器學習的基礎入手,分別講述了分類、排序、降維、回歸等機器學習任務,是入門機器學習的一本好書。
作者: Mehryar Mohri,是紐約大學庫蘭特數學科學研究所的計算機科學教授,也是Google Research的研究顧問。
大綱介紹:
作者主頁://cs.nyu.edu/~mohri/
一本來自Jeff Smith簡易實用的使用機器學習的教程書籍,非常值得學習!歡迎使用。