亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在過去的幾十年里，人們對模糊邏輯及其應用表現出相當大的興趣。智能和深度學習系統在各行各業都獲得了突破性進展，以解決未來的實際問題。傳統的模糊有限制，只能在有限的規則維度下工作，而深度神經網絡則無法處理系統中隱含的不確定和不精確的數據。本文的目的是為智能系統開發一種能夠處理不確定性和不精確行為的通用算法，特別是用于處理大型圖像數據集。本文提出了分層模糊方法，因為它在解決現實生活中的大型問題方面越來越受到關注。所用的策略是將大的圖像數據集劃分為小的數據樣本，并以分層的方式連接所有的模糊子系統。在文獻中，據作者所知，沒有人開發出一種分層模糊方法來處理真實圖像的大型圖像數據集。已經討論了使用圖像閾值處理大型圖像數據的分層模糊邏輯的算法。為了進行評估，已經考慮了真實的圖像數據庫。圖像分類已經在國防和安全領域取得了潛在的應用，特別是在目標識別和分類方面。分層模糊系統的準確性和計算時間與現有方法如深度神經網絡的比較已經被討論。

引言

Lotfi Zadeh在1965年提出了模糊邏輯[1], [2]的概念，處理信息的不確定性、不精確性或模糊性。模糊包括在數學和現實系統之間架起橋梁的語言參數。模糊邏輯起源于傳統邏輯的合理化。它通過在假和真之間的穩定過渡來運行。傳統邏輯將輸出顯示為 "0 "或 "1"，而模糊邏輯將結果顯示為[0,1]范圍內的真實程度。模糊邏輯應用了部分真實的理論，輸出可能在完全真實和完全虛假之間搖擺。

模糊系統包括三個子系統：模糊器、推理系統和去模糊器。模糊化器將輸入轉換為語言值，這些語言值被視為模糊集的標簽。推理系統擁有一個包含輸入-輸出關系選擇的規則庫。規則的數據集包括成員函數和輸入與輸出組合的規范化。去模糊器合并了推理系統的輸出，并轉化為非語言術語。

隨著時間的推移，模糊系統的幾個分支已經被開發出來[1], [3], [4], [5]，例如，神經模糊系統或模糊神經網絡、模糊聚類、模糊邏輯圖像處理等。隨著神經網絡的出現，模糊邏輯的概念已經擴展到神經模糊邏輯。模糊邏輯為包括人類評估的不確定性、不精確性和模糊性的計算問題提供了有效的解決方案和更好的評估。相反，其他方法如神經網絡有局限性，只能處理固定和精確的數據。

與模糊系統一樣，混合方法，如FNN（模糊神經網絡）或NFS（神經模糊系統）整合了神經網絡和模糊邏輯行為。這種混合方法增加了模糊邏輯的語言推理和神經網絡的認知連接。這種混合的結果是一個智能系統。這些系統接受了模糊集理論，其中系統包含各種規則，其語言信息集以IF - then - ELSE格式定義。神經-模糊系統的設計重點是可解釋性和準確性。因此，神經-模糊系統比模糊系統更受青睞。

模糊系統的一個主要限制是數據處理，模糊邏輯限制了系統中的數據大小。通過成熟的技術，神經模糊有能力管理具有大量規則的計算。然而，由于對某些維度的工作限制，在應用神經模糊系統解決復雜和高輸入輸出維度的問題時，一直存在著很大的挑戰。最近，一些作者[2]，[6]致力于開發深度神經網絡技術，以處理智能系統的圖像分類問題，并且仍在進行這項工作。然而，神經網絡不能驅動不精確和不確定的數據，這在許多現實生活中是普遍存在的。為了處理任何不精確性和不確定性，神經模糊邏輯技術得到了推廣。

神經模糊邏輯堅持白盒系統[1], [4], [7]。該系統在語言形式和數學分析之間架起了解釋的橋梁，并提供透明度。這些系統已被普遍用于設計復雜的系統，但只在有限的規則和數據維度內工作。這些限制在一些高度復雜的現實生活場景中成為了瓶頸。這些限制降低了整個系統的通用性和透明度。影響模糊和神經模糊系統的輸入-輸出維度限制的主要因素可以簡單地定義為：隨著輸入參數、數據集或輸入-輸出組合和數學關系的增加，規則呈指數級增長。

為了克服概括性、透明度和維度的問題，各種研究人員點燃了將分層系統與模糊邏輯相結合的想法。與其設計具有高維度的傳統系統，系統將被劃分為具有低維度的子系統。這些子系統以分層結構的形式相互連接。分層系統被表示為一個多輸入單輸出的系統。在不失去概括性的情況下，多輸入多輸出系統被表示為幾個多輸入單輸出子系統。由于模糊邏輯規則庫對大數據集的限制，本文提出了一種利用圖像閾值設計分層模糊系統的方法，它將處理大的圖像數據集。這種方法將在不影響系統的有效性和效率的情況下最大限度地減少規則的總數。

系統的復雜性是與規則的總數相聯系的，并與之成正比。輸入數量的增加提高了規則的總數，這增加了整個系統的復雜性。有足夠的證據表明，傳統系統對規則的維度有限制。這種限制抑制了利用模糊系統來解決具有大尺寸的復雜的現實生活問題，特別是大圖像問題。

為了克服傳統模糊邏輯所擁有的限制，分層系統已經成為最合理的選擇之一。據作者所知，目前還沒有人開發并提出分層模糊系統，通過將數據集分割成小的數據樣本并進行合成來處理大型圖像數據集。一些作者[3], [4]已經證明，分層系統降低了系統的整體復雜性，因為與傳統的模糊邏輯相比，它的規則數量更少。除了復雜性，分層系統還通過校準分層結構中每個模糊邏輯單元所需的規則數量來減少計算時間。考慮到這些因素，我們傾向于將分層模糊用于大型圖像數據集問題。

在工程、技術、工業、科學、數學、商業分析、數據分析、國防和安全、物聯網、安全、電力工業、電子、天氣預報、商業等領域，模糊邏輯已經被不同的研究人員[1], [8]應用于多個實際生活中的應用。模糊在國防方面的重要應用之一是載人、機器人和可選的載人車輛的生存能力。本文展示了在分層模糊系統的幫助下設計一個系統來管理大型數據集的方法。

第2節討論了三種分層樹結構。這一節還包括分層系統的數學表示，并介紹了分層模糊系統在現實生活中的各種應用。第3節介紹了分層模糊邏輯的系統設計。討論了使用圖像閾值和概念流程圖設計算法的步驟，并介紹了在模糊的C-均值聚類的幫助下生成模糊邏輯系統的步驟。第4節展示了一個圖像數據庫的描述，如YaleB數據庫。第5節展示了分層系統的通用算法的結果以及與傳統系統如神經網絡的比較。

圖 4. 系統概念性層次模糊邏輯實現。

深度學習算法，比如那些用于圖像識別的算法，在自動化醫療診斷和指導臨床決策方面大有前途。與此同時，醫學深度學習系統的開發和臨床轉化還面臨著一些重要的挑戰。首先，開發大型且注釋良好的數據集成本很高。其次，醫學圖像判讀有必要識別病灶的微妙關鍵特征，盡管在人群中生理外觀有很大差異。第三，由于域轉移問題，將深度學習算法的性能從一種設置轉移到另一種設置具有挑戰性。第四，深度學習系統的輸出需要是可解釋的，以便臨床醫生能夠理解系統。本文研究了如何應對這些挑戰，從小型數據集構建可泛化和可解釋的深度學習模型。本文研究了將從非醫療源ImageNet學習到的先驗知識遷移到醫療應用對模型性能的影響，特別是當數據集大小不夠時。與直接從ImageNet轉移學習不同，GrayNet被提議作為一個橋梁數據集，在從ImageNet學習到的通用圖像特征上創建一個預先訓練的豐富醫學圖像表示的模型。分析了GrayNet的優點，包括總體性能和跨不同成像掃描儀的泛化，并與使用小數據從頭開始訓練和從ImageNet轉移學習進行了比較。受放射科醫生如何解釋診斷圖像的啟發，還介紹了特定領域的技術，包括窗口設置優化和切片插值，并展示了進一步增強模型性能的方法。引入了一個新的可視化模塊，能夠在訓練過程中生成一個圖像圖譜，并將其顯示為測試過程中所做的模型預測的基礎，以證明模型預測的合理性，并使臨床醫生更容易理解它們。本論文通過三種不同的應用展示了深度學習在醫學圖像判讀方面的潛力，包括人工智能輔助骨齡評估，以提高人類的準確性和可變性，發現以前未識別的模式，在手部x光片中進行骨性別分類，以及處理原始計算機斷層掃描數據，而不需要圖像重建。本論文的貢獻有望促進各種醫療應用中可推廣和可解釋的深度學習算法的發展，從而加速人工智能系統進入臨床實踐。

帝國理工等最新《膠囊網絡綜述》論文，29頁pdf闡述膠囊的概念、方法與應用

膠囊網絡作為卷積神經網絡(Convolutional Neural networks, CNNs)的另一種學習以對象為中心表示的方法，可以提高泛化能力和樣本復雜度。與cnn不同，膠囊網絡使用神經元組對視覺實體進行編碼，顯式地建模部分-整體層次關系，并學習這些實體之間的關系。膠囊網絡早期取得的有前景的成果激勵了深度學習社區繼續努力提高其在多個應用領域的性能和可擴展性。然而，膠囊網絡研究的一個主要障礙是缺乏可靠的參考點來理解它們的基本思想和動機。這項綜述的目的是提供一個全面的概述膠囊網絡的研究景觀，這將為社區的未來提供寶貴的資源。為此，我們首先介紹膠囊網絡背后的基本概念和動機，例如計算機視覺中的等變推理。然后，我們將介紹膠囊路由機制的技術進展和膠囊網絡的各種公式，如生成和幾何。此外，我們還詳細解釋了膠囊網絡與Transformers中流行的注意力機制之間的關系，并強調了它們在表征學習背景下的非微不足道的概念相似性。隨后，我們探索了膠囊網絡在視頻和運動(如視頻對象分割、回歸跟蹤和動作視頻識別)、自然語言處理(如文本分類、關系提取、語言和視覺、推薦系統)、醫學成像(如病變的語義分割、腦腫瘤分類)、故障診斷(如軸承故障診斷)、高光譜成像和偽造檢測等方面的廣泛應用。最后，我們對膠囊網絡研究的主要障礙進行了深入的討論，并指出了未來的研究方向。

引言

計算機視覺的核心任務是從圖像中提取的特征向量對物體進行分類，并提供更全面的描述，如姿態、形狀、外觀等。幾十年來，構建適合下游任務的數據表示(特征)需要大量的手工工程和專家知識。表示學習[1]由一組工具組成，使機器能夠自動發現原始數據的有用表示，然后用于下游的預測任務。近年來最成功的表示學習方法是深度學習(Deep learning, DL)[2]。盡管現代基于深度學習的視覺系統[2]、[3]、[4]取得了許多成功，但普遍缺乏對分布轉移的魯棒性[5]仍然很普遍。事實上，與目前的系統不同，人類能夠快速適應分布的變化，只需要很少的例子來學習[6]，[7]，[8]。有令人信服的證據表明，人類將視覺場景分解為部分-整體層次結構，我們通過對部分和整體之間的視點不變的空間關系建模，如分配給它們的內在坐標系[9]，[10]，[11]之間的坐標變換。讓神經網絡(NN)更加透明和可解釋的一種方法是，嘗試讓它們像人類一樣理解圖像。然而，這對于標準神經網絡來說是困難的，因為它們不能動態地表示每個圖像[12]的不同的部分-整體層次樹結構。這種無能是一系列模型的動機被稱為膠囊網絡[12]，[13]，[14]，[15]，[16]。膠囊網絡是一種NN，它比卷積神經網絡(Convolutional Neural Networks, CNNs)更明確地建模部分-整體層次關系，通過使用神經元組來編碼實體，并學習這些實體之間的關系[17]。和機器學習[18]，[19]的其他發展一樣，膠囊網絡也是受到生物啟發的，他們的目標是能夠學習更健壯的、以對象為中心的、具有姿態感知和可解釋性的表示。來自神經科學的證據表明，緊密連接的附近神經元群(即超列)可以表示一個向量值單位，它不僅能夠傳遞標量，而且能夠傳遞一組協調值[8]。向量值單位的概念是膠囊網絡和軟注意機制[8]，[20]，[21]的核心，包括transformer [22]。如后面所示，在膠囊網絡中，這些向量值單位被稱為膠囊，在transformer 中，它們被表示為查詢向量、鍵向量和值向量。通過執行神經活動向量之間的標量乘積等操作，可以計算出強大的算法概念，如符合過濾和注意力。

盡管在膠囊工作上取得了有希望的進展，Barham等人[23]解釋說，盡管他們的卷積膠囊模型所需的浮點運算(FLOPS)比CNN少4倍，參數比CNN少16倍，但在TensorFlow[24]和PyTorch[25]中的實現運行速度明顯更慢，并且在更小的模型中耗盡內存。雖然后來有人提出了幾個更有效的膠囊路由版本[26]，[27]，[28]，[29]，但潛在的問題不僅是由路由引起的，還由膠囊投票過程引起。在他們的分析中，[23]得出結論，當前的框架已經針對一個流行的模型家族所使用的一小部分計算進行了高度優化，而且這些框架已經變得不適合研究，因為標準和非標準計算負載之間的性能差異巨大。因此，非標準的工作負載(如膠囊網絡中由路由和投票過程引起的工作負載)比它們本可以達到的速度要慢得多。正如[30]所指出的，雖然膠囊網絡的操作可以在CPU上很好地實現，但在GPU和TPU這樣的加速器上，性能會急劇下降，因為它們使用常見架構中的構建塊對標準工作負載進行了大量優化。我們希望這項綜述將激勵研究人員為膠囊網絡開發合適的工具。

在這項綜述中，我們提供了一個全面的概述，使用膠囊網絡和相關的注意為基礎的模型表征學習。雖然相對而言，膠囊的研究仍處于早期階段，但圖1a向我們顯示，盡管最初流行程度迅速增長，但每年的出版物總數有些停滯。這可能是由于進入該領域的高壁壘和缺乏可靠的參考點。盡管如此，如圖1b所示，頂級會議的膠囊網相關出版物數量持續穩步增長。我們相信，現在有足夠的材料來保證對各種概念、技術和基本思想進行詳細的組織，這將有利于社區和激發該領域的研究興趣。在撰寫本文時，僅存在三個基于Capsule Network的綜述。[31]是在Capsule Networks首次引入后不久編寫的，因此它沒有涵蓋最近取得的重大里程碑。同樣，[32]的寫作目的也很簡短，因此只涵蓋了相關文獻的很小一部分。[33]是最近的，涵蓋了更廣泛的論文，但沒有以我們認為必要的方式對該領域進行足夠詳細的廣泛綜述。相反，本綜述的目的是提供膠囊網絡和以對象為中心的表征學習的相關研究的第一次全面和詳細的分解。具體而言，我們的目標是:(a)詳細解釋膠囊網絡背后的基礎、動機和基本概念;(b)調查膠囊網在各個應用領域的研究現狀;(c)將膠囊和協議路由與Transformers 剛和自注意進行關聯和比較。(d)討論有待解決的問題，并提出有前景的研究方向。我們期望我們的綜述將作為膠囊網絡未來的主要參考文獻，并將有助于促進該領域的發展。

本次綜述的組織方式如下。在第1節中，我們對膠囊網絡背后的思想做了一個介紹性的概述。在第2節中，我們開始溫和地介紹不變性和等方差，并解釋為什么這些概念在表示學習中是基本的。在第3節中，我們解釋了膠囊網絡背后的基本思想和動機，并介紹了協議和膠囊路由等基本概念。在第4節中，我們深入研究了文獻中提出的最突出的膠囊路由算法。在第5節中，我們將揭示膠囊路由和Transformers中流行的自我注意機制之間的概念相似性。第6至10節討論膠囊網絡在視頻和運動、圖形、自然語言處理和醫學成像方面的一些主要應用。第11節重點介紹膠囊網絡的其他應用，如故障診斷、高光譜成像、偽造檢測和對抗攻擊。最后，在第12節中，我們討論了膠囊網絡的公開挑戰和缺點，以及我們認為未來有希望的研究方向。

葡萄牙貝拉內大學最新《醫學診斷中可解釋深度學習方法》綜述，值得關注！

深度學習的顯著成功引發了人們對其在醫學診斷中的應用的興趣。即使最先進的深度學習模型在對不同類型的醫療數據進行分類時達到了人類水平的準確性，但這些模型在臨床工作流程中很難被采用，主要是因為它們缺乏可解釋性。深度學習模型的黑盒性提出了設計策略來解釋這些模型的決策過程的需要，這導致了可解釋人工智能(XAI)這個話題的產生。在此背景下，我們提供了XAI應用于醫療診斷的全面綜述，包括可視化、文本和基于示例的解釋方法。此外，這項工作回顧了現有的醫學成像數據集和現有的指標，以評估解釋的質量。作為對大多數現有綜述的補充，我們包含了一組基于報告生成方法之間的性能比較。最后，還討論了XAI在醫學影像應用中的主要挑戰。 //www.zhuanzhi.ai/paper/f6e90091666dbcaa5b40c1ab82e9703b

引言

人工智能(AI)領域在過去十年取得的進展，支持了大多數計算機視覺應用的準確性的顯著提高。醫學圖像分析是在對不同類型的醫學數據(如胸部X光片[80]、角膜圖像[147])進行分類時取得人類水平精確度的應用之一。然而，盡管有這些進展，自動化醫學成像在臨床實踐中很少被采用。Zachary Lipton[69]認為，對這一明顯的悖論的解釋很簡單，醫生在不了解決策過程的情況下，永遠不會相信算法的決策。這一事實提出了產生能夠解釋人工智能算法的決策過程的策略的必要性，隨后導致了一個新的研究主題的創建，稱為可解釋人工智能(XAI)。根據DARPA[41]的說法，XAI的目標是“在保持高水平的學習性能(預測精度)的同時，產生更多可解釋的模型;并使人類用戶能夠理解、適當、信任和有效地管理新一代人工智能伙伴”。盡管XAI具有普遍適用性，但它在高風險決策(如臨床工作流程)中尤其重要，在這種情況下，錯誤決策的后果可能導致人類死亡。這也得到了歐盟通用數據保護條例(GDPR)法律的證明，該法律要求解釋算法的決策過程，使其透明，然后才能用于患者護理[37]。

因此，在將深度學習方法應用于臨床實踐之前，投資研究新的策略以提高其可解釋性是至關重要的。近年來，對這一課題的研究主要集中在設計間接分析預建模型決策過程的方法。這些方法要么分析輸入圖像的特定區域對最終預測的影響(基于擾動的方法[77;101]和基于遮擋的方法[151])或檢查網絡激活(顯著性方法[112;153])。這些方法可以應用于任意網絡架構，而不需要對模型進行額外的定制，這一事實支持了它們在XAI早期的流行。然而，最近的研究表明，事后策略在解釋的重要性方面存在一些缺陷[2;105]。因此，研究人員將他們的注意力集中在能夠解釋其決策過程本身的模型/架構的設計上。現有的可解釋模型被認為在醫學成像中特別有用[105]，證明了最近集中于這一范式而不是傳統的后特殊策略的醫學成像作品數量的增長是合理的[53;144]。盡管近年來固有可解釋模型的流行，但現有的關于深度學習應用于醫學成像的可解釋性的研究并沒有全面回顧這一新的研究趨勢的進展。此外，專注于解釋應用于醫學成像的深度學習決策過程的著作數量顯著增加，因此有必要對最近一次關于該主題的綜述未涵蓋的最新方法進行更新調研。

**為了解決這些問題，我們全面回顧了可解釋深度學習應用于醫學診斷的最新進展。特別是，這項綜述提供了以下貢獻: **

回顧最近關于醫學成像中可解釋深度學習主題的調研，包括從每個工作中得出的主要結論，以及對我們調研的比較分析。 用于醫學成像的深度學習方法可解釋性研究中常用的數據集的詳盡列表。 全面調研最先進的可解釋醫學成像方法，包括事后模型和固有的可解釋模型。 對基準可解釋性方法常用的度量標準的完整描述，無論是可視化的還是文本的解釋。關于文本解釋質量的可解釋醫學成像方法的基準。 醫學影像中可解釋深度學習的未來研究方向

基于文獻綜述，XAI方法可以根據三個標準進行分類: (i) 模型無關性vs模型具體; （ii）全局可釋性與局部可釋性; (iii)事后對內在。圖1說明了XAI方法的分類法，

醫療診斷中的可解釋人工智能方法

正如前面提到的，深度學習模型在部署到現實場景時必須具有透明性和可信賴性。此外，這一要求在臨床實踐中尤其相關，在臨床實踐中，不知情的決定可能會將患者的生命置于危險之中。在綜述的文獻中，已經提出了幾種方法來賦予應用于醫學診斷的深度學習方法解釋性。以下部分總結和分類了應用于醫學診斷的可解釋模型范圍內最相關的工作。此外，我們特別關注內在可解釋的神經網絡及其在醫學成像中的適用性。我們根據解釋方式將這些方法分為:(i)特征歸因解釋，(ii)文本解釋，(iii)實例解釋，(iv)概念解釋，(v)其他解釋;受[86]提出的分類學啟發。根據所使用的算法、圖像形態和數據集分類的綜述方法列表見表4。

【導讀】注意力機制是深度學習核心的構建之一，注意力機制是深度學習核心的構件之一，來自Mohammed Hassanin等學者發表了《深度學習視覺注意力》綜述論文，提供了50種注意力技巧的深入綜述，并根據它們最突出的特征進行了分類。

受人類認知系統的啟發，注意力是一種模仿人類對特定信息的認知意識的機制，將關鍵細節放大，從而更多地關注數據的本質方面。深度學習已經在許多應用中運用了注意力來提高性能。有趣的是，同樣的注意力設計可以適合處理不同的數據形式，并且可以很容易地并入大型網絡。此外，多個互補注意力機制可以整合到一個網絡中。因此，注意力技巧變得非常有吸引力。然而，文獻缺乏對注意力技術的全面研究，以指導研究者將注意力運用到深度模型中。注意，除了在訓練數據和計算資源方面的要求外，Transformers 在自注意力中只覆蓋了許多可用類別中的一個類別。我們填補了這一空白，提供了50種注意力技巧的深入綜述，并根據它們最突出的特征進行了分類。我們通過介紹成功注意力機制背后的基本概念來開始我們的討論。接下來，我們提供了一些要素，如每種注意力類別的優勢和局限性，描述了它們的基本構建模塊，主要用途的基本公式，以及專門用于計算機視覺的應用。在此基礎上，對注意力機制所面臨的挑戰和有待解決的問題進行了綜述。最后，我們對未來可能的研究方向提出建議。

//www.zhuanzhi.ai/paper/6e69019b739b12b44c0806f84e842412

引言

注意力與人類的認知系統有著天然的聯系。根據認知科學，人類的視神經接收到的數據量超過了它的處理能力。因此，人腦對輸入的信息進行權衡，只關注必要的信息。隨著機器學習的最新發展，特別是深度學習，以及處理大型和多輸入數據流的能力不斷提高，研究人員在許多領域采用了類似的概念，并制定了各種注意機制，以提高機器翻譯[1]、[2]、視覺識別[3]，生成模型[4]，多智能體強化學習[5]等。在過去的十年中，深度學習取得了突飛猛進的發展，導致許多深度神經網絡架構能夠學習數據中的復雜關系。一般來說，神經網絡提供隱式注意力，從數據中提取有意義的信息。

在為機器翻譯問題[6]設計的編碼器-解碼器架構中，首次引入了深度學習中的顯式注意力機制來解決遺忘問題。由于網絡的編碼器部分側重于生成一個代表性的輸入向量，因此解碼器從表示向量生成輸出。采用雙向回歸神經網絡[6]解決遺忘問題，從輸入序列中生成上下文向量，然后根據上下文向量和之前的隱藏狀態對輸出進行解碼。上下文向量由中間表示的加權和計算，這使得該方法成為顯式注意力的一個例子。此外，利用LSTM[7]生成上下文向量和輸出。兩種方法都考慮到編碼器的所有隱藏狀態來計算上下文向量。然而，[8]引入了另一種思路，它讓注意力力機制只關注隱藏狀態的子集，從而生成上下文向量中的每個項。與之前的注意力方法相比，這種方法的計算成本較低，并顯示了全局注意力機制和局部注意力機制之間的權衡。

另一個基于注意力的突破是由Vaswani et al.[2]提出的，他們基于自注意機制創建了一個完整的架構。輸入序列中的項首先被并行編碼為稱為鍵、查詢和值的多個表示。此體系結構(稱為Transformer)有助于更有效地捕獲輸入序列中每個項相對于其他項的重要性。最近，許多研究人員對基本的Transformer架構進行了擴展，用于特定的應用。為了關注到圖像中的重要部分并抑制不必要的信息，基于注意力的學習的進步已經在多個計算機視覺任務中找到了方法，要么對每個圖像像素使用不同的注意力地圖，將其與其他像素[3]、[4]、或生成一個注意力映射來提取整個圖像[10]，[11]的全局表示。然而，注意力機制的設計高度依賴于手頭的問題。為了加強對輸入中關鍵信息對應的隱藏狀態的選擇，注意力技術被用作基于視覺的任務中的插件單元，減輕了梯度消失的風險。綜上所述，計算注意力分數，并確定或隨機地選擇隱藏狀態。

在過去的幾年里，注意力一直是重要的研究工作的中心，在許多不同的機器學習和視覺應用中，對圖像注意力已經蓬勃發展，例如，分類[12]，檢測[13]，圖像描述[14]，3D分析[15]等。盡管注意力技術在深度學習中的表現令人印象深刻，但目前還沒有文獻綜述對所有的注意力機制(尤其是基于深度學習的視覺注意機制)進行全面的綜述，并根據它們的基本底層結構對它們進行分類，突出它們的優缺點。最近，研究人員調研了特定于應用的注意力技術，重點是基于NLP的[16]、基于Transformer的[17]、[18]和基于圖形的方法[19]。然而，目前還沒有一項全面的研究對基于深度學習的注意力技術的進行廣泛調研。

在本文中，我們回顧視覺注意力技術。我們的調研涵蓋了許多基本的構建塊(操作和功能)和完整的架構，這些架構旨在學習合適的表示，同時使模型注意到輸入圖像或視頻中的相關和重要信息。我們的調研廣泛地對計算機視覺文獻中提出的注意力機制進行分類，包括軟注意力、硬注意力、多模態、算術、類注意力和邏輯注意力。我們注意到有些方法不只屬于一個類別;然而，我們將每個方法歸入與該類別的其他方法有主要關聯的類別。遵循這樣的分類有助于跟蹤常見的注意力機制特征，并提供了可能有助于設計新的注意力技術的見解。圖2顯示了注意力機制的分類。我們強調，由于大量的論文如圖1所示發表，因此在視覺方面有必要注意力調研。從圖1可以明顯看出，去年發表的文章數量與往年相比明顯增加，我們預計在未來幾年也會有類似的趨勢。此外，我們的綜述列出了重要的文章，以幫助計算機視覺和機器學習社區在他們的模型中采用最合適的注意力機制，并避免重復的注意方法。它還確定了研究差距，提供了當前的研究背景，提出了合理的研究方向和未來的重點領域。

注意力類型的分類。根據注意力的執行方法對注意力進行分類。有些注意力技巧可以適用于多個類別;在這種情況下，注意力是根據最主要的特征和主要應用進行分組的。

由于transformers 已經在許多視覺應用中使用; 一些綜述總結了transformers在計算機視覺中的最新趨勢。盡管transformers 提供了很高的精度，但這是以很高的計算復雜度為代價的，這阻礙了其在移動和嵌入式系統應用中的可行性。此外，基于transformers 的模型比CNN需要更多的訓練數據，缺乏有效的硬件設計和通用性。根據我們的綜述，在被調研的50種不同的注意力類別中，transformers只涵蓋了自注意力的一種類別。另一個顯著的區別是，我們的調查關注的是注意力類型，而不是基于transformers的調查[17]、[18]所涵蓋的應用。

視覺注意力

視覺中注意力的主要目的是模仿人類視覺認知系統，關注輸入圖像中的基本特征[20]。我們根據用于生成注意分數的主要功能對注意方法進行分類，如softmax或sigmoid。表1給出了這個綜述類別的總結、應用、優點和局限性。

軟注意力

本節回顧了軟注意力方法，如通道注意力、空間注意力和自注意力。在通道注意力方面，分數是根據通道計算的，因為每個特征圖(通道)都關注輸入的特定部分。在空間注意力方面，主要思想是注意力圖像中的關鍵區域。關注感興趣的區域有助于對象檢測、語義分割和人的重新識別。與通道注意力相反，空間注意力空間圖中的重要部分(以寬度和高度為界)。它可以獨立使用，也可以作為一種補充機制來引導注意力。另一方面，通過提取輸入序列標記之間的關系，提出了自注意力對高階交互和上下文信息進行編碼。它與通道注意力在產生注意力分數的方式上不同，它主要計算相同輸入的兩個映射(K, Q)之間的相似性，而通道注意從單個映射圖產生分數。然而，自注意力和通道注意力都在通道上起作用。軟注意力方法主要使用softmax、sigmoid等軟函數，以所有輸入實體[8]加權和計算注意力得分。由于這些方法是可微的，它們可以通過反向傳播技術進行訓練。然而，它們還面臨著其他問題，如高計算復雜度和為無參與對象分配權重。

基于通道注意力方法的核心結構。

硬(隨機)的注意力

不是使用隱藏狀態的加權平均，硬注意力選擇其中一個狀態作為注意力得分。提出硬注意力取決于回答兩個問題: (1) 如何對問題建模，以及 (2) 如何在不消除梯度的情況下訓練它。在這一部分中，討論了硬注意力的方法及其訓練機制。它包括貝葉斯注意、變分推理、強化注意力和高斯注意力的討論。貝葉斯注意力與變分注意力的主要思想是將潛在隨機變量作為注意力分數。強化注意力用伯努利-Sigmoid單位代替Softmax[174]，而高斯注意力則使用二維高斯核來代替。同樣，自注意力[65]使用一種強化技術來生成注意力分數，而期望-最大化使用EM來生成分數。

硬注意力架構

【導讀】現在深度學習正在廣泛應用到科學研究中，最近來自哈佛33家單位20位學者發表了《深度學習生物醫學應用10個技巧》，深入細致地講述了正確用好深度學習的準則，非常值得關注！

機器學習是解決問題和任務自動化的一種現代方法。特別是，機器學習關注的是能夠識別數據中的模式并將其用于預測建模的算法的開發和應用，而不是讓領域專家手工開發預測任務的規則。人工神經網絡是一類特殊的機器學習算法和模型，演變成了現在所說的“深度學習”。深度學習包括多層的神經網絡和使它們表現良好的算法。這些神經網絡由人工神經元組成，按層次排列，以人腦為模型，盡管構建模塊和學習算法可能有所不同。每一層接收來自前一層的輸入(第一層代表輸入數據)，然后將其自身加權輸出的轉換表示作為輸入傳送到隨后的網絡層。因此，“訓練”神經網絡的過程是調整各層的權重，以最小化作為預測誤差替代的成本或損失函數。損失函數是可微的，因此權重可以自動更新，以試圖減少損失。深度學習使用多層人工神經網絡(因此有了“深度”這個詞)。考慮到過去十年在計算方面的進步，它現在可以應用到大量的數據集和無數的環境中。在很多情況下，與其他方法相比，深度學習可以學習更復雜的關系，并做出更準確的預測。因此，深度學習已經成為機器學習的一個分支領域。在生物學研究的背景下，它已越來越多地用于從高維生物學數據中獲得新的見解[2]。例如，深度學習已被用于預測蛋白質-藥物結合動力學[3]，識別合成DNA[4]的起源實驗室，以及揭示遺傳疾病[5]的面部表型。

為了讓有一些機器學習經驗的科學家更容易獲得深度學習的生物應用，我們征求了一群對生物和深度學習有不同興趣的研究人員的意見。這些個人使用GitHub版本控制平臺[6]和Manubot手稿生成工具集[7]共同完成了本文的寫作。我們的目標是在使用深度學習時，清晰地表達出一套實用、易于理解和簡明的指導方針和建議(圖1)。對于剛接觸機器學習的讀者，我們建議在開始深度學習之前，先回顧一下機器學習的一般原則[8]。

在生物研究中使用深度學習的10個技巧的概述。

在我們討論的過程中，有幾個主題變得明確起來:理解和應用機器學習基礎知識作為利用深度學習的基線的重要性，進行廣泛的模型比較和仔細評估的必要性，以及在解釋深度學習產生的結果時需要批判性思維，等等。深度學習和傳統計算方法之間的主要相似之處也變得顯而易見。盡管深度學習是機器學習的一個獨特的子領域，但它仍然是一個子領域。它受制于機器學習固有的許多局限性，機器學習的大多數最佳實踐[9-11]也適用于深度學習。與所有的計算方法一樣，深度學習應該以一種可復制和嚴格測試的系統方式應用。最后，我們整理的技巧范圍從高層指導到最佳實踐。我們希望他們能夠為新的和有經驗的深度學習實踐者提供可操作的、具體的深度學習指導。通過使深度學習更易于在生物研究中使用，我們的目標是提高文獻中深度學習的整體使用和報告質量，并使越來越多的研究人員能夠有效和準確地利用這些先進的技術。

技巧1: 判斷深度學習是否適合你的問題

近年來，在生物學中實施深度學習的項目和出版物數量大幅增加[12-14]。這一趨勢可能是由深度學習在一系列科學問題和數據模式中的有用性所驅動的，并可能有助于深度學習作為幾乎所有建模問題的靈丹妙藥的出現。事實上，神經網絡是通用函數逼近器，并從這種學習任何函數的理論能力中獲得了巨大的力量[15,16]。然而，在現實中，深度學習并不是適用于所有的建模情況，它對數據、計算能力、編程技能和建模專業知識的需求很大，極大地限制了深度學習的應用。 深度學習應該在充分考慮其優勢和劣勢后，才可以用于手頭的問題。在選擇深度學習作為一種潛在的解決方案后，從業者仍然應該考慮傳統方法作為性能基線。

技巧2: 使用傳統方法建立性能基線

與傳統的機器學習方法相比，深度學習要求從業者考慮更多數量和種類的調整參數(即算法設置)。這些設置通常稱為超參數。它們的廣泛性使其很容易陷入執行不必要的復雜分析的陷阱。因此，在將深度學習應用于一個給定的問題之前，理想的方法是在每個研究[11]開始時實現具有較少超參數的更簡單的模型。這些模型包括邏輯回歸、隨機森林、k近鄰、樸素貝葉斯和支持向量機。它們可以幫助建立基線績效預期，以及特定預測問題的難度。雖然從現有文獻中獲得的性能基線也可以作為有用的指南，但使用與深度學習計劃相同的軟件框架的更簡單模型的實現，可以極大地幫助評估數據處理步驟的正確性、性能評估管道、資源需求估計，以及計算性能估計。此外，在某些情況下，甚至可以將更簡單的基線模型與深度神經網絡相結合，因為這種混合模型可以提高泛化性能、模型可解釋性和置信度估計[55,56]。 總之，在實現深度學習模型之前，鼓勵從業者創建和完全調優幾個傳統模型和標準管道。

技巧3: 理解訓練深度神經網絡的復雜性

正確地訓練深度神經網絡并非易事。每個階段都有許多不同的選擇和潛在的陷阱。為了得到好的結果，必須經常在各種不同的超參數設置中訓練網絡。由于這些深度網絡的高要求特性，這種訓練可能變得更加困難，這通常需要大量的時間投資到調優和計算基礎設施，以實現最先進的性能[25]。此外，這種實驗通常是嘈雜的，這就需要增加重復，并加劇了深度學習固有的挑戰。總的來說，所有的代碼、隨機種子、參數和結果都必須使用通用的編碼標準和最佳實踐(例如，版本控制[58]和持續集成[59])來謹慎地打包，以保證可復現性和可解釋性[60-62]。對于基于應用的研究，這種組織對于有效地共享研究工作和在新數據可用時保持模型最新的能力也是至關重要的。簡而言之，研究人員應該使用更小更簡單的網絡來實現更快的原型設計，遵循一般的軟件開發最佳實踐來最大化再現性，并檢查軟件文檔來理解默認的選擇。

技巧4: 了解你的數據和問題

有一個定義明確的科學問題和一個清晰的分析計劃是實施一個成功的深度學習項目的關鍵。就像沒有明確的終點就不應該進入實驗室開始實驗一樣，深度學習項目也不應該沒有明確的目標就進行。首先，重要的是要評估是否存在能夠使用基于深度學習的方法回答感興趣的生物學問題的數據集。如果是這樣，應在項目中盡早獲取這些數據(和相關的元數據)并審查研究方案。這可以幫助確保數據符合預期，并可以防止稍后在分析過程中發現問題時所浪費的時間和精力。例如，一個發布或資源可能聲稱提供了一個適當的數據集，但在獲取時發現該數據集是不充分的。當數據應該是結構化的時候，它可能是非結構化的，例如樣本分層這樣的關鍵元數據可能會丟失，或者可用的樣本大小可能與預期不同。任何這些數據問題都可能限制研究人員使用深度學習來解決眼前的生物學問題的能力，或者在使用之前可能需要進行調整。數據收集也應該被仔細地記錄下來，或者應該在項目文檔中創建和指定數據收集協議。總的來說，在進行深度學習之前，從業者應該徹底研究他們的數據，并理解其上下文和特性。

**技巧5: 選擇適當的數據表示和神經網絡架構 **

神經網絡體系結構是指網絡中的層數、類型以及它們之間的連接方式。雖然研究團體已經建立了一些最佳實踐[72]，但架構設計選擇在很大程度上仍然是問題特定的，需要大量的實驗。此外，由于深度學習是一個快速發展的領域，許多建議往往是短暫的，經常被最近的實證結果支持的新見解所取代。許多建議在不同的問題和數據集之間不能很好地泛化，這使問題更加復雜。因此，選擇如何表示數據和設計架構更像是一門藝術，而不是一門科學。也就是說，在實驗時要遵循一些一般原則。從業者應該將神經網絡的架構建立在問題知識的基礎上，并利用類似的現有數據或預訓練的模型。

技巧6: 廣泛而系統地調優超參數

在給定至少一個隱層、一個非線性激活函數和大量隱單元的情況下，多層神經網絡可以逼近與輸入輸出變量相關的任意連續函數[16,87]。具有額外隱藏層和不斷增加的整體隱藏單元和可學習的權重參數(所謂的不斷增加的神經網絡“能力”)的更深層架構，允許解決日益復雜的問題。然而，這種容量的增加導致更多的參數需要擬合和超參數需要調優，這在模型訓練過程中會帶來額外的挑戰。一般來說，在將深度神經網絡應用于新的數據或挑戰時，應該期望系統地評估眾多超參數的影響。超參數通常表現為優化算法的選擇、損失函數、學習率、激活函數、隱藏層和隱藏單元的數量、訓練批的大小和權值初始化方案。此外，通過常用技術引入了額外的超參數，以促進對更深層架構的訓練。其中包括正則化懲罰、dropout[88]和批處理歸一化[89]，這些方法可以減少在處理深度神經網絡時所謂的消失或爆炸梯度問題的影響**。為了從模型中獲得最佳性能，研究人員應該確保系統地優化訓練數據集上的超參數**，并報告所選的超參數和超參數優化策略。

技巧7: 解決深度神經網絡對數據集過度擬合的趨勢

一般來說，過擬合是機器學習固有的挑戰，也是您在具體應用深度學習時將面臨的最重要的挑戰之一。當一個模型與訓練數據中的模式擬合得如此接近，以至于在它學習的關系中包含了不可泛化的噪聲或非科學相關的擾動時，就會發生過擬合。換句話說，該模型適用的模式過于特定于它所訓練的數據，而不是學習類似數據集之間的一般關系。當一個模型在訓練過程中沒有接觸到的數據上進行測試時，會發生什么情況，這一微妙的區別就更清楚了:就像一個死記硬背考試材料的學生很難正確地回答他們沒有學習過的問題一樣，一個與訓練數據過度契合的機器學習模型在看不見的測試數據上也會表現得很差。深度學習模型特別容易受到過擬合的影響，因為它們具有相對較多的參數和相關的表征能力。就像一些學生可能有更大的記憶潛力一樣，深度學習模型似乎比參數更少的機器學習模型更容易過度擬合。然而，具有大量的參數并不總是意味著神經網絡會過擬合[90]。本質上，從業者應該將數據分成訓練、調優和一次性使用的測試集，以評估模型在數據上的性能，這些數據可以提供對其泛化性能的可靠估計。

**技巧8: 深度學習模型可以變得更加透明 **

雖然模型可解釋性是一個寬泛的概念，但在許多機器學習文獻中，它指的是識別影響或影響預測的判別特征的能力。在某些情況下，解釋背后的目標是理解潛在的數據生成過程和生物機制[101]。在其他情況下，目標是理解為什么一個模型會做出它對一個或一組例子所做的預測。機器學習模型在可解釋性方面差異很大: 一些是完全透明的，而另一些則被認為是“黑匣子”，只能進行預測，幾乎沒有能力研究原因。邏輯回歸和決策樹模型通常被認為是可解釋的[102]。相比之下，深度神經網絡通常被認為是最難以簡單解釋的，因為它們可以有許多參數和非線性關系。

提示9: 不要過度解讀預測

在訓練出一個精確的深度學習模型后，很自然地想要用它來推斷關系并為科學發現提供信息。然而，要小心正確地解釋模型的預測。考慮到深度學習模型可能難以直觀地解釋，人們往往傾向于以放縱或不準確的方式過度解釋預測。根據經典的統計學說法“相關性并不意味著因果關系”，深度學習模型的預測很少提供因果關系。準確預測結果并不意味著因果機制已經學會，即使預測非常準確。在一個令人印象深刻的例子中，作者評估了幾種模型預測重癥監護室肺炎患者死亡概率的能力[107,108]。神經網絡模型具有最佳的預測精度。然而，在對基于規則的模型進行擬合以更好地理解其數據的內在關系之后，作者發現醫院數據隱含了“有哮喘(x)=>低風險(x)”的規則。這一規則與醫學理解相矛盾，因為患有哮喘并不會使肺炎好轉!盡管如此，數據支持這一規則，因為有哮喘史的肺炎患者往往接受更積極的治療。因此，神經網絡也學會了根據這一規則進行預測，盡管它與因果或機制無關。因此，根據神經網絡的預測來指導治療決策將是災難性的，即使神經網絡具有很高的預測精度。

技巧10: 積極考慮你工作的道德影響

盡管深度學習在生命科學研究(從基礎生物學和臨床前科學到各種轉化方法和臨床研究)中仍然是一個強大的、變革性的工具，但重要的是對倫理考慮進行評論。例如，盡管深度學習方法通過提高診斷能力和風險評估有助于提高醫療效率，但在與患者年齡、種族和性別相關的模型中可能會無意中引入某些偏見[110]。深度學習從業者可能會使用不能代表不同人群和患者特征的數據集[111]，從而導致這些問題。

結論

我們有針對性地提出了一些實用的技巧，強調前沿的見解和描述不斷發展的專業標準。此外，我們的一些觀點側重于防范數據科學和深度學習所固有的風險。這些風險包括對模型的過度解釋和誤讀，較差的泛化性，以及可能傷害他人。然而，我們想要強烈強調的是，當使用道德和負責任的方法時，深度學習技術有潛力在各種不同的環境中增加巨大的價值。畢竟，這些技術已經顯示出了滿足或超過人類和傳統算法性能的非凡能力，并有潛力揭示推動發現和創新的生物醫學見解。通過對研究問題進行批判性思考，計劃保持嚴謹，并識別工作如何在倫理維度上產生深遠的影響，對深度學習采取全面和謹慎的方法，生命科學社區可以推進可再生的、可解釋的、以及豐富和有益于科學家和社會的高質量科學。

聯邦學習(federal learning, FL)已經發展成為一個很有前途的框架，可以利用邊緣設備的資源，增強客戶的隱私，遵守規則，并降低開發成本。雖然許多方法和應用已經開發用于FL，但實際FL系統的幾個關鍵挑戰仍然沒有解決。本文作為ICASSP 2022年“聯邦學習的前沿:應用、挑戰和機遇”特別會議的一部分，對聯邦學習的發展進行了展望。將其展望分為算法基礎、個性化、硬件與安全約束、終身學習、非標準數據五個新興的FL方向。我們獨特的觀點得到了大規模聯邦系統對邊緣設備的實際觀察的支持。

//www.zhuanzhi.ai/paper/39a7d4ee8712a68df844567ae2010fbe

聯合學習[1,2]是一種流行的針對邊緣設備開發的分布式學習框架。它允許私有數據停留在本地，同時利用邊緣設備的大規模計算。它的主要思想是通過在每個所謂的聯邦或通信輪中交替執行以下內容來學習聯合模型: 1) 服務器將模型推送給客戶端，然后客戶端將執行多個本地更新，2) 服務器從客戶端子集聚合模型。實際FL系統的設計是非常重要的，因為FL經常涉及數以百萬計的設備、來自不同隊列的未知異構性、有限的設備容量、不斷變化的數據分布和部分標記的數據。受實際觀察的啟發，我們將在以下五個部分中列出一些關鍵的挑戰(如圖1所示)。

這本書(www.interviews.ai)就是為你而寫的: 一個競爭日益激烈的領域，你是一個有定量背景、有抱負的數據科學家，面對著面試過程的挑戰。對大多數人來說，面試過程是你和理想工作之間最重要的障礙。即使你有能力、有背景、有動力在目標崗位上大展拳腳，你也可能需要一些指導，指導你如何邁出第一步。

//github.com/BoltzmannEntropy/interviews.ai

在人工智能領域，像谷歌DeepMind這樣的精英研究團隊正在一次又一次地打破科學前沿。例如，在定量算法方面，一些在該領域處于領先地位的研究人員可以破解看似遙不可及的挑戰，開發出推動未來交易的模型。這些專家依靠多年的經驗和透徹的理解，他們對復雜問題的熱愛為他們提供了動力。對沖基金盡其所能吸引那些渴望解決棘手挑戰的頂級數據專家。如果你是一名有抱負的數據科學家，有著定量的背景和面試過程的挑戰，那么你可能知道，在你想要在一家初創公司或五大公司的分支機構找到理想的工作之前，面試過程是最重要的障礙。你有這個能力，但你需要一些指導和準備：

這本書的內容是大量的關于DL工作面試和研究生水平考試的主題。這使得這項工作處于科學發展趨勢的最前沿，教授一套核心的實用數學和計算技能。人們普遍認為，每一個計算機科學家的培訓都必須包括ML的基本定理，而人工智能幾乎出現在每一所大學的課程中。這本書是為這類項目的畢業生設計的一個極好的參考:

數百個完全解決的問題 來自深度學習的許多領域的問題 清晰的圖表和插圖 一個全面的索引 逐步解決問題 不僅僅是給出的答案，還有所展示的工作 不僅展示了工作，還給出了適當的推理

深度神經網絡(DNN)是實現人類在許多學習任務上的水平的不可缺少的機器學習工具。然而，由于其黑箱特性，很難理解輸入數據的哪些方面驅動了網絡的決策。在現實世界中，人類需要根據輸出的dna做出可操作的決定。這種決策支持系統可以在關鍵領域找到，如立法、執法等。重要的是，做出高層決策的人員能夠確保DNN決策是由數據特征的組合驅動的，這些數據特征在決策支持系統的部署上下文中是適當的，并且所做的決策在法律上或倫理上是可辯護的。由于DNN技術發展的驚人速度，解釋DNN決策過程的新方法和研究已經發展成為一個活躍的研究領域。在定義什么是能夠解釋深度學習系統的行為和評估系統的“解釋能力”時所存在的普遍困惑，進一步加劇了這種復雜性。為了緩解這一問題，本文提供了一個“領域指南”，為那些在該領域沒有經驗的人提供深度學習解釋能力指南: i)討論了研究人員在可解釋性研究中增強的深度學習系統的特征，ii)將可解釋性放在其他相關的深度學習研究領域的背景下，iii)介紹了定義基礎方法空間的三個簡單維度。