亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在(zai)(zai)過去的(de)(de)(de)幾年中(zhong)，深度學(xue)(xue)(xue)(xue)(xue)習和(he)醫(yi)學(xue)(xue)(xue)(xue)(xue)的(de)(de)(de)交叉領域取得了(le)(le)快速的(de)(de)(de)發(fa)(fa)展(zhan)，特別是(shi)在(zai)(zai)醫(yi)學(xue)(xue)(xue)(xue)(xue)圖(tu)(tu)像的(de)(de)(de)解譯(yi)方面。在(zai)(zai)本文中(zhong)，我(wo)描述了(le)(le)三(san)個關鍵方向，為醫(yi)學(xue)(xue)(xue)(xue)(xue)圖(tu)(tu)像解釋的(de)(de)(de)深度學(xue)(xue)(xue)(xue)(xue)習技術(shu)的(de)(de)(de)發(fa)(fa)展(zhan)提出了(le)(le)挑戰(zhan)和(he)機遇。首先(xian)，我(wo)討(tao)論了(le)(le)專家級醫(yi)學(xue)(xue)(xue)(xue)(xue)圖(tu)(tu)像解譯(yi)算法的(de)(de)(de)發(fa)(fa)展(zhan)，重(zhong)點(dian)是(shi)用(yong)于低(di)標記醫(yi)學(xue)(xue)(xue)(xue)(xue)數(shu)據(ju)設置的(de)(de)(de)遷移學(xue)(xue)(xue)(xue)(xue)習和(he)自監督(du)學(xue)(xue)(xue)(xue)(xue)習算法。其次，我(wo)討(tao)論了(le)(le)高質量數(shu)據(ju)集(ji)的(de)(de)(de)設計和(he)管理以及它們在(zai)(zai)推進算法發(fa)(fa)展(zhan)中(zhong)的(de)(de)(de)作用(yong)，重(zhong)點(dian)是(shi)使(shi)用(yong)有(you)限的(de)(de)(de)手動(dong)注(zhu)釋的(de)(de)(de)高質量標記。第(di)三(san)，我(wo)討(tao)論了(le)(le)真實世界(jie)的(de)(de)(de)評估醫(yi)學(xue)(xue)(xue)(xue)(xue)圖(tu)(tu)像算法的(de)(de)(de)研究，系統地(di)分(fen)(fen)析(xi)了(le)(le)在(zai)(zai)臨床相關分(fen)(fen)布變化下的(de)(de)(de)性能(neng)。總(zong)之，這篇論文總(zong)結了(le)(le)關鍵貢獻和(he)見解，在(zai)(zai)這些方向與關鍵應用(yong)跨醫(yi)學(xue)(xue)(xue)(xue)(xue)專業。

//searchworks.stanford.edu/view/13876519

約(yue)(yue)束(shu)(shu)優(you)(you)化已經(jing)成為(wei)一(yi)個很(hen)好的(de)(de)(de)研(yan)究領(ling)域，有一(yi)些(xie)強大的(de)(de)(de)技(ji)術(shu)可以(yi)解(jie)決該領(ling)域的(de)(de)(de)一(yi)般問題。在這本書中(zhong)(zhong)，考(kao)慮了一(yi)類(lei)特殊的(de)(de)(de)約(yue)(yue)束(shu)(shu)，稱為(wei)幾何(he)約(yue)(yue)束(shu)(shu)，它(ta)表示(shi)優(you)(you)化問題的(de)(de)(de)解(jie)在流形(xing)上。這是(shi)一(yi)個最近的(de)(de)(de)研(yan)究領(ling)域，它(ta)為(wei)更一(yi)般的(de)(de)(de)約(yue)(yue)束(shu)(shu)優(you)(you)化方(fang)法提供了強大的(de)(de)(de)替代方(fang)案。經(jing)典的(de)(de)(de)約(yue)(yue)束(shu)(shu)優(you)(you)化技(ji)術(shu)適用(yong)于比流形(xing)大得多的(de)(de)(de)嵌入式空(kong)間。因此，在流形(xing)上工作的(de)(de)(de)優(you)(you)化算(suan)法具(ju)有較(jiao)低(di)的(de)(de)(de)復雜性，而且通常還具(ju)有更好的(de)(de)(de)數(shu)值特性(例如(ru)，保(bao)持能(neng)量等(deng)不(bu)變(bian)量的(de)(de)(de)數(shu)值積分方(fang)案)。作者將此稱為(wei)受(shou)限搜索空(kong)間中(zhong)(zhong)的(de)(de)(de)無約(yue)(yue)束(shu)(shu)優(you)(you)化。

可(ke)以(yi)用流形來(lai)描述差分方(fang)程(cheng)或微(wei)分方(fang)程(cheng)的(de)(de)(de)思想(xiang)起源于(yu)布羅克特(te)、弗拉施(shi)卡(ka)和魯(lu)提肖瑟的(de)(de)(de)工(gong)作。例如，他們描述了等譜流，這(zhe)些流產生的(de)(de)(de)時變矩(ju)陣彼此相似，最終收斂到(dao)有(you)序(xu)特(te)征值(zhi)的(de)(de)(de)對角矩(ju)陣。這(zhe)些想(xiang)法在(zai)數值(zhi)線性(xing)代數領(ling)域(yu)沒(mei)有(you)像在(zai)動力系統領(ling)域(yu)那樣(yang)得到(dao)那么多的(de)(de)(de)關注，因為由(you)此產生的(de)(de)(de)差分和微(wei)分方(fang)程(cheng)并沒(mei)有(you)立即導致有(you)效的(de)(de)(de)算法實現。

這本書對發展(zhan)高階優化技術的微分(fen)幾何的進行(xing)了深入的介紹，但它仍(reng)然成功地用(yong)簡單(dan)的想法解釋復雜的概(gai)念。這些思想隨后被(bei)用(yong)于發展(zhan)牛頓(dun)型方法以及其他超線(xian)性方法，如信賴域方法和非精確和準牛頓(dun)方法，這些方法更加(jia)強調概(gai)念算法的高效數值實現。

強(qiang)化(hua)學(xue)習(xi)(RL)智能(neng)(neng)體需要探(tan)(tan)索(suo)他(ta)們(men)的(de)(de)環境，以(yi)便(bian)通(tong)過試錯學(xue)習(xi)最(zui)優策略。然而(er)，當(dang)獎(jiang)勵信號稀疏，或當(dang)安全是(shi)一(yi)個關鍵問(wen)題和某些錯誤是(shi)不可接受的(de)(de)時候(hou)，探(tan)(tan)索(suo)是(shi)具(ju)有挑(tiao)戰性的(de)(de)。在本論文中，我(wo)們(men)通(tong)過修改智能(neng)(neng)體解(jie)決(jue)的(de)(de)潛在優化(hua)問(wen)題，激勵它們(men)以(yi)更安全或更有效的(de)(de)方式探(tan)(tan)索(suo)，來解(jie)決(jue)深度強(qiang)化(hua)學(xue)習(xi)設置中的(de)(de)這(zhe)些挑(tiao)戰。

在這(zhe)篇論文的(de)(de)(de)第(di)(di)一(yi)部分(fen)(fen)，我(wo)們提出(chu)了內在動機(ji)的(de)(de)(de)方(fang)法(fa)(fa)，在獎勵(li)稀(xi)少或缺乏的(de)(de)(de)問(wen)(wen)題上取得進展。我(wo)們的(de)(de)(de)第(di)(di)一(yi)種(zhong)(zhong)方(fang)法(fa)(fa)使用(yong)(yong)內在獎勵(li)來(lai)激勵(li)智能(neng)體訪問(wen)(wen)在學(xue)習動力學(xue)模型下被(bei)認為是令人(ren)驚(jing)訝的(de)(de)(de)狀態(tai)，并且我(wo)們證(zheng)明了這(zhe)種(zhong)(zhong)技術比(bi)單純探索更好。我(wo)們的(de)(de)(de)第(di)(di)二種(zhong)(zhong)方(fang)法(fa)(fa)使用(yong)(yong)基于變分(fen)(fen)推理的(de)(de)(de)目標，賦(fu)予個體不同的(de)(de)(de)多種(zhong)(zhong)技能(neng)，而不使用(yong)(yong)特定任務的(de)(de)(de)獎勵(li)。我(wo)們證(zheng)明了這(zhe)種(zhong)(zhong)方(fang)法(fa)(fa)，我(wo)們稱為變分(fen)(fen)選擇發現(xian)，可以用(yong)(yong)來(lai)學(xue)習運(yun)動行為的(de)(de)(de)模擬(ni)機(ji)器人(ren)環境(jing)。

在論文的(de)第(di)二部分，我(wo)(wo)(wo)(wo)們(men)(men)(men)(men)重點研(yan)究(jiu)了安(an)全勘探(tan)中存在的(de)問題。在廣泛的(de)安(an)全強(qiang)化(hua)(hua)學習研(yan)究(jiu)的(de)基(ji)礎上，我(wo)(wo)(wo)(wo)們(men)(men)(men)(men)提出(chu)將約束的(de)RL標準化(hua)(hua)為安(an)全探(tan)索的(de)主要形式; 然(ran)后，我(wo)(wo)(wo)(wo)們(men)(men)(men)(men)繼續開發(fa)(fa)約束RL的(de)算(suan)法(fa)和(he)基(ji)準。我(wo)(wo)(wo)(wo)們(men)(men)(men)(men)的(de)材料展示按時間順(shun)序講述了一(yi)個故事(shi):我(wo)(wo)(wo)(wo)們(men)(men)(men)(men)首(shou)先介(jie)紹約束策略優化(hua)(hua)(Constrained Policy Optimization, CPO)，這(zhe)是(shi)約束深(shen)度RL的(de)第(di)一(yi)個算(suan)法(fa)，在每次迭代時都保證接(jie)近約束的(de)滿足。接(jie)下來，我(wo)(wo)(wo)(wo)們(men)(men)(men)(men)開發(fa)(fa)了安(an)全健身基(ji)準，它(ta)讓我(wo)(wo)(wo)(wo)們(men)(men)(men)(men)找到CPO的(de)極限，并激勵(li)我(wo)(wo)(wo)(wo)們(men)(men)(men)(men)向不(bu)同的(de)方向前進。最后，我(wo)(wo)(wo)(wo)們(men)(men)(men)(men)發(fa)(fa)展了PID拉(la)格(ge)朗日方法(fa)，其中我(wo)(wo)(wo)(wo)們(men)(men)(men)(men)發(fa)(fa)現對(dui)拉(la)格(ge)朗日原-對(dui)偶(ou)梯度基(ji)線(xian)方法(fa)進行小的(de)修改，可以顯著改善(shan)求解Safety Gym中約束RL任務(wu)的(de)穩定性(xing)和(he)魯棒性(xing)。

//www2.eecs.berkeley.edu/Pubs/TechRpts/2021/EECS-2021-34.html

高效數(shu)據(ju)(ju)結構(gou)(gou)的(de)(de)設(she)計(ji)和(he)分析(xi)長期以來(lai)被認為是計(ji)算機(ji)領域的(de)(de)一(yi)個重要學科(ke)，是計(ji)算機(ji)科(ke)學和(he)計(ji)算機(ji)工程(cheng)(cheng)本科(ke)學位的(de)(de)核(he)心課程(cheng)(cheng)的(de)(de)一(yi)部分。Python中的(de)(de)數(shu)據(ju)(ju)結構(gou)(gou)和(he)算法介紹了數(shu)據(ju)(ju)結構(gou)(gou)和(he)算法，包括它們的(de)(de)設(she)計(ji)、分析(xi)和(he)實現。本書適用于入門級數(shu)據(ju)(ju)結構(gou)(gou)課程(cheng)(cheng)，或中級算法入門課程(cheng)(cheng)。我們將在本序言(yan)后(hou)面更(geng)詳細(xi)地討論它在此類課程(cheng)(cheng)中的(de)(de)使用。

為(wei)了促進魯棒的(de)(de)(de)和可重用的(de)(de)(de)軟件的(de)(de)(de)開發，我(wo)(wo)們試圖在(zai)整(zheng)本書中(zhong)采取一(yi)致(zhi)的(de)(de)(de)面(mian)向(xiang)對(dui)(dui)象(xiang)的(de)(de)(de)觀點。面(mian)向(xiang)對(dui)(dui)象(xiang)方法(fa)(fa)的(de)(de)(de)主要思想之一(yi)是(shi)，數(shu)(shu)據(ju)應該被封裝(zhuang)在(zai)訪問和修改它(ta)們的(de)(de)(de)方法(fa)(fa)中(zhong)。也就是(shi)說，不(bu)是(shi)簡單地將(jiang)(jiang)數(shu)(shu)據(ju)看作字節和地址的(de)(de)(de)集合，而是(shi)將(jiang)(jiang)數(shu)(shu)據(ju)對(dui)(dui)象(xiang)看作抽象(xiang)數(shu)(shu)據(ju)類型(xing)(ADT)的(de)(de)(de)實例，ADT包含了對(dui)(dui)這種(zhong)(zhong)類型(xing)的(de)(de)(de)數(shu)(shu)據(ju)對(dui)(dui)象(xiang)執(zhi)行(xing)操作的(de)(de)(de)一(yi)整(zheng)套(tao)方法(fa)(fa)。然后我(wo)(wo)們強調，對(dui)(dui)于(yu)特定的(de)(de)(de)ADT可能有(you)幾種(zhong)(zhong)不(bu)同(tong)的(de)(de)(de)實現策略，并探討(tao)這些選擇(ze)的(de)(de)(de)優缺點。我(wo)(wo)們為(wei)幾乎所有(you)討(tao)論過的(de)(de)(de)數(shu)(shu)據(ju)結構和算法(fa)(fa)提供了完整(zheng)的(de)(de)(de)Python實現，我(wo)(wo)們還引入了重要的(de)(de)(de)面(mian)向(xiang)對(dui)(dui)象(xiang)設計模(mo)式，將(jiang)(jiang)這些實現組(zu)織成可重用的(de)(de)(de)組(zu)件。

我(wo)們(men)書的讀者期(qi)望的結(jie)(jie)(jie)果包括: 他們(men)了解最常見(jian)的數(shu)據(ju)集合抽(chou)象(如堆棧(zhan)、隊列、列表、樹、地圖)。 他們(men)理解算(suan)(suan)法產生有(you)效的實(shi)(shi)現(xian)策略常見(jian)的數(shu)據(ju)結(jie)(jie)(jie)構(gou)。 他們(men)可以從(cong)理論上(shang)和(he)(he)實(shi)(shi)驗上(shang)分析算(suan)(suan)法性能(neng)，并(bing)識(shi)別競爭(zheng)策略之間的共同權衡。 他們(men)可以明智地使用現(xian)代編程語(yu)言庫中現(xian)有(you)的數(shu)據(ju)結(jie)(jie)(jie)構(gou)和(he)(he)算(suan)(suan)法。 他們(men)有(you)處理大多數(shu)基本數(shu)據(ju)結(jie)(jie)(jie)構(gou)和(he)(he)算(suan)(suan)法的具體實(shi)(shi)現(xian)的經(jing)驗。 他們(men)可以運用數(shu)據(ju)結(jie)(jie)(jie)構(gou)和(he)(he)算(suan)(suan)法來(lai)解決復雜的問(wen)題。

//www.wiley.com/en-us/Data+Structures+and+Algorithms+in+Python-p-9781118290279

基(ji)于深(shen)度學(xue)習的圖像處(chu)理(li)算法研究(jiu)

隨(sui)著智能手(shou)機和(he)微單相機的(de)(de)(de)普及,拍照(zhao)(zhao)已經變成人們日(ri)常(chang)生活中(zhong)不可缺少(shao)的(de)(de)(de)一部(bu)分,圖像也已成為人類社(she)會的(de)(de)(de)重(zhong)要信息媒介。然(ran)而受到(dao)拍照(zhao)(zhao)環境、設備(bei)和(he)技(ji)術的(de)(de)(de)影(ying)響,圖像中(zhong)難免會出(chu)現(xian)(xian)退化現(xian)(xian)象,如何從圖像處(chu)(chu)理的(de)(de)(de)角度(du)提(ti)升拍攝照(zhao)(zhao)片的(de)(de)(de)質量具有重(zhong)要的(de)(de)(de)研究意(yi)義(yi)與應用價值。近年(nian)來,深(shen)(shen)度(du)學(xue)習(xi)(xi)(xi)技(ji)術得(de)到(dao)了巨大(da)的(de)(de)(de)發展(zhan),并廣(guang)泛應用于圖像處(chu)(chu)理領域。相對于許多(duo)傳統(tong)算法,深(shen)(shen)度(du)學(xue)習(xi)(xi)(xi)技(ji)術從海量的(de)(de)(de)訓練數據中(zhong)學(xue)習(xi)(xi)(xi)到(dao)的(de)(de)(de)先驗知識(shi)具有更強的(de)(de)(de)泛化能力(li)和(he)更復(fu)雜(za)的(de)(de)(de)參數化表達,且無需調節算法參數以適(shi)應不同(tong)的(de)(de)(de)應用場景。得(de)益于上述優(you)勢,深(shen)(shen)度(du)學(xue)習(xi)(xi)(xi)技(ji)術已經廣(guang)泛應用于圖像處(chu)(chu)理領域,如何利用深(shen)(shen)度(du)學(xue)習(xi)(xi)(xi)算法提(ti)升圖像處(chu)(chu)理的(de)(de)(de)效果也變成了一個重(zhong)要的(de)(de)(de)研究方(fang)向。

盡管深(shen)(shen)度(du)(du)學(xue)(xue)習技(ji)術顯著促進了(le)圖(tu)(tu)(tu)像(xiang)(xiang)(xiang)(xiang)處(chu)(chu)理(li)(li)(li)領域的(de)(de)(de)(de)(de)發展,但是受限于(yu)其對(dui)(dui)訓(xun)練(lian)(lian)數(shu)據的(de)(de)(de)(de)(de)敏感性,在面對(dui)(dui)無(wu)標(biao)(biao)(biao)簽、僅有弱(ruo)標(biao)(biao)(biao)簽或者合(he)成偽標(biao)(biao)(biao)簽的(de)(de)(de)(de)(de)數(shu)據時,深(shen)(shen)度(du)(du)學(xue)(xue)習技(ji)術的(de)(de)(de)(de)(de)優勢難以充分體現。本學(xue)(xue)位論文(wen)(wen)針對(dui)(dui)以上(shang)挑戰,重點(dian)研究(jiu)了(le)缺失完整數(shu)據標(biao)(biao)(biao)簽的(de)(de)(de)(de)(de)經典圖(tu)(tu)(tu)像(xiang)(xiang)(xiang)(xiang)處(chu)(chu)理(li)(li)(li)問(wen)(wen)題(ti),包(bao)括(kuo)圖(tu)(tu)(tu)像(xiang)(xiang)(xiang)(xiang)平滑、反光去除(chu)和本征圖(tu)(tu)(tu)像(xiang)(xiang)(xiang)(xiang)分解(jie)(jie)等。本文(wen)(wen)通(tong)過將上(shang)述問(wen)(wen)題(ti)抽象(xiang)為對(dui)(dui)圖(tu)(tu)(tu)像(xiang)(xiang)(xiang)(xiang)結構(gou)敏感的(de)(de)(de)(de)(de)圖(tu)(tu)(tu)像(xiang)(xiang)(xiang)(xiang)分解(jie)(jie)問(wen)(wen)題(ti),將顯著的(de)(de)(de)(de)(de)目(mu)標(biao)(biao)(biao)邊緣信息通(tong)過優化或者濾波的(de)(de)(de)(de)(de)方(fang)式編碼進深(shen)(shen)度(du)(du)學(xue)(xue)習的(de)(de)(de)(de)(de)算(suan)法設計中。根據圖(tu)(tu)(tu)像(xiang)(xiang)(xiang)(xiang)處(chu)(chu)理(li)(li)(li)問(wen)(wen)題(ti)中數(shu)據標(biao)(biao)(biao)簽的(de)(de)(de)(de)(de)類型和數(shu)量不(bu)同,本文(wen)(wen)依次提出了(le)基于(yu)無(wu)監(jian)督學(xue)(xue)習、弱(ruo)監(jian)督學(xue)(xue)習和多(duo)標(biao)(biao)(biao)簽聯(lian)合(he)訓(xun)練(lian)(lian)的(de)(de)(de)(de)(de)深(shen)(shen)度(du)(du)學(xue)(xue)習解(jie)(jie)決方(fang)案(an)。本文(wen)(wen)的(de)(de)(de)(de)(de)最后提出了(le)解(jie)(jie)耦學(xue)(xue)習框架,通(tong)過對(dui)(dui)10種(zhong)不(bu)同圖(tu)(tu)(tu)像(xiang)(xiang)(xiang)(xiang)處(chu)(chu)理(li)(li)(li)問(wen)(wen)題(ti)的(de)(de)(de)(de)(de)聯(lian)合(he)訓(xun)練(lian)(lian),提煉出了(le)圖(tu)(tu)(tu)像(xiang)(xiang)(xiang)(xiang)處(chu)(chu)理(li)(li)(li)問(wen)(wen)題(ti)的(de)(de)(de)(de)(de)核心(xin)解(jie)(jie)空間。該算(suan)法對(dui)(dui)于(yu)理(li)(li)(li)解(jie)(jie)深(shen)(shen)度(du)(du)學(xue)(xue)習技(ji)術在圖(tu)(tu)(tu)像(xiang)(xiang)(xiang)(xiang)處(chu)(chu)理(li)(li)(li)領域的(de)(de)(de)(de)(de)應用有重要的(de)(de)(de)(de)(de)研究(jiu)價值(zhi)和意義。本文(wen)(wen)的(de)(de)(de)(de)(de)創(chuang)新點(dian)和貢獻(xian)包(bao)括(kuo)以下幾個方(fang)面:

(1) 一(yi)種基(ji)于無監(jian)督學(xue)習的空間自適應圖像平(ping)滑算法

該算法(fa)通過使用(yong)卷積(ji)神經網絡,以無(wu)監督(du)的(de)(de)(de)(de)(de)方式從(cong)無(wu)標(biao)簽數(shu)據(ju)中學習圖(tu)像(xiang)平(ping)滑(hua)(hua)的(de)(de)(de)(de)(de)優(you)化(hua)過程,并(bing)實現可(ke)靈活調(diao)節(jie)的(de)(de)(de)(de)(de)圖(tu)像(xiang)平(ping)滑(hua)(hua)效果。該算法(fa)提出了一個由(you)邊(bian)緣保(bao)持項和(he)空間(jian)自(zi)適應(ying)平(ping)滑(hua)(hua)項構成的(de)(de)(de)(de)(de)能(neng)量函(han)數(shu),前者用(yong)于(yu)(yu)保(bao)持重要(yao)但易(yi)破壞的(de)(de)(de)(de)(de)圖(tu)像(xiang)結(jie)構,后者用(yong)于(yu)(yu)將多種(zhong)形式的(de)(de)(de)(de)(de)正則(ze)器(Lp范數(shu))施加至圖(tu)像(xiang)的(de)(de)(de)(de)(de)不(bu)同區域。由(you)于(yu)(yu)缺(que)乏平(ping)滑(hua)(hua)圖(tu)像(xiang)的(de)(de)(de)(de)(de)真(zhen)值數(shu)據(ju),本文采用(yong)一個無(wu)監督(du)學習的(de)(de)(de)(de)(de)能(neng)量優(you)化(hua)框(kuang)架,用(yong)來實現多種(zhong)基(ji)于(yu)(yu)圖(tu)像(xiang)平(ping)滑(hua)(hua)的(de)(de)(de)(de)(de)視覺(jue)應(ying)用(yong),譬如圖(tu)像(xiang)抽(chou)象(xiang)化(hua)、鉛筆素描、細節(jie)增強、紋理(li)去除和(he)基(ji)于(yu)(yu)內容的(de)(de)(de)(de)(de)圖(tu)像(xiang)處理(li)等。實驗結(jie)果表明(ming),該基(ji)于(yu)(yu)無(wu)監督(du)學習的(de)(de)(de)(de)(de)空間(jian)自(zi)適應(ying)圖(tu)像(xiang)平(ping)滑(hua)(hua)算法(fa)獲(huo)得了更好的(de)(de)(de)(de)(de)視覺(jue)結(jie)果。

(2) 一種(zhong)基于弱監督學(xue)習的圖像(xiang)反光(guang)去(qu)除(chu)算法

該(gai)算(suan)(suan)法(fa)(fa)提(ti)出了(le)(le)一個多(duo)階段卷(juan)積神經(jing)網(wang)絡(luo),用以解(jie)決圖(tu)(tu)像(xiang)分解(jie)領域中經(jing)典的(de)反(fan)光去(qu)除問(wen)題。本算(suan)(suan)法(fa)(fa)框架由兩個結(jie)構(gou)相(xiang)似的(de)卷(juan)積神經(jing)網(wang)絡(luo)串聯而成,前者預測目標圖(tu)(tu)像(xiang)的(de)邊(bian)緣結(jie)構(gou),后者依據(ju)預測邊(bian)緣信息的(de)引導重建(jian)目標圖(tu)(tu)像(xiang);整(zheng)個過程(cheng)既不需要任何人工(gong)設(she)計(ji)(ji),也不依賴于其他(ta)圖(tu)(tu)像(xiang)處理應用。通過從真實(shi)(shi)反(fan)光圖(tu)(tu)像(xiang)觀(guan)察(cha)得(de)(de)到的(de)圖(tu)(tu)像(xiang)亮度和(he)結(jie)構(gou)先驗,該(gai)算(suan)(suan)法(fa)(fa)設(she)計(ji)(ji)了(le)(le)一種針對模糊強反(fan)光的(de)反(fan)光圖(tu)(tu)像(xiang)合成算(suan)(suan)法(fa)(fa);通過將合成數據(ju)以弱監督信號(hao)的(de)形式融入到多(duo)階段神經(jing)網(wang)絡(luo)訓練中,該(gai)算(suan)(suan)法(fa)(fa)獲得(de)(de)了(le)(le)在真實(shi)(shi)反(fan)光圖(tu)(tu)像(xiang)上的(de)良好(hao)泛(fan)化性能。實(shi)(shi)驗結(jie)果表明,該(gai)基于弱監督學習的(de)圖(tu)(tu)像(xiang)反(fan)光去(qu)除算(suan)(suan)法(fa)(fa)在不同程(cheng)度的(de)反(fan)光場景(jing)中均(jun)獲得(de)(de)更優(you)的(de)視覺效果。

(3) 一種基于多標(biao)簽聯(lian)合訓練的本征圖像分解算法

本(ben)征(zheng)(zheng)圖(tu)像(xiang)(xiang)分解(jie)往往存在數(shu)據集(ji)冗(rong)雜、數(shu)據標簽不(bu)(bu)一致等(deng)問題(ti)。為解(jie)決該(gai)問題(ti),本(ben)文提出了一個(ge)(ge)通用(yong)的(de)(de)(de)核(he)心神經網(wang)(wang)絡(luo),用(yong)以(yi)在不(bu)(bu)同(tong)類型(xing)的(de)(de)(de)數(shu)據標簽中共享本(ben)征(zheng)(zheng)圖(tu)像(xiang)(xiang)形(xing)成過程的(de)(de)(de)稀疏先驗。該(gai)神經網(wang)(wang)絡(luo)由三個(ge)(ge)不(bu)(bu)同(tong)的(de)(de)(de)基(ji)礎模塊(kuai)組成:直接(jie)本(ben)征(zheng)(zheng)圖(tu)像(xiang)(xiang)估計(ji)網(wang)(wang)絡(luo)、導向網(wang)(wang)絡(luo)和域濾波器(qi);其(qi)中,直接(jie)本(ben)征(zheng)(zheng)圖(tu)像(xiang)(xiang)估計(ji)網(wang)(wang)絡(luo)通過對(dui)本(ben)征(zheng)(zheng)圖(tu)像(xiang)(xiang)的(de)(de)(de)直接(jie)監督獲(huo)(huo)得(de)初始的(de)(de)(de)預(yu)測(ce)結果,導向網(wang)(wang)絡(luo)負責(ze)生成稀疏的(de)(de)(de)反(fan)射結構先驗,并引導域濾波器(qi)獲(huo)(huo)得(de)干(gan)凈的(de)(de)(de)反(fan)射估計(ji)。該(gai)算(suan)法設計(ji)了一個(ge)(ge)靈活的(de)(de)(de)能量損(sun)失層以(yi)實現多標簽數(shu)據聯合訓練的(de)(de)(de)目的(de)(de)(de)。實驗結果表明,該(gai)本(ben)征(zheng)(zheng)圖(tu)像(xiang)(xiang)分解(jie)算(suan)法在所有的(de)(de)(de)主流基(ji)準數(shu)據集(ji)上都獲(huo)(huo)得(de)了更高的(de)(de)(de)精確度。

(4) 一種(zhong)基于解耦學習的實時參數化圖像處理框架

傳(chuan)統的(de)(de)(de)(de)(de)深度學(xue)習算法在面對不同的(de)(de)(de)(de)(de)圖(tu)像處(chu)理(li)應(ying)用(yong)(yong)(yong)時,需(xu)要(yao)重(zhong)復地訓練神(shen)經(jing)網(wang)(wang)絡(luo)(luo)(luo)(luo)。為了(le)解決這個問(wen)題,該(gai)(gai)算法提出了(le)由(you)基(ji)礎(chu)網(wang)(wang)絡(luo)(luo)(luo)(luo)和權重(zhong)學(xue)習網(wang)(wang)絡(luo)(luo)(luo)(luo)組(zu)成(cheng)的(de)(de)(de)(de)(de)解耦學(xue)習框架,其中(zhong)前者(zhe)用(yong)(yong)(yong)來實(shi)(shi)現具體的(de)(de)(de)(de)(de)圖(tu)像處(chu)理(li)應(ying)用(yong)(yong)(yong),后者(zhe)用(yong)(yong)(yong)來學(xue)習基(ji)礎(chu)網(wang)(wang)絡(luo)(luo)(luo)(luo)的(de)(de)(de)(de)(de)權重(zhong)。該(gai)(gai)算法通過對基(ji)礎(chu)網(wang)(wang)絡(luo)(luo)(luo)(luo)的(de)(de)(de)(de)(de)結(jie)構和權重(zhong)進行解耦,達到根(gen)據圖(tu)像處(chu)理(li)應(ying)用(yong)(yong)(yong)的(de)(de)(de)(de)(de)變化實(shi)(shi)時動態(tai)調整基(ji)礎(chu)網(wang)(wang)絡(luo)(luo)(luo)(luo)權重(zhong)的(de)(de)(de)(de)(de)效果,并因此實(shi)(shi)現了(le)利用(yong)(yong)(yong)單一(yi)神(shen)經(jing)網(wang)(wang)絡(luo)(luo)(luo)(luo)融合多(duo)種圖(tu)像處(chu)理(li)應(ying)用(yong)(yong)(yong)的(de)(de)(de)(de)(de)目的(de)(de)(de)(de)(de)。實(shi)(shi)驗結(jie)果表(biao)明,該(gai)(gai)解耦學(xue)習框架成(cheng)功應(ying)用(yong)(yong)(yong)在10種不同的(de)(de)(de)(de)(de)參數化圖(tu)像算子中(zhong),并減少了(le)網(wang)(wang)絡(luo)(luo)(luo)(luo)參數的(de)(de)(de)(de)(de)存儲空間。

醫(yi)(yi)學(xue)(xue)(xue)(xue)(xue)(xue)(xue)社區的(de)(de)(de)(de)(de)(de)長期目(mu)(mu)標是(shi)高效和(he)(he)(he)(he)智(zhi)能(neng)(neng)地(di)呈現(xian)(xian)和(he)(he)(he)(he)分(fen)(fen)析(xi)醫(yi)(yi)學(xue)(xue)(xue)(xue)(xue)(xue)(xue)圖(tu)(tu)(tu)(tu)(tu)(tu)像(xiang)(xiang)(xiang)(xiang)(xiang)。一(yi)(yi)方面(mian)，這意味著(zhu)要找到有效的(de)(de)(de)(de)(de)(de)方法來(lai)獲(huo)取(qu)(qu)高質量的(de)(de)(de)(de)(de)(de)醫(yi)(yi)療(liao)(liao)(liao)圖(tu)(tu)(tu)(tu)(tu)(tu)像(xiang)(xiang)(xiang)(xiang)(xiang)，以(yi)便醫(yi)(yi)療(liao)(liao)(liao)保(bao)健提供者能(neng)(neng)夠隨時(shi)使(shi)用(yong)(yong)。另一(yi)(yi)方面(mian)，它意味著(zhu)發(fa)(fa)現(xian)(xian)智(zhi)能(neng)(neng)的(de)(de)(de)(de)(de)(de)方式(shi)來(lai)解釋醫(yi)(yi)學(xue)(xue)(xue)(xue)(xue)(xue)(xue)圖(tu)(tu)(tu)(tu)(tu)(tu)像(xiang)(xiang)(xiang)(xiang)(xiang)，以(yi)促進(jin)醫(yi)(yi)療(liao)(liao)(liao)保(bao)健的(de)(de)(de)(de)(de)(de)交付。為(wei)此，研(yan)究人員和(he)(he)(he)(he)醫(yi)(yi)學(xue)(xue)(xue)(xue)(xue)(xue)(xue)專業(ye)人員通常(chang)尋求(qiu)使(shi)用(yong)(yong)計算機(ji)(ji)系統，這些系統通過機(ji)(ji)器(qi)學(xue)(xue)(xue)(xue)(xue)(xue)(xue)習(xi)(xi)(xi)技術(shu)來(lai)處理(li)醫(yi)(yi)學(xue)(xue)(xue)(xue)(xue)(xue)(xue)圖(tu)(tu)(tu)(tu)(tu)(tu)像(xiang)(xiang)(xiang)(xiang)(xiang)。應(ying)用(yong)(yong)機(ji)(ji)器(qi)學(xue)(xue)(xue)(xue)(xue)(xue)(xue)習(xi)(xi)(xi)的(de)(de)(de)(de)(de)(de)一(yi)(yi)個關鍵步驟是(shi)獲(huo)得(de)(de)能(neng)(neng)很好地(di)描述(shu)醫(yi)(yi)學(xue)(xue)(xue)(xue)(xue)(xue)(xue)圖(tu)(tu)(tu)(tu)(tu)(tu)像(xiang)(xiang)(xiang)(xiang)(xiang)的(de)(de)(de)(de)(de)(de)信息表示(shi)。通常(chang)，這是(shi)通過手動特(te)(te)征工程來(lai)完成(cheng)(cheng)(cheng)(cheng)(cheng)的(de)(de)(de)(de)(de)(de)，然而這需要相(xiang)當多(duo)的(de)(de)(de)(de)(de)(de)醫(yi)(yi)學(xue)(xue)(xue)(xue)(xue)(xue)(xue)領域(yu)的(de)(de)(de)(de)(de)(de)專業(ye)知識。一(yi)(yi)種可能(neng)(neng)的(de)(de)(de)(de)(de)(de)解決方法是(shi)允許模型(xing)從(cong)原始數(shu)據中(zhong)自動發(fa)(fa)現(xian)(xian)關于(yu)(yu)目(mu)(mu)標域(yu)的(de)(de)(de)(de)(de)(de)潛在表示(shi)。為(wei)此，本(ben)文(wen)將重(zhong)(zhong)點放(fang)在深(shen)度學(xue)(xue)(xue)(xue)(xue)(xue)(xue)習(xi)(xi)(xi)上，深(shen)度學(xue)(xue)(xue)(xue)(xue)(xue)(xue)習(xi)(xi)(xi)只是(shi)更(geng)廣(guang)泛的(de)(de)(de)(de)(de)(de)機(ji)(ji)器(qi)學(xue)(xue)(xue)(xue)(xue)(xue)(xue)習(xi)(xi)(xi)家族的(de)(de)(de)(de)(de)(de)一(yi)(yi)個子集，但(dan)最(zui)近(jin)已經取(qu)(qu)得(de)(de)了前所未有的(de)(de)(de)(de)(de)(de)進(jin)展(zhan)，在發(fa)(fa)現(xian)(xian)高維數(shu)據的(de)(de)(de)(de)(de)(de)復雜結構方面(mian)顯(xian)(xian)示(shi)出令人難以(yi)置信的(de)(de)(de)(de)(de)(de)能(neng)(neng)力。對于(yu)(yu)許多(duo)計算機(ji)(ji)視覺(jue)任(ren)務，深(shen)度學(xue)(xue)(xue)(xue)(xue)(xue)(xue)習(xi)(xi)(xi)方法已經取(qu)(qu)得(de)(de)了最(zui)先進(jin)的(de)(de)(de)(de)(de)(de)性能(neng)(neng)，以(yi)顯(xian)(xian)著(zhu)的(de)(de)(de)(de)(de)(de)優勢。本(ben)文(wen)開(kai)發(fa)(fa)了用(yong)(yong)于(yu)(yu)醫(yi)(yi)學(xue)(xue)(xue)(xue)(xue)(xue)(xue)圖(tu)(tu)(tu)(tu)(tu)(tu)像(xiang)(xiang)(xiang)(xiang)(xiang)分(fen)(fen)析(xi)、重(zhong)(zhong)建和(he)(he)(he)(he)合(he)成(cheng)(cheng)(cheng)(cheng)(cheng)的(de)(de)(de)(de)(de)(de)深(shen)度學(xue)(xue)(xue)(xue)(xue)(xue)(xue)習(xi)(xi)(xi)模型(xing)和(he)(he)(he)(he)技術(shu)。在醫(yi)(yi)學(xue)(xue)(xue)(xue)(xue)(xue)(xue)圖(tu)(tu)(tu)(tu)(tu)(tu)像(xiang)(xiang)(xiang)(xiang)(xiang)分(fen)(fen)析(xi)中(zhong)，我們(men)(men)(men)注重(zhong)(zhong)對醫(yi)(yi)學(xue)(xue)(xue)(xue)(xue)(xue)(xue)圖(tu)(tu)(tu)(tu)(tu)(tu)像(xiang)(xiang)(xiang)(xiang)(xiang)內容的(de)(de)(de)(de)(de)(de)理(li)解和(he)(he)(he)(he)對執(zhi)業(ye)醫(yi)(yi)師的(de)(de)(de)(de)(de)(de)指導。特(te)(te)別是(shi)，我們(men)(men)(men)研(yan)究了深(shen)度學(xue)(xue)(xue)(xue)(xue)(xue)(xue)習(xi)(xi)(xi)的(de)(de)(de)(de)(de)(de)方法來(lai)解決分(fen)(fen)類，檢測，分(fen)(fen)割(ge)和(he)(he)(he)(he)配準醫(yi)(yi)學(xue)(xue)(xue)(xue)(xue)(xue)(xue)圖(tu)(tu)(tu)(tu)(tu)(tu)像(xiang)(xiang)(xiang)(xiang)(xiang)。在醫(yi)(yi)學(xue)(xue)(xue)(xue)(xue)(xue)(xue)圖(tu)(tu)(tu)(tu)(tu)(tu)像(xiang)(xiang)(xiang)(xiang)(xiang)重(zhong)(zhong)建和(he)(he)(he)(he)合(he)成(cheng)(cheng)(cheng)(cheng)(cheng)中(zhong)，我們(men)(men)(men)提出利用(yong)(yong)深(shen)度學(xue)(xue)(xue)(xue)(xue)(xue)(xue)習(xi)(xi)(xi)的(de)(de)(de)(de)(de)(de)方法內在地(di)學(xue)(xue)(xue)(xue)(xue)(xue)(xue)習(xi)(xi)(xi)醫(yi)(yi)學(xue)(xue)(xue)(xue)(xue)(xue)(xue)數(shu)據空間，有效地(di)合(he)成(cheng)(cheng)(cheng)(cheng)(cheng)真實(shi)的(de)(de)(de)(de)(de)(de)醫(yi)(yi)學(xue)(xue)(xue)(xue)(xue)(xue)(xue)圖(tu)(tu)(tu)(tu)(tu)(tu)像(xiang)(xiang)(xiang)(xiang)(xiang)。對于(yu)(yu)重(zhong)(zhong)建，我們(men)(men)(men)的(de)(de)(de)(de)(de)(de)目(mu)(mu)標是(shi)生成(cheng)(cheng)(cheng)(cheng)(cheng)高質量的(de)(de)(de)(de)(de)(de)醫(yi)(yi)學(xue)(xue)(xue)(xue)(xue)(xue)(xue)圖(tu)(tu)(tu)(tu)(tu)(tu)像(xiang)(xiang)(xiang)(xiang)(xiang)和(he)(he)(he)(he)較少(shao)的(de)(de)(de)(de)(de)(de)偽影。對于(yu)(yu)合(he)成(cheng)(cheng)(cheng)(cheng)(cheng)，我們(men)(men)(men)的(de)(de)(de)(de)(de)(de)目(mu)(mu)標是(shi)生成(cheng)(cheng)(cheng)(cheng)(cheng)真實(shi)的(de)(de)(de)(de)(de)(de)醫(yi)(yi)學(xue)(xue)(xue)(xue)(xue)(xue)(xue)圖(tu)(tu)(tu)(tu)(tu)(tu)像(xiang)(xiang)(xiang)(xiang)(xiang)，以(yi)幫助學(xue)(xue)(xue)(xue)(xue)(xue)(xue)習(xi)(xi)(xi)醫(yi)(yi)學(xue)(xue)(xue)(xue)(xue)(xue)(xue)圖(tu)(tu)(tu)(tu)(tu)(tu)像(xiang)(xiang)(xiang)(xiang)(xiang)分(fen)(fen)析(xi)或(huo)重(zhong)(zhong)建模型(xing)。這篇(pian)論文(wen)的(de)(de)(de)(de)(de)(de)貢(gong)獻(xian)有三方面(mian)。首(shou)先，我們(men)(men)(men)提出了利用(yong)(yong)深(shen)度學(xue)(xue)(xue)(xue)(xue)(xue)(xue)習(xi)(xi)(xi)解決醫(yi)(yi)學(xue)(xue)(xue)(xue)(xue)(xue)(xue)問(wen)(wen)題(ti)的(de)(de)(de)(de)(de)(de)各種方法。其次，我們(men)(men)(men)展(zhan)示(shi)了醫(yi)(yi)學(xue)(xue)(xue)(xue)(xue)(xue)(xue)知識融合(he)在深(shen)度學(xue)(xue)(xue)(xue)(xue)(xue)(xue)習(xi)(xi)(xi)架(jia)構設計中(zhong)的(de)(de)(de)(de)(de)(de)重(zhong)(zhong)要性和(he)(he)(he)(he)有效性。第三，我們(men)(men)(men)展(zhan)示(shi)了深(shen)度生成(cheng)(cheng)(cheng)(cheng)(cheng)模型(xing)在解決醫(yi)(yi)學(xue)(xue)(xue)(xue)(xue)(xue)(xue)圖(tu)(tu)(tu)(tu)(tu)(tu)像(xiang)(xiang)(xiang)(xiang)(xiang)重(zhong)(zhong)建和(he)(he)(he)(he)合(he)成(cheng)(cheng)(cheng)(cheng)(cheng)問(wen)(wen)題(ti)的(de)(de)(de)(de)(de)(de)潛力。

//urresearch.rochester.edu/institutionalPublicationPublicView.action;jsessionid=21A6F9E774F11BA763CA4DD982F79D65?institutionalItemId=35226

過(guo)(guo)去的(de)(de)十(shi)年見(jian)證(zheng)了(le)深度(du)(du)學(xue)習(DL)應用數據量的(de)(de)巨大增長。因此，深度(du)(du)神經網絡(luo)(DNNs)的(de)(de)訓練(lian)時(shi)間過(guo)(guo)長已(yi)經成為機器學(xue)習(ML)開(kai)發者(zhe)和研究者(zhe)的(de)(de)瓶頸。例如，在(zai)(zai)8個(ge)P100 gpu上完(wan)成90-epoch ImageNet/ResNet-50的(de)(de)訓練(lian)需(xu)要29個(ge)小時(shi)。在(zai)(zai)16個(ge)v3 TPU芯片(pian)上完(wan)成BERT預訓練(lian)需(xu)要81小時(shi)。本文主要研究的(de)(de)是快(kuai)速準確的(de)(de)ML訓練(lian)。盡管生(sheng)產團隊希望充分利用超級計(ji)算(suan)機來加速訓練(lian)過(guo)(guo)程，但傳統(tong)的(de)(de)優化(hua)器無(wu)法(fa)擴展到數千個(ge)處(chu)理(li)器。在(zai)(zai)本論文中，我們設計(ji)了(le)一(yi)系列(lie)基(ji)本的(de)(de)優化(hua)算(suan)法(fa)來提高(gao)DL系統(tong)的(de)(de)并行(xing)度(du)(du)。我們的(de)(de)算(suan)法(fa)為谷歌、英特爾、騰訊、英偉達等(deng)最(zui)先進的(de)(de)分布式系統(tong)提供支持。本文的(de)(de)重點是彌合高(gao)性能計(ji)算(suan)(HPC)和ML之間的(de)(de)差(cha)距。

在2017年(nian)HPC和ML之間有(you)(you)很大的(de)(de)(de)差(cha)距(ju)。一(yi)方面，我(wo)(wo)們擁(yong)有(you)(you)強大的(de)(de)(de)超(chao)級(ji)計(ji)算機，每秒(miao)可(ke)以(yi)執行(xing)2x10^17個浮點運算。另一(yi)方面，我(wo)(wo)們甚至不(bu)能(neng)(neng)充分利用1%的(de)(de)(de)計(ji)算能(neng)(neng)力來訓練(lian)(lian)一(yi)個最先(xian)進的(de)(de)(de)機器學習模(mo)型(xing)。原因是超(chao)級(ji)計(ji)算機需要極高(gao)的(de)(de)(de)并行(xing)度才能(neng)(neng)達(da)到其(qi)峰(feng)值性(xing)能(neng)(neng)。然而，高(gao)并行(xing)性(xing)導致(zhi)ML優(you)化器的(de)(de)(de)收斂(lian)性(xing)很差(cha)。為了(le)解決(jue)這(zhe)個問題，我(wo)(wo)和我(wo)(wo)的(de)(de)(de)合著者提出了(le)LARS優(you)化器、LAMB優(you)化器和CA-SVM框架。這(zhe)些新方法(fa)(fa)使(shi)ML訓練(lian)(lian)擴展到數千個處理器而不(bu)會失去準確性(xing)。在過去的(de)(de)(de)三年(nian)里，我(wo)(wo)們觀察到ResNet-50的(de)(de)(de)訓練(lian)(lian)時間從29小(xiao)時下降(jiang)到67.1秒(miao)。事實(shi)上，自2017年(nian)12月以(yi)來，所有(you)(you)最先(xian)進的(de)(de)(de)ImageNet訓練(lian)(lian)速度記錄都是由LARS創(chuang)造的(de)(de)(de)。LARS在MLPerf v0.6中成(cheng)為行(xing)業指(zhi)標。此(ci)外，即使(shi)沒有(you)(you)超(chao)級(ji)計(ji)算機，我(wo)(wo)們的(de)(de)(de)方法(fa)(fa)也比(bi)(bi)現有(you)(you)的(de)(de)(de)求解器要快。如果我(wo)(wo)們固定(ding)訓練(lian)(lian)預算(例如1個GPU 1小(xiao)時)，我(wo)(wo)們的(de)(de)(de)優(you)化器可(ke)以(yi)達(da)到一(yi)個更高(gao)的(de)(de)(de)精(jing)度比(bi)(bi)最先(xian)進的(de)(de)(de)基線。

凸優化(hua)作為一個數學問題已經被研究(jiu)了(le)一個多(duo)世紀(ji)(ji)，并(bing)在許多(duo)應用領(ling)域的實踐(jian)中應用了(le)大約半個世紀(ji)(ji)，包(bao)括(kuo)控(kong)制、金(jin)融、信(xin)號(hao)處理、數據挖掘和機器學習。本文(wen)主要研究(jiu)凸優化(hua)的幾個問題，以及機器學習的具體(ti)應用。