亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在圖 1 中簡要介紹了布朗大學團隊的研究工作。在美國國防部高級研究計劃局（DARPA）的 "少標簽學習"（LwLL）項目中，團隊的工作包括技術領域 1（TA1）和技術領域 2（TA2）。技術領域 1 的目標是開發以下學習算法 (1) 將從頭開始建立模型所需的標注數據量減少至少 10^6 倍；以及 (2) 適應具有數百個標注示例的新環境。TA2 的目標是正式證明解決特定機器學習問題所需的標注數據量的限制。具體來說，我們的貢獻有兩個方面：首先，我們開發了廣泛適用的系統和方法，以減少學習對標注數據的需求；其次，我們定義了穩健的理論分析和框架，這些分析和框架是程序化弱監督和零點學習范例的基礎。

在該計劃中，預訓練的大型語言和視覺語言模型的出現帶來了新的挑戰，因為這些模型出色的泛化能力大大提高了基準性能。雖然這些進步降低了針對新目標任務完善模型時對標注數據的需求，但能否獲得足夠的特定目標數據仍然至關重要，尤其是對于遠離模型訓練數據的領域。考慮到這一點，我們的團隊將注意力轉向了在資源有限的情況下對這些大型模型進行參數高效調整。

總的來說，貢獻總結如下：

• 推出了 TAGLETS [1]，這是首個端到端機器學習系統，能以統一的方式自動整合數據和模型生態系統。在數據量較少的情況下，沒有經驗法則可以事先選出最佳學習策略。TAGLETS 包括來自不同學習范式的多種算法，如遷移學習、半監督學習和零點學習。每個模型最初都會在目標相關的輔助數據上進行微調，這些數據是從其他任務的標注數據集合中提取的[1, 2]。然后，將訓練好的模型作為弱標簽器，為未標簽數據生成偽標簽。新標注的數據和為數不多的標注數據被送入最終模型，成為系統的輸出結果。TAGLETS 最初使用較小的預訓練模型作為模型的骨干。用更大的預訓練模型取代這些骨干模型的進一步實驗表明，TAGLETS 的架構和任務相關輔助數據的重點，即使是更大的預訓練模型，也能從中獲益。(TA1)

• 設計了一種新穎的零點學習方法（zero-shot learning approach），利用常識知識圖譜來豐富未見目標類的信息（ZSL-KG）[3]。在使用描述類別的屬性進行零點學習的背景下，我們首次提出了從屬性到類別的最佳映射的最壞情況誤差的非難下限，即使有完美的屬性檢測器也是如此[4]。該下界描述了基于可用信息--類-屬性矩陣--的零點問題的理論內在難度，而且該下界實際上是可計算的。(TA1 和 TA2）

• 探索了如何在不同的低資源學習范式[5]下利用偽標記來提高視覺語言模型（VLM）在新任務上的能力。我們的主要觀察結果是，在半監督、無監督和轉導式零點學習設置中使用相同的學習策略，通過偽標簽學習可持續提高對比語言-圖像預訓練（CLIP）的性能。此外，通過使用假標簽進行提示來調整 CLIP，可減輕 CLIP 對某些類別的偏差。(TA1)

• 開發了一種使用 CLIP（組合軟提示）[6] 學習如何組合概念的新方法。我們的方法在組合零點學習（即預測未見屬性-對象組合（如老貓和小老虎）的任務）方面表現良好。除了提出這種新方法外，我們還研究了 CLIP 編碼組合概念的能力，以及以對結構敏感的方式綁定變量的能力（例如，區分球體后面的立方體和立方體后面的球體）[7]。(TA1)

• 從理論上研究并提供了在去除獨立性假設后組合弱標簽器的新方法。特別是，我們設計了具有誤差理論保證的解決方案[8, 9]。我們將這一分析擴展到漂移數據 [10]。此外，為了克服標簽輸出單一類標簽的假設，我們研究了用戶可以創建部分標簽輸出可能類標簽子集的情況 [11]。(TA1 和 TA2）

• 在大型語言模型和視覺語言模型出現后，我們開發了 Alfred：第一個允許通過提示對大量未標記數據進行標記的框架[12]。(TA1)

方法對項目整體范圍的影響。

• 布朗大學在 JPL 設計的圖像和視頻分類任務中評估了其 TAGLETS 系統。此外，我們還評估了 GRIP，這是一種利用偽標簽的基于 CLIP 的提示調整方法，用于解決 JPL 的零鏡頭學習任務。
  • 在圖像分類任務中，TAGLETS 的表現躋身前六名。
  • 在視頻分類任務中，當標記數據量增加時，TAGLETS 是表現最好的方法。
  • 在零鏡頭學習任務中，GRIP 的表現一直名列前茅，與基線相比提高了 20%。

本報告詳細介紹了在 DARPA LwLL 或 "少標簽學習 "項目中采用的方法和取得的成果。

本報告解決的關鍵問題是從小標簽數據集學習的問題。這是許多應用領域經常遇到的問題。尤其是在國防應用領域，標簽數據可能是分類數據，因此數量有限。不幸的是，現代深度學習系統需要大量的標注訓練示例，這使得它們在標注較少的情況下效果不佳。在本報告中，我們將介紹我們在開發新型學習機器方面所做的努力，這些機器可以有效地從少量標簽中學習。

我們對這一問題的主要見解是利用任務和領域中的結構。這種結構可以是關于所需不變性的領域知識。它也可能更無定形，難以具體化，但它可能決定了哪些分類器能在該領域發揮良好的作用。我們探索了三種納入這種領域結構思想的方法：

1.納入已知不變量： 我們探索了明確包含已知不變量的機器學習新架構。特別是，我們設計的識別架構允許特征在空間上移動，以納入姿勢不變性。

2.跨領域學習： 考慮到不同領域之間的相似性，我們探索了跨領域傳輸所學模型的新技術。

3.特定領域的學習算法： 我們還探索了兩個領域的專業學習技術：衛星圖像和自動駕駛汽車。對于這些領域，我們利用數據的特殊結構來學習無標簽模型。

使用標準基準和 DARPA 評估進行了實驗。普遍發現

1.在對領域一無所知的情況下，最佳策略是自我訓練，即使用經過適當過濾的網絡自身輸出作為 "地面實況 "標簽。在這里，我們發現了進行自我訓練的新方法，即使網絡是在完全不同的問題領域中訓練出來的。

2.如果我們了解我們正在處理的領域，我們甚至可以建立完全無監督的識別模型，其性能優于有監督的模型。關鍵是要利用底層數據生成過程的知識。我們在衛星圖像和自動駕駛汽車上都展示了結果。

FLASH 項目的最初目標是利用豐富的結構化知識形式，開發新型高效的機器學習算法。具體來說，我們的假設是，適當使用結構化知識可以大幅減少在標準機器學習任務中實現一流性能所需的手工標記數據量，并解決兩個關鍵挑戰：

• 利用結構：開發利用結構的通用算法，以便從很少或沒有手工標記的示例中學習新概念。
• 推斷結構：通過主動從頭開始學習或從其他領域轉移結構，開發推斷結構的通用算法。

我們項目最初的重點是：(1) 程序合成/結構化預測： 設計新的結構化預測和程序合成算法，并利用它們來推斷和利用結構；(2) 研究神經表征（向量嵌入），并利用它們來開發將結構嵌入向量表征的新算法，并利用它來支持轉移和利用結構；(3) 推斷和利用領域知識和輔助信號作為誘導結構的一種方式，更好地解決轉移學習問題，并開發新的受限深度學習算法來納入輔助信號。

FLASH 計劃執行了這一計劃，并在上述所有領域做出了一系列理論和實踐貢獻。除了開發理論、算法和表征之外，我們還利用這些理論、算法和表征開發了自然語言和計算機視覺方面的應用。

此外，在 DARPA LwLL 項目過程中，由于大型預訓練生成式人工智能模型（包括 ChatGPT 等大型語言模型 (LLM)）的成功，該領域的重點發生了變化。雖然工作目標沒有改變，但我們自己的研究議程適應了該領域的這些變化，同時與我們最初提議的廣泛目標保持一致。例如，我們提出的大部分向量嵌入工作都擴展到了研究 LLM，我們在程序合成方面的工作也加入了神經肌張力元素，詳見下文。

FLASH 計劃在頂級會議上發表了大量論文，下文的描述不會涉及所有這些貢獻。相反，我們將重點介紹每個技術領域的一些關鍵貢獻，并請讀者參閱以下豐富的參考文獻以獲取完整信息。

在不確定的情況下做出決策，往往要權衡現有選擇方案的預期成本和收益。成本與收益的權衡會使決策變得容易或困難，尤其是在成本與收益不確定的情況下。在這項研究中，我們評估了基于實例學習理論（IBLT）的認知模型和兩種著名的強化學習（RL）算法如何在不確定和決策復雜度不斷增加的情況下，學會在尋求目標的網格世界任務中做出更好的選擇。我們還使用隨機代理作為基礎比較。我們的結果表明，IBL 模型和 RL 模型在簡單設置下的準確度相當，盡管 RL 模型比 IBL 模型更有效。然而，隨著決策復雜度的增加，IBL 模型不僅比 RL 模型更準確，而且更高效。我們的結果表明，即使成本增加，IBL 模型也能追求高回報的目標；而 RL 模型似乎會被較低的成本 "分散注意力"，從而達到較低回報的目標。

強化學習(RL)為數據驅動決策提供了一個通用框架。然而，正是這種通用性使得這種方法適用于廣泛的問題，也導致了眾所周知的效率低下。在這篇論文中，我們考慮了有趣的決策類所共有的不同屬性，這些屬性可以用來設計計算效率和數據效率都很高的學習算法。具體來說，這項工作研究了決策問題的各個方面的低秩結構和經典確定性規劃的效果稀疏性，以及基于端到端模型的方法所依賴的性能。我們首先展示了后繼表示中的低秩結構如何使高效在線學習算法的設計成為可能。類似地，我們展示了如何在Bellman算子中找到相同的結構，我們使用Bellman算子來制定最小二乘時間差分學習算法的有效變體。我們進一步探索狀態特征中的低秩結構，以學習完全允許在低維空間中進行高效規劃的有效轉換模型。然后，我們進一步了解基于模型的端到端方法，以便更好地理解它們的屬性。我們通過約束優化和隱式微分的視角來研究這類方法。通過隱式視角，我們得到了這些方法的屬性，這些屬性使我們能夠確定它們執行良好的條件。在本文的最后，探索了如何利用經典規劃問題的效果的稀疏性來定義一般的領域無關啟發式方法，通過使用基于潛在的獎勵塑造和提升函數近似，可以用來大大加快領域相關啟發式方法的學習。

//dspace.mit.edu/handle/1721.1/144562

自動化機器學習(AutoML)有望將原始數據轉換為準確的預測，而不需要大量的人力、專業知識和人工實驗。在這個講座式的教程中，我們將演示多模態AutoML的基本技術。與大多數專注于解決包含分類和數字特征的表格任務的AutoML系統不同，我們考慮對各種類型的數據(包括表格特征、文本和圖像及其組合)進行監督學習任務。我們強調的不是單個ML模型如何工作的技術描述，而是如何在接受原始訓練數據并輸出測試數據預測的整體ML流程中最好地使用模型。

我們教程的主要重點是自動構建和訓練深度學習模型，這些模型功能強大，但手動管理起來很麻煩。本教程中涉及的每個主題都附帶了一個實踐的Jupyter筆記本，它實現了最佳實踐(教程前后都可以在GitHub上獲得)。大部分代碼采用了AutoGluon，這是一個最新的開源AutoML工具包，它既先進又易于使用。

本報告重點討論了如何利用模擬或生成模型創建的合成數據來解決深度學習的數據挑戰。這些技術有很多優點：1）可以為現實世界中難以觀察到的罕見情況創建數據；2）數據可以在沒有錯誤的情況下被自動標記；3）數據的創建可以很少或沒有侵犯隱私和完整性。

合成數據可以通過數據增強等技術整合到深度學習過程中，或者在訓練前將合成數據與真實世界的數據混合。然而，本報告主要關注遷移學習技術的使用，即在解決一個問題時獲得的知識被遷移到更有效地解決另一個相關問題。

除了介紹合成數據的生成和轉移學習技術，本報告還介紹了實驗結果，這些結果對合成數據方法在飛行員行為克隆、車輛檢測和人臉驗證任務中的潛力提供了寶貴的見解。實驗的初步結果表明，軍事模擬器和生成模型可以用來支持深度學習應用。然而，性能往往受限于合成數據和真實世界數據之間的保真度差距。

1 引言

深度學習（DL）是一種技術，它提高了在廣泛的現實世界應用中實現復雜任務自動化的能力。翻譯、轉錄、視頻監控、推薦系統和自動駕駛汽車都是基于DL的解決方案已經被開發和部署用于商業目的的例子。在軍事領域，DL有可能支持人類在所有領域和戰爭級別的決策，其應用包括自動目標識別、預測性維護和無人駕駛車輛的自動控制。

與其他機器學習（ML）技術類似，DL使用算法來從數據中提取知識。在這種情況下，知識被編碼在大容量的深度神經網絡（DNNs）中，這些網絡可能由數千、數百萬甚至數十億的可調整參數組成，這取決于所考慮的任務的復雜性。為了正確調整這些參數，學習算法需要大量的訓練數據。沒有這些數據，DNN將無法泛化，因此，當遇到以前未見過的數據時，它將不會有好的表現。

獲取DL的訓練數據是困難的。這在商業應用中是存在的，而在軍事領域更是如此。瓶頸之一是，學習算法通常需要經過人工標注的數據（即為每個輸入數據點提供一個正確的答案）。因此，即使在獲取大量輸入數據相對低成本的情況下，正確標記所有的數據也往往是高成本和費時的。例如，Cityscapes數據集中的5,000個樣本中，每個樣本平均需要1.5個小時來標注（整個數據集大約需要十個月）[1]。此外，由于標注是由人類來完成的，其結果可能是不正確的、有偏見的甚至是有成見的，這也會反映在訓練過的模型的行為上。

此外，訓練數據往往存在長尾分布的問題。也就是說，對于數量有限的普通案例，訓練數據相對容易獲得，但對于大量重要的邊緣案例，訓練數據本身就很難獲得。例如，考慮一個基于無人機的軍用車輛監視和跟蹤系統。在這種情況下，友好車輛的空中圖像相對容易獲得。車輛數據可以在不同的地點、高度、角度、天氣條件、環境等方面獲得。獲取代表合格敵方車隊的類似現實世界的數據集通常是不可能的，因為這種侵入性的情報行動會導致對手的行動。使用遵循長尾分布的數據集訓練的系統通常實用價值有限，因為它只能在條件理想時使用（即，輸入數據與常見情況相似）。當遇到代表邊緣案例的真實世界的數據時，該系統將不會有好的表現，也不能被依賴。

1.1 目的和范圍

本報告的目的是介紹可用于解決軍事背景下有限訓練數據所帶來的一些挑戰的技術。具體來說，本報告重點討論如何將使用軍事模擬或生成模型創建的合成數據與微調、領域適應、多任務學習和元學習等遷移學習技術結合起來，以加速未來DL在軍事領域應用的開發和部署。

1.2 目標讀者群

本報告的目標讀者是操作、獲取或開發AI/ML/DL技術，用于或嵌入軍事系統的人員。

1.3 閱讀說明

本報告假定讀者具有關于ML和DL概念的基本知識，如監督學習、強化學習、損失函數、梯度下降和反向傳播。鼓勵缺乏此類知識的讀者在繼續閱讀本報告之前，先閱讀FOI-報告FOI-R-4849-SE[2]中的第二章。

1.4 提綱

第2章概述了在深度學習中可以用來生成和整合合成訓練數據的技術和方法。第3章概述了轉移學習技術，可以用來促進知識從一個任務到另一個任務的重用。在第4章中，對這些技術的一個子集進行了評估，并提供了深入了解合成數據方法潛力的實驗結果。第5章中提出了結論。

圖2.2: 一幅戰斗機的圖像（2.2a）通過添加噪聲（2.2b）、濾色器（2.2c）和模糊（2.2d），以及通過縮放（2.2e）和縮放后的旋轉（2.2f）得到增強。每幅圖像都附有所有像素的平均RGB值分布的相應圖表。雖然所有圖像在語義上是不變的，但分布的形狀卻有很大的不同。

圖4.7：從我們的訓練數據集中隨機選擇的合成圖像。對于每一對圖像，左邊顯示的是最初生成的臉，右邊顯示的是編輯過的臉。請注意，所有圖像都在臉部周圍進行了裁剪。

基于最近關于非凸優化算法在訓練深度神經網絡和數據分析中的其他優化問題中的應用，我們對非凸優化算法全局性能保證的最新理論成果進行了綜述。我們從經典的論證開始，證明一般的非凸問題不可能在合理的時間內得到有效的解決。然后，我們給出了一個可以通過盡可能多地利用問題的結構來尋找全局最優解的問題列表。處理非凸性的另一種方法是將尋找全局最小值的目標放寬到尋找一個平穩點或局部最小值。對于這種設置，我們首先給出確定性一階方法收斂速度的已知結果，然后是最優隨機和隨機梯度格式的一般理論分析，以及隨機一階方法的概述。然后，我們討論了相當一般的一類非凸問題，如α-弱擬凸函數的極小化和滿足Polyak- Lojasiewicz條件的函數，這些函數仍然可以得到一階方法的理論收斂保證。然后我們考慮非凸優化問題的高階、零階/無導數方法及其收斂速度。

靈活性和速度是深度學習框架的關鍵特性，允許快速地從研究想法過渡到原型和生產代碼。我們概述了如何為涵蓋各種模型和應用程序的序列處理實現統一框架。我們將以工具包RETURNN為例討論這種實現，它易于應用和用戶理解，靈活地允許任何類型的架構或方法，同時也非常高效。此外，對序列分類的不同機器學習工具包的性質進行了比較。將展示使用這些特定實現的靈活性，以描述最近最先進的自動語音識別和機器翻譯模型的設置。

//www.interspeech2020.org/index.php?m=content&c=index&a=show&catid=372&id=294

這本專著，我通過在線凸優化的現代視角介紹了在線學習的基本概念。這里，在線學習指的是在最壞情況假設下的后悔最小化框架。我提出了凸損失在線學習的一階和二階算法，在歐幾里德和非歐幾里德設置。所有的算法都清晰地呈現為在線鏡像下降或跟隨正則化及其變體的實例化。特別關注的是通過自適應和無參數在線學習算法來調整算法的參數和在無界域內學習的問題。非凸損失通過凸替代損失和隨機化處理。本文還簡要討論了強盜設置問題，討論了具有對抗性和隨機性的多武裝強盜問題。這些筆記不需要凸分析的先驗知識，所有必需的數學工具都得到了嚴格的解釋。此外，所有的證明都經過精心挑選，盡可能地簡單和簡短。