目標定位是廣泛的傳感和監視應用中遇到的一個基本信號處理問題。基于合適的相干信號模型的最大似然估計是開發高分辨率定位解決方案的一種流行方法。其中一種基于相干延遲和多普勒模型的方法是在[1]中提出的，它通過假設目標信號是一個具有已知統計量的隨機過程，直接從信號測量中估計出目標的位置。當目標在移動時，可以利用到達時間差（TDOA）和到達頻率差（FDOA）測量來確定目標位置和速度。然而，由于TDOA和FDOA都非線性地依賴于目標的位置和速度，從TDOA和FDOA測量中定位一個移動的目標是一個具有挑戰性的問題。處理非線性的一種方法是在TDOA和FDOA與目標位置和速度關系中引入冗余參數。在[2]中提出了一個移動目標的位置和速度的代數解決方案，通過采用冗余參數來線性化非線性估計問題。然而，基于冗余參數的方法導致了相當大的偏差，這是由公式中的回歸器和回歸體之間的噪聲相關性造成的。為了解決這個問題，[3]中提出了對[2]的擴展，即利用冗余參數和目標位置/速度之間的關系來完善解決方案。另一種方法是通過使用非線性優化方法直接解決非線性估計問題[4]，[5]。例如，[5]分兩步解決了非線性定位問題。在每一步中，使用TDOA估計值（第一步）或TDOA和FDOA估計值（第二步）的非線性加權最小二乘法問題被制定和解決，然后進行偏差減少。
大多數基于TDOA/FDOA的方法需要TDOA和FDOA估計值的協方差矩陣來進行加權最小二乘法擬合。協方差矩陣在實踐中往往是未知的，因為它取決于雷達到目標的距離和信號/噪聲統計。在本文中，我們考慮使用無源雷達進行移動目標定位。我們首先考慮基于信號的直接方法，并推導出目標位置和速度的最大似然估計（MLE），假設目標波形是未知的，并被建模為一個確定性過程。最大似然估計通過在參數空間上的搜索程序獲得目標位置和速度估計。雖然漸進式最優，但由于其復雜性，在一些有大量觀測數據的情況下，MLE可能實際上是不可行的。為了解決這個問題，我們提出了一個基于TDOA/FDOA估計的計算上更有效的兩步法。在第一步，我們通過使用二維（2-D）快速傅里葉變換（FFT）從信號測量中獲得TDOA和FDOA估計。在第二步，我們使用迭代加權最小二乘法（IRLS）過程，從TDOA和FDOA估計值中找到目標的位置和速度，每次迭代都涉及參數的封閉式更新。人們看到IRLS通常在幾次迭代后就會收斂。
付費5元查看完整內容
相關內容
在這份報告中，我們提出了一種數據驅動的方法，用于實驗室技術載具的閉環控制。我們使用近似策略優化（PPO）算法，這是一種強化學習算法，已被證明在各種任務中表現良好。PPO的成功是由于它在尋找解決方案方面的穩定性，此外還具有策略梯度方法的許多積極特性。雖然PPO在整個文獻中被證明是成功的，但在獎勵稀疏的情況下，它確實受到了影響；這恰好是我們的精確彈藥應用的情況，其目標是擊中一個特定目標。為了解決這個稀疏獎勵的問題，我們提出了一個圍繞PPO的課程學習方法。該課程將學習分為幾個階段，這些階段的復雜度逐漸增加，緩解了獎勵信號的稀疏性。所提出的方法被證明優于沒有課程的學習方法。
1 引言
最近，用于自主系統的引導、導航和控制的數據驅動方法已經得到了普及。這要歸功于機器學習的最新進展，特別是深度學習和人工神經網絡。強化學習（RL）是深度學習的一種類型，旨在利用與環境的互動來學習從環境狀態到代理行動的適當映射，從而使所需的輸出最大化。這個程序的靈感來自于自然過程，因為大多數生物系統通過大量的行動和隨后的反饋來學習在其環境中的操作。在RL中，來自環境的反饋被稱為獎勵信號。系統試圖調整輸入以最大化這個期望的獎勵信號。系統的輸入被定義為代理行動，而狀態和獎勵是從環境中觀察到的。這些收集的數值被用來驅動學習過程。在這項工作中，我們提出了一種RL方法來開發一個遠程精確武器的閉環控制方案。我們在本報告中使用的數據驅動的方法是基于近似策略優化（PPO）RL算法的。
快速發展的機器學習行業導致了RL的新進展，使新穎的、數據驅動的方法能夠用于控制開發。即使是高度密集的輸入，如圖像幀，也可以推斷出行動，使性能最大化。很多時候，這種方法使閉環控制更加直接，如在基于視覺的系統中，基于圖像的算法將不必與控制分開獨立開發。這種非常規的方法與傳統的控制器設計相反，它是一種基于模型的方法，依賴于系統模型的近似。由于參數的不確定性和/或系統的非線性而做出的近似，往往阻礙了基于模型的方法，導致控制器性能不足或保守的控制器。例如，自主特技飛行是一個具有挑戰性的控制問題，因為它需要在飛行包絡線的邊緣進行精確控制。盡管傳統的、基于模型的方法在面對不相干的情況時可能表現不佳，但它們確實對已知的操作領域提供了寶貴的性能保證，使它們通常是安全的和可預測的。另外，無模型方法需要較少的模型開發和調整來得出閉環控制。純粹的數據驅動，無模型方法可以學習系統的復雜性，甚至可以擴展使用的代理數量。然而，他們需要更多的數據，而且控制設計中的性能保證可能更難實現。
RL方法得益于環境的簡化，如獎勵的塑造或行動空間和狀態的離散化，以實現更快的學習。在經典的RL任務中，可以同時收集行動和獎勵，以不斷調整策略和最大化獎勵。現實世界的問題很少以允許這種方式提出。例如，當訓練一個自主代理找到一個迷宮的盡頭時，在每個時間步驟中，沒有跡象表明代理正在對系統應用正確的行動，直到它達到時間范圍或目標。這些類型的問題注定要用稀疏的獎勵信號來定義。為了幫助使用稀疏獎勵的學習，設計者可以塑造獎勵以持續提供反饋。這種成型的獎勵有一個缺點，即無意中支配了閉環控制的解決方案，減少了通過允許代理不定向探索而獲得的緊急解決方案的機會。然而，當有廣泛的領域知識可供利用時，這種方法仍有其優點。好奇心驅動的方法采取相反的方法，鼓勵對不為人知的領域進行探索。這已被證明在許多環境中是有效的，因為好奇心是唯一的獎勵信號。另一種方法是將系統結構化，使其逐步學習更難的任務以獲得期望的目標。這被稱為課程學習，其中課程是系統必須逐步學習的逐漸困難的任務的集合。這里的想法是，當任務容易時，獎勵會在開始時更頻繁地出現，為RL算法提供有價值的反饋，以用于調整其控制器。
2 問題
RL已經在許多空間得到了實現，包括醫療、社會和工程應用。在本報告中，我們應用RL來控制一個智能彈藥。以前關于導彈制導的RL的工作利用獎勵塑造方法來克服稀疏的獎勵問題。如前所述，這種方法可能導致系統不探索對設計者來說不直觀的路徑。由于彈丸的高度不確定性和非線性動力學，自主彈藥制導、導航和控制是一項艱巨的任務。由于在估計視線率和走時方面的挑戰，比例導航可能難以實現。
比例導航是基于線性化的嚙合幾何，這可能不適合于整個軌跡。這常常導致從 "中途 "制導法和 "終點 "制導法轉換的臨時決定點。估計方面的一些困難來自于系統的非線性，這迫使控制設計者對系統進行近似和線性化。一些用于射彈控制的系統使用飛行方程的數值微分，這導致控制決策是基于由噪聲測量產生的可能錯誤的狀態。數據驅動的方法對這些系統可能是有利的。然而，由于稀疏的獎勵信號，機器學習過程非常困難。
2.1 貢獻
在這份報告中，我們提出了一種將RL應用于智能射彈的閉環控制這一難題的方法。我們設計了一個OpenAI gym環境，其中嵌入了一個功能模擬單元（FMU）模型，以密切模擬真實的射彈。因此，由于尋找有用的控制策略所需的探索任務的規模，這個問題比經典的RL任務更加困難。這里的狀態包括位置、速度和與目標的距離。輸入動作是在身體框架的水平和垂直方向上的加速指令。由于我們的問題中存在稀疏的獎勵，因此實施了一種課程學習方法，其中課程的各個階段與從大到小的 "目標 "尺寸一致。我們通過實驗表明，通過這個系統，我們可以學會駕駛智能彈藥并精確地擊中目標。
2.2 組織
我們在第3節中介紹了我們的環境模擬，在第4節中提供了PPO算法的概述，在第5節中介紹了我們的課程學習方法，在第6節中給出了訓練的概述，然后在第7節中介紹了我們的結果。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191