混雜現象，即治療和結果變量都受到某些“混雜”變量的影響，是有效因果推斷的最大挑戰之一。它支撐了統計中的許多謬誤和誤解，如辛普森悖論或“相關性并不意味著因果關系”的例子。因此，混雜調整是因果關系領域的核心。然而，這通常不是一項容易的任務，即使我們的數據的因果結構是已知的。混雜變量的維度可能很大，混雜變量可以是離散的，連續的或分類變量的混合，或者它們可以以非參數的方式影響感興趣的變量。

//www.research-collection.ethz.ch/handle/20.500.11850/528993

當混雜變量在手邊的數據集中是已知的和可觀察到的情況下，存在許多不同的混雜調整方法。然而，很少有研究考慮到當混雜是潛在的具有挑戰性的情況。盡管因果文獻中普遍存在不存在未觀察到的混雜因素的假設，但在實踐中往往并不成立。這種數據模型的錯誤規范可能會導致傳統方法的性能下降。在這篇論文中，我們引入了新的混雜調整方法，既解決了混雜未被觀察到的情況，也解決了混雜變量被觀察到的情況，但它們對感興趣的變量的影響相當復雜，因此傳統的方法不適用。在論文A中，我們探討了潛在混雜的調整問題。由于這個問題極具挑戰性，我們考慮一個簡單的情況，即數據來自(高維)線性模型，混合變量線性影響觀察變量。本文提出頻譜反創始估計器，在對數據應用精心選擇的線性變換后使用標準Lasso。我們得到了有趣的理論結果，并通過實證驗證了它優于忽略潛在混雜存在的傳統方法。在論文B中，我們提出了雙去偏Lasso估計器，可以看作是譜反發現估計器的推廣，其優點是具有良好的漸近分布，從而允許構造漸近有效的置信區間。所提供的理論分析非常詳細，并擴展了論文A的理論結果。論文C考慮了生物統計學中的一個重要問題，即檢測兩種情況(例如癌癥和正常細胞)之間因果網絡的擾動。提出的方法也擴展到考慮潛在的潛在混雜。雖然它不是直接應用論文A和論文B中開發的方法，但它分享了論文A和論文B中開發的主要思想。在論文D中，我們討論了觀察到混雜的情況，但這種情況可能非常復雜。我們提出了一種稱為分布隨機森林的通用方法，它能夠非參數估計多變量聯合條件分布。這是以一種無模型和無目標的方式完成的，因此可以用于許多不同的學習問題，而不僅僅是最初的因果效應估計的混雜調整問題。

摘要

強化學習是一種為需要做出一系列決定的任務制定最佳策略的方法。以平衡短期和長期結果的方式做出決定的能力，使強化學習成為醫療機構中規劃治療的潛在強大工具。不幸的是，傳統的強化學習算法需要對環境進行隨機實驗，這在醫療衛生領域通常是不可能的。然而，強化學習提供了從觀察數據中評估策略的工具，這是一個被稱為離策略評估的子項目。

在這項工作中，我們討論了離策略評估在應用于醫療數據時變得如此困難的主要挑戰，并設計了一些算法來改進目前執行離策略評估的方法。我們描述了幾種改進現有方法的準確性和統計能力的算法，最后介紹了一種新的方法，通過開發一種將專家臨床醫生及其知識納入評價過程的評價技術來提高離策略評估方法的可靠性。

簡介

強化學習(RL)是機器學習(ML)中的一個子領域，它為學習需要平衡短期和長期結果的任務中的連續決策策略提供了一個框架。RL的關鍵范式是將學習算法視為一個與環境互動的智能體，采取行動并觀察環境對這些行動的變化。通過與環境的不斷互動和實驗，智能體學會了實現預期目標的最佳策略。這個強大的想法促進了RL算法在廣泛的應用中的成功，如游戲和機器人。

然而，在這些應用中，與環境的隨機互動--使RL如此強大的關鍵特性--是不可能的。例如，在醫療保健中，隨機治療病人并觀察其反應是不道德的。

從批量觀察數據中評估RL決策的任務被稱為離策略評估（OPE），這個術語用來表示用于收集數據的策略與我們希望評估的策略不同。OPE只關注評估一個特定的策略，而不是學習一個最優的onc，這是大多數RL應用的目標。

這項工作的動力來自于這樣的認識：盡管在OPE方面取得了重大的理論突破，但目前的方法仍然遠遠不夠可靠，無法證明其在實際應用中的使用和部署。這些限制在醫療保健領域尤為突出，因為那里的數據非常嘈雜，而且錯誤的代價很高。 我們首先強調了使OPE在觀察性醫療環境中如此困難的關鍵因素，并展示了這些算法可能失敗的主要方式。然后，我們描述了幾種改善OPE算法性能的方法。這些方法可以應用于所有RL領域，但我們在醫療數據中經常遇到的具體特征是其強大的動力。

雖然這項工作中所描述的方法有助于提高OPE方法的性能，但它們基本上都試圖從數據中提取出更多的統計能力。不幸的是，僅從數據中提取出的知識是有限的，而且往往我們所能做的最好的也是不夠好。 然而，試圖僅從原始數據中獲得知識，卻忽視了臨床醫生和其他醫療專家所擁有的大量知識和專長。在這項工作的最后一部分，我們將論證，為了使OPE的性能足夠好，使其能夠被信任并用于醫療領域，領域專家必須被納入評估過程。為了能夠在OPE中使用領域專家，必須開發新的方法，使幾乎總是不熟悉RL和OPE技術細節的臨床醫生能夠有效地提供對OPE過程有用的意見。我們將在這個方向上邁出一步，描述一種方法，使臨床醫生能夠隨意地識別OPE方法何時可能給出不可靠的結果，并討論發展這一研究途徑的未來方向。

總而言之，這項工作應該概述了OPE在醫療領域的狀況，以及將其引入現實世界所必須做出的努力--從詳細說明當前方法可能失敗的方式和解決這些問題的可能方法，到描述臨床醫生可以被納入評估過程的方式。本論文的其余部分的結構如下：本章的其余部分介紹了本論文將使用的基本符號，并涵蓋了相關文獻。 第三章繼續討論基于模型的OPE，并介紹了一種建立模型的方法，該方法的訓練強調從評估策略下可能出現的例子中學習，并沿用了Liu等人的工作。最后，在第四章中，我們討論了如何利用臨床醫生的輸入來調試和驗證OPE的結果，沿用了Gottesman等人的方法。

我們探索機器學習(ML)和因果推理之間的關系。通過相互借鑒，我們專注于改進每一個方面。機器學習已經成功地應用于許多問題，但由于缺乏強有力的理論保證，導致了許多意想不到的失敗。當應用于不同的分布時，在訓練分布上表現良好的模型往往會崩潰;微小的擾動可以“欺騙”訓練好的模型，并極大地改變它的預測;訓練算法中的任意選擇會導致截然不同的模型;等等。另一方面，雖然因果推理方法的發展已經取得了巨大的進步，有很強的理論保證，但現有的方法通常不能應用于實踐，因為它們假設有大量的數據。研究ML和因果推理的交集，我們直接解決了ML中缺乏魯棒性的問題，并提高了因果推理技術的統計效率。

本論文工作背后的動機是改進用于指導決策的預測模型和因果模型的構建方法。自始至終，我們主要關注醫療健康上下文中的決策制定。在ML的因果關系方面，我們使用ML工具和分析技術來開發統計上有效的因果模型，可以指導臨床醫生在兩種治療方法之間選擇。在ML的因果關系方面，我們研究如何使用產生觀測數據的因果機制知識來有效地正則化預測模型，而不引入偏差。在臨床環境中，我們展示了如何使用因果知識來建立穩健和準確的模型來預測傳染性感染的傳播。在非臨床環境中，我們研究了如何使用因果知識來訓練在圖像分類中對分布轉移具有魯棒性的模型。

從推薦買什么，看什么電影，到選擇看什么新聞，關注什么人，申請什么工作，在線系統已經成為我們日常生活的重要組成部分。一個自然要問的問題是這些社會技術系統如何影響我們的行為。然而，由于這些系統的輸出和人的行為之間的復雜的相互作用，確定它們對人的行為的影響是不容易的。

幸運的是，有大量關于因果推理的研究可供我們借鑒。在本教程的第一部分中，我將展示反事實推理對研究社會技術系統的價值，通過展示基于相關性的預測建模如何可能適得其反。然后，我們將討論因果推斷的不同方法，包括隨機實驗，自然實驗，如工具變量和回歸不連續，以及觀察方法，如分層和匹配。在整個過程中，我們將嘗試與圖形模型、機器學習和過去在社會科學中的工作聯系起來。

下半場將會有更多的實踐。我們將通過一個實際的例子來估計一個推薦系統的因果影響，從簡單到復雜的方法開始。實踐練習的目標是了解不同因果推理方法的缺陷，并獲得用混亂的真實世界數據進行因果推理的最佳實踐。

使用的代碼可以在//github.com/amit-sharma/causal-inference-tutorial/上找到

【標 題】

Wargaming in Professional Military Education: Challenges and Solutions

職業軍事教育中的兵棋推演：挑戰與解決方案

【作 者】

美國海軍陸戰隊埃里克·沃爾特斯（Eric M. Walters）上校（退役）

【摘 要】

鑒于強調在專業軍事教育中使用兵棋推演，學校、作戰部隊和支持機構的教官——尤其是那些本身沒有經驗的兵棋推演者——如何去做呢？本文解釋了在經驗豐富專家的幫助下，為選定、修改或內部設計的嚴格兵棋式推演制定理想的學習成果的必要性。總結了最近的相關學術成果，它提供了促進協作對話的基本術語和概念，并就這種動態和沉浸式教學方法的常見但可避免的陷阱提供了建議。

【正 文】

對于那些認為兵棋推演不僅僅是一種娛樂消遣的人來說，商業兵棋推演曾經是——而且可以說仍然是——一種小眾愛好。在 20 世紀和 21 世紀初的歷史中，只有相對較小比例的軍人和學者經常進行所謂的嚴格式兵棋推演。過去，這一想法受到制度性的抵制，在職業軍事教育（PME）中使用一些人認為是兒童游戲的東西；雖然最近這種恥辱感有所減輕，但對于外行來說，兵棋推演的學習障礙仍然很高。兵棋推演可能很難學習，甚至更難戰勝有能力的對手。然而，我們已經到了 2021 年，軍事兵棋推演似乎正在 PME 學校、作戰部隊甚至支持機構中復活。海軍陸戰隊司令大衛 H. 伯杰將軍在他的指揮官規劃指南中，強調了在 PME 中練習軍事決策的必要性，這是教育兵棋推演的主要目的。但一個事實仍然存在。對于那些有興趣使用和設計兵棋推演來教授軍事判斷力的人來說，這種教學方法似乎很難有效實施。學術界的成功案例涉及作戰部隊中已經是兵棋推演者的教授、教官和海軍陸戰隊領導人。不是兵棋推演者但教軍事決策的人如何弄清楚要使用什么兵棋推演？如何使用它？各種可用游戲的優點和局限性是什么？整合兵棋推演和課程有哪些挑戰，如何克服這些挑戰？本文旨在幫助那些不熟悉兵棋推演的人定位，并就在教授決策中的軍事判斷時使用它們的經過驗證的最佳實踐提供建議。

提 綱

1 教育者如何使用游戲來教學生？
1.1 了解戰術、作戰和戰略中力量、空間和時間之間的關系
?1.2 在兵棋推演中模擬現實“決策環境”以解決決策困境
?1.3 在兵棋推演環境中體驗摩擦、不確定性、流動性、無序和復雜性的交互動力學
1.4 鍛煉創造性和批判性思維：準備、參與和分析兵棋推演活動

2 哪種類型的兵棋推演最適合學習目標？
?2.1 角色扮演游戲 (RPG)
? ?2.2 研討會矩陣游戲
2.3 系統游戲
?2.4 紙牌游戲

3 哪種情況最適合使用——歷史情景還是假設情景？

4 兵棋推演教學——挑戰與解決方案
?4.1 克服設計偏見
?4.2 時間和復雜性的挑戰
?4.3 對教師要求的考慮
?4.4 兵棋推演支持單位教育和凝聚力

來自阿肯色大學zhang lu 博士介紹《因果發現和因果推理》的Slides。

因果分析的黃金法則是:沒有任何因果論斷可以純粹通過統計方法建立起來。

因果學習

因果推理在許多領域都很重要，包括科學、決策制定和公共政策。確定因果關系的金標準方法使用隨機控制擾動實驗。然而，在許多情況下，這樣的實驗是昂貴的、耗時的或不可能的。從觀察數據中獲得因果信息是可替代的一種選擇，也就是說，從通過觀察感興趣系統獲得的數據中獲得而不使其受到干預。在這次演講中，我將討論從觀察數據中進行因果學習的方法，特別關注因果結構學習和變量選擇的結合，目的是估計因果效果。我們將用例子來說明這些概念。