來源：從心推送的防務菌
作者：防務菌8月21日，美國空軍大學專注研究中國航空航天領域發展的智庫“中國航空航天研究所”（一家美國空軍智庫，附設于美國空軍大學，成立于2015年6月22日，其職責是評估中國的航空航天相關訓練和作戰能力，為美國國防部和美國政府的決策制定者提供專家研究和分析支持）分析師喬希·鮑曼（Josh Baughman）發表了一份名為《中國的ChatGPT戰爭》的研究報告（報告中英全文可聯系防務菌獲取）提出，“總體而言，中國明白需要成為戰場上生成式人工智能（Generative AI）的先行者（或緊密跟隨者），以‘牢牢掌握智能戰爭的戰略主動權，搶占未來軍事競爭的制高點’”。
報告認為，中國人民解放軍（PLA）希望成為第一個利用生成式人工智能的一系列軍事應用來改變戰爭的國家，但政治、經濟和科學挑戰（其中一些美國人工智能開發商也面臨著這些挑戰）阻礙了這一進程。喬希·鮑曼指出，中國政策制定者與美國政策制定者一樣，對未經仔細測試而整合該技術持謹慎態度。他在接受《空天軍》雜志采訪時表示：“當我們談論軍事應用中的生成式人工智能時，人們的生命取決于我們如何應用它。這是高風險的，所以你絕對需要有這種信任。”IBM曾經對生成式人工智能做了如下的定義：“可以根據訓練數據生成高質量文本、圖像和其他內容”的程序。也許生成式人工智能最引人注目的應用是ChatGPT，這是一個可以寫詩、大學論文、歌詞和其他創意內容的聊天機器人。
生成式人工智能在七個關鍵領域的應用
****包括美國空軍部長弗蘭克·肯德爾（(Frank Kendall)）在內的世界各地的軍事規劃者預測，該技術可以幫助完成任務并在戰場上做出決策，盡管在高風險情況下依賴此類系統可能還需要一段時間。
對此，PLA似乎也達成了共識：喬希·鮑曼引用了幾家PLA媒體消息來源，普遍認為人工智能將不可避免地在戰爭中發揮作用，并且可能在七個關鍵領域發揮決定性作用：
一、人機交互由于生成式人工智能可以理解人類語言和機器語言，因此它可以幫助分析師在更短的時間內消化大量信息。喬希·鮑曼寫道，PLA預計類似ChatGPT的程序將成為一個聯合作戰系統，可以規劃任務、指定目標和打擊目標。 二、決策通過處理大量信息，生成式人工智能可以幫助指揮官更快地選擇最佳作戰行動計劃，并為孤立的部隊實現分散指揮。 三、網絡攻防戰喬希·鮑曼在報告里寫道，PLA媒體預測生成式人工智能可以幫助黑客“設計、編寫和執行惡意代碼，構建機器人和網站來誘騙用戶共享信息，并發起高度針對性的社會工程詐騙和網絡釣魚活動”。此類攻擊性工具可能會變得如此復雜，以至于只有相應的人工智能系統才可能是防御它們的唯一方法。 四、認知領域喬希·鮑曼在報告中援引PLA媒體消息人士討論使用生成式人工智能“有效地生成大量假新聞、假圖片，甚至假視頻來迷惑公眾”。 五、后勤生成式人工智能可以幫助分配資源、管理倉庫、規劃供應路線，并比以前更快地識別效率低下的地方。它還可以用于預測未來的材料需求并制定采購資源的預算。 六、太空領域在大氣層之上，物體以幾倍于聲速的速度移動，生成式人工智能可以幫助監測衛星的健康狀況。它還可以幫助工程師設計新的運載火箭和航天器。 七、訓練PLA缺乏現實世界的戰斗經驗，但PLA作家表示，生成式人工智能可能有助于“通過簡單的人類語言描述快速構建戰斗模擬”，特別是與歷史訓練數據和最新情報相結合時。
中國在軍事上應用生成式人工智能面臨的挑戰
喬希·鮑曼表示，然而，對于所有這些可能的應用，中國在開發用于軍事目的的生成式人工智能方面還面臨許多挑戰，其中一些是獨特的，另一些則適用于世界各地的開發人員。 **政策規則：**生成式人工智能需要大量數據，但中國最新發布的生成式人工智能條例第四條規定，此類項目應當“堅持社會主義核心價值觀，不得生成煽動顛覆國家政權的內容”。在此前提下，雖然信息限制可能會減緩某些領域的生成式人工智能的增長，但它可能并不與所有軍事用途相關。對此，喬希·鮑曼表示：“存在一方問題，但我認為這不會成為純粹的工程或技術應用的問題。”**芯片短缺：**生成式人工智能需要巨大的計算能力，而巨大的計算能力依賴于半導體芯片。美國的制裁限制了中國的芯片供應，但解決辦法和中國長期以來建設自己的芯片基礎設施的努力不容忽視。**投入產出比：**美國智庫戰略與國際研究中心（CSIS）人工智能專家格雷戈里·艾倫(Gregory Allen)在5月份的一份報告里提出，中國政府正在人工智能領域進行巨額投資，但其突入產出比差強人意。格雷戈里·艾倫指出，隨著美國的制裁阻止與出口商的競爭，這個問題可能會變得更加嚴重。**數據集：**喬希·鮑曼解釋說，為人工智能建立有效的軍事數據集需要準確和精確的數據，雖然這個問題影響著中國和美國的人工智能開發者，但由于缺乏現實世界的戰斗經驗，PLA可能會更強烈地感受到這一點。**優化：**數據必須經過正確標記、調整和解釋才能發揮作用。喬希·鮑曼引用PLA媒體文章表示，“數據的可用性和可解釋性很差”，并且與專業用戶的互動規模不夠大，無法在現場工作。**信任：**美國和中國的政策制定者都擔心失去對戰場人工智能的控制，以至于PLA的作者反復強調需要有人參與人工智能系統的回路。喬希·鮑曼在報告中寫道：“PLA當然希望成為在戰場上更全面地應用生成式人工智能的先行者，但只有在完全信任該技術之前，他們才會這樣做。”
中美人工智能競賽仍在進行中
****喬希·鮑曼表示，盡管面臨挑戰，但中國在人工智能發展的某些領域仍處于與美國相同的水平或領先于美國。人工智能是“數字中國”宏偉戰略的關鍵要素，這是一項全面的數字化轉型，旨在提高中國社會在國家層面的效率和競爭力。
喬希·鮑曼提出，“中國將這些新興技術的進步與中國的復興和維護執政合法性聯系在一起。這是最重要的事情。”生成式人工智能的一項軍事應用可能已經觸手可及。PLA作家討論在認知領域利用人工智能，通過大量虛假新聞、視頻和其他針對人類恐懼和懷疑的內容，“破壞政府形象，改變人民立場，分裂社會，推翻政權”。對此，喬希·鮑曼指出：“這不是幾年后的事情，而是他們當前就能做到的事情，而且他們能做到的規模是匪夷所思的。”與此同時，喬希·鮑曼也表示，隨著技術的快速進步，威脅可能會迅速發生變化。他說：“一切都會變得更快，發展也更快。美國必須為這些重大變化做好準備。只需看看生成式人工智能在過去六個月左右的時間里發生了怎樣的轉變。......從軍事到經濟，它將改變很多不同的事情。”
付費5元查看完整內容
相關內容
作者：JOSEPH TREVITHICK
美國空軍強調，人工智能 "將繼續存在"，并將成為無人駕駛飛機革命性進步的核心。在最新發布的官方視頻中，我們看到了這些評論以及空軍在這些領域正在進行的工作的細節，包括涉及獨特的 X-62A 實驗測試平臺、經過大量改裝的 F-16 "蝰蛇 "戰斗機和 Kratos XQ-58 "瓦爾基里 "無人機的測試。這些都是空軍 "協同作戰飛機 "無人機項目的一部分，該項目是空軍規模更大、內容更多的 "下一代空中主導"現代化計劃的一部分。
美國空軍研究實驗室（AFRL）今天早些時候在國防視覺信息分發服務（DVIDS）網站上發布了一段新視頻，內容涉及自主飛機實驗（AAx）計劃的各個方面。AAx 的主要重點是測試和改進人工智能和機器學習驅動的自主能力，以便在未來先進的無人駕駛飛機上使用，并幫助這些技術走出實驗室，進入實際操作平臺。
"我們正試圖找出如何將人工訓練的神經網絡、在模擬中訓練的神經網絡......整合到現實世界中，"空軍試飛員學校首席試飛員比爾-格雷在最新發布的視頻中解釋道。"在這種情況下，[通過 AAx]，將它們整合到飛機的控制中。"
"我們需要認識到，AI（人工智能）已經到來。它將繼續存在。它是一個強大的工具，"空軍上校塔克-"辛科"-漢密爾頓（Tucker "Cinco" Hamilton），該軍種的人工智能測試和運營主管，在鏡頭中的另一點說道。"協同作戰飛機和這種類型的自主性是革命性的。這將是未來的戰斗空間"。
AFRL 通過其戰略發展規劃和實驗（SDPE）辦公室一直在領導 AAx 項目。位于佛羅里達州埃格林空軍基地的空軍第40飛行試驗中隊、位于加利福尼亞州愛德華茲空軍基地的空軍試飛員學校以及美國國防部高級研究計劃局（DARPA）也參與其中。這一切都與 AFRL 的 "天堡"（Skyborg）先進無人機項目密切相關，空軍過去曾表示，該項目是下一代空中主導權（NGAD）計劃下的 "協作作戰飛機"（CCA）項目的關鍵 "技術支線"。
值得注意的是，愛德華茲空軍基地現在也是空軍空中優勢聯合測試兵力的所在地，第 411 飛行測試中隊最近承擔了這一任務。該中隊將為一系列與 NGAD 計劃相關的飛行測試活動提供支持。
在過去的一年多時間里，部分得益于墨西哥灣廣闊的近海訓練場地，埃格林也成為了專門進行 AAx 測試的主要中心。2022 年 10 月，第 40 飛行測試中隊接收了第一架 XQ-58 戰斗機，專門用于支持這項工作。自2019年 "女武神 "首飛以來，空軍作為一個整體，一直在使用該機型進行各種測試和評估。
試飛員羅斯-"WEZ"-埃爾德空軍少校在視頻中說，XQ-58 "最初由地面控制站控制"。"不過，我們將能夠切換到人工智能驅動的飛行"。
作為 "蝰蛇 "實驗和下一代操作模式（VENOM）項目的一部分，埃格林現在還將接收六架經過改裝的 F-16 戰斗機，以支持自主飛行活動。與試飛員學校的 X-62A 相比，VENOM 的 F-16 預計專業性較低，X-62A 也被稱為 "可變穩定性飛行模擬器試驗機"（VISTA）。VISTA 噴氣式飛機是專門設計來模擬各種有人駕駛和無人駕駛飛機的飛行特性的，此外現在還能進入自主操作模式。
"首席試飛員格雷說："VISTA內部有一套計算機，這些計算機可以讓飛機像其他飛機一樣飛行。"你在駕駛這架 F-16，但感覺就像在駕駛 F-35、B-52 或[波音]707"。
圖：空軍的 X-62A 在愛德華茲空軍基地上空飛行。美國空軍
美國空軍航空實驗室的新視頻有趣的是還把重點放在了 MQ-28 幽靈蝙蝠無人機上，這種無人機最初是由澳大利亞波音公司為澳大利亞皇家空軍（RAAF）開發設計的，不過該型號從未被明確提及。與 "幽靈蝙蝠 "有關的大部分鏡頭顯然都是電腦合成的。不過，有一個片段（見本故事頂部的劇照）顯示，其中一架帶有澳大利亞皇家空軍標志的無人機與一架 F-22 形成編隊，看起來像是真實的飛行測試。戰區》已聯系空軍、波音公司和皇家空軍了解更多信息。
圖：USAF capture
迄今為止，官方尚未宣布空軍進行過涉及 MQ-28 的飛行測試，也未宣布該軍種在澳大利亞進行過任何此類測試。去年，五角大樓確實披露，它至少獲得了一架 MQ-28 用于與空軍合作進行測試，而且其中至少有一架無人機在美國。大約在同一時間，空軍證實波音公司不再積極參與 "天堡 "計劃。空軍稱，波音公司為支持 "天堡 "計劃而提供 "幽靈蝙蝠 "無人機或其變種或衍生品的計劃與其對皇家空軍的義務發生了沖突。
今年 5 月，波音公司在其位于密蘇里州圣路易斯市外 MidAmerica 機場的設施中發布了 MQ-28 在美國的首張官方照片。該公司曾表示，該設計或其變體或衍生品可能成為 CCA 的競爭者，現在還在推銷可搭載航母的版本。在最近的專題報道中，《戰區》還詳細探討了 "幽靈蝙蝠 "如何成為多國在先進無人機和自主能力方面開展新合作的途徑之一，特別是美國、澳大利亞和英國之間根據三邊 AUKUS 防務合作協議開展的合作。
圖：在美國中部機場，一架MQ-28 "幽靈蝙蝠"（Ghost Bat）（左）與波音公司用于幫助美國海軍開發MQ-25 "黃貂魚 "加油機無人機的演示機并列。波音公司 波音公司
完整的 AAx 測試生態系統還包括模擬器和地面上的其他支持要素。這使空軍能夠開發新的軟件定義的人工智能自主能力，在虛擬環境中進行實驗，然后觀察它們在實機飛行測試環境中的工作情況。
"AAx試驗負責人馬修-尼米克（Matthew "RICO" Niemiec）在AFRL的視頻中說："為了提供作戰能力，我們首先需要知道用戶想要什么。"因此，需要與我們的作戰人員以及現有的技術專家和行業專家一起完善概念"。
"試驗的優勢之一是我們能夠在受控環境中試驗和演示其中的一些能力，既能從中獲得重要數據和經驗教訓，從而開發我們的系統，降低未來開發的風險，又能確保我們走在正確的道路上，"空軍試驗飛行員埃爾德少校解釋說。"像VISTA飛機這樣的沙箱所能做的事情之一，就是讓我們能夠展示其中的一些概念，或者對這些概念進行實驗，展示它們與第五代飛機一起工作的情況，然后我們就可以利用測試數據朝著正確的方向開發我們的系統，幫助開發人員實現我們想要的能力。"
"第五代飛機 "一詞最常用來指隱形戰斗機，如F-22 "猛禽 "和F-35 "聯合攻擊戰斗機"。空軍現在正致力于在NGAD下獲取一種新的第六代隱身戰斗機，并且還將即將推出的B-21 "突襲者 "隱身轟炸機稱為第一種真正的第六代隱身飛機，至少據我們所知是這樣。
圖：先進的第六代隱形戰斗機效果圖。洛克希德-馬丁公司
AFRL AAx 的新視頻展示了 F-22 戰斗機以及非隱身的第四代 F-15E "攻擊鷹 "戰斗機與各種無人機共同飛行的真實畫面和計算機生成的圖像。
空軍過去曾說過，它希望 CCA 至少在初期能與第五代和第六代平臺非常密切地合作。這些無人機也有可能與第四代戰斗機和其他非隱身飛機并肩作戰，并能單獨或成群地自主執行任務，包括以完全聯網的機群形式聯結在一起。
美國空軍表示，它計劃購買至少 1,000 架 CCA，但這一數字可能會大幅增加。1000架無人機這一數字是基于一個作戰概念，該概念設想為200架NGAD戰斗機和300架F-35A戰斗機各配兩架CCA。
圖：F-35 聯合攻擊戰斗機與各類無人機共同飛行的效果圖。洛克希德-馬丁公司臭鼬工廠
"將其視為通向未來能力的道路...... Elder少校補充說："把它看作是通向未來能力的道路，[包括]我們如何在F-22和F-35上的人機界面上與這些系統對接。"有了高度儀器化的系統，我們就可以提取這些數據，并利用這些數據進一步成熟和開發這些系統。
"因此，我們的專家飛行員、專家工程師實際上就是這種自主性的老師。比方說，如果你是一支橄欖球隊的隊員，就是他們在設計訓練，給你進行散打比賽，讓你經歷一堆略有不同的場景的不同重復，以便你能夠處理這種情況，"空軍少校肖恩-斯蒂芬斯（Shawn "Demon" Stephens）也在視頻中說道。"然后，當你到了比賽日，你就能應對任何情況"。
具體到 X-62A 飛機，試飛員學校首席試飛員格雷指出，該飛機及其系統的設計意味著 "我們實際上可以在駕駛飛機時改變模擬"。
圖：空軍試飛員學校的首席試飛員比爾-格雷在模擬器內。美國空軍拍攝
空軍之所以決定以這種方式進行先進的無人機和自主測試，也有明顯的成本因素。
教學和 "運行這些神經網絡需要數百萬次......訓練運行。首席試飛員格雷強調說："你無法在真正的飛機上做到這一點。"在 F-16 戰斗機上飛行一個小時要花費數千美元。"但你可以在模擬器上做到"
"埃爾德少校說："在 24 小時內，我們可能已經訓練這個東西（人工智能體）數百萬次，讓它做一些我們在現實中只見過一兩次的事情。
空軍曾表示，成本考慮是其推行先進項目（包括 CCA 和秘密的艙外傳感站 (OBSS)）的核心原因。空軍認為，要想在未來的沖突中取得勝利，特別是在與近鄰競爭對手的高端戰斗中取得勝利，就必須擁有足夠數量的無人機平臺。它目前將這一基本概念稱為 "可負擔的大規模"。
此外，AFRL AAx 的視頻強調，實驗計劃還有助于建立對目前正在開發的各種自主系統以及更廣泛的技術的信任。
埃爾德少校說："我們正試圖建立對這些智能體的信任。我們正試圖確保其戰術、技術和程序遵循一定的準則和交戰規則，以及道德方面的考慮，然后再將其部署到作戰協作飛機上使用。"
這些都是空軍以及更廣泛意義上的美軍在討論開發具有高度自主性的飛機和其他武器系統時經常強調的一般性觀點。美國目前實施的總體政策強調，在未來任何涉及自主平臺使用致命兵力的情況下，都需要有人類操作員參與。
如何將其付諸實踐以及可能存在的隱患在很大程度上仍是一個未決問題。今年 5 月，空軍人工智能測試與操作主管漢密爾頓上校描述了一個最初被認為是真實測試或模擬的場景，其中一架自主無人機攻擊了它的操作員并失控，這引起了轟動。
此后，美國空軍表示，漢密爾頓的言論是 "假設性思想實驗 "的產物，他說的只是傳聞。空軍發言人隨后告訴《戰區》，漢密爾頓的言論在一定程度上受到了 "回形針最大化 "的影響。"回形針最大化 "是瑞典哲學家尼克-博斯特羅姆（Nick Bostrom）在 2003 年首次描述的另一個此類思想實驗，以及牛津大學和谷歌 DeepMind 附屬公司的研究人員去年發表的一篇關于流氓人工智能的論文。
無論如何，漢密爾頓上校的 "思想實驗 "凸顯了目前在人工智能技術專家、倫理學家和其他人之間發生的一場非常真實的爭論，這場爭論遠遠超出了美國空軍和美國其他軍方的范圍。
"參謀長聯席會議主席、美國陸軍上將馬克-米利（Mark Milley）上周在華盛頓特區的國家新聞俱樂部（National Press Club）發表演講時說："在未來 10 到 15 年內，我們很可能會看到，世界上至少有三分之一的先進工業軍隊很可能會采用機器人。"想想沒有飛行員的空軍，或者沒有水兵的海軍，或者沒有乘員的坦克。"
米利過去曾就他在這方面的期望發表過類似言論。
"孫子告訴我們，'知己知彼，百戰百勝'，"他補充道。"人工智能和量子計算正是如此。我們將能夠以比現在更重要的方式看清自己，看清敵人。
漢密爾頓在 AFRL 的新 AAx 視頻中說："我們需要工業界與學術界并肩作戰，與國防部并肩作戰，這樣才能讓我們達到未來狀態，讓我們能夠保護我們的國家安全利益，抵御不認同我們價值觀的對手"。
從目前的情況來看，空軍預計將在明年左右的某個時候啟動其 CCA 競賽，據稱該競賽將是高度機密的。
與此同時，AFRL 和 AAx 實驗團隊等已經在努力驗證人工智能驅動的自主技術，這些技術將為 CCA 和其他先進無人機項目提供支持。
付費5元查看完整內容
分享嘉賓：張鴻志博士 美團 算法專家 編輯整理：廖媛媛 美的集團 出品平臺：DataFunTalk
**導讀：**美團作為中國最大的在線本地生活服務平臺，連接著數億用戶和數千萬商戶，其背后蘊含著豐富的與日常生活相關的知識。美團知識圖譜團隊從2018年開始著力于圖譜構建和利用知識圖譜賦能業務，改善用戶體驗。具體來說，“美團大腦”是通過對美團業務中千萬數量級的商家、十億級別的商品和菜品、數十億的用戶評論和百萬級別的場景進行深入的理解來構建用戶、商戶、商品和場景之間的知識關聯，進而形成的生活服務領域的知識大腦。目前，“美團大腦”已經覆蓋了數十億實體、數百億的三元組，在餐飲、外賣、酒店、到綜等領域驗證了知識圖譜的有效性。今天我們介紹美團大腦中生活服務知識圖譜的構建及應用，主要圍繞以下3個方面展開： * “美團大腦”簡介 * 標簽圖譜構建及應用 * 菜品知識圖譜構建技術
01
“美團大腦”簡介**“美團大腦”是什么？**
以下是“美團大腦”構建的整體RoadMap，最先是2018年開始餐飲知識圖譜構建，對美團豐富的結構化數據和用戶行為數據進行初步挖掘，并在一些重要的數據維度上進行深入挖掘，比如說對到餐的用戶評論進行情感分析。2019年，以標簽圖譜為代表，重點對非結構化的用戶評論進行深入挖掘。2020年以后，開始結合各領域特點，逐個領域展開深度數據挖掘和建設，包括商品、美食、酒旅和到綜和cross圖譜等。
02
標簽圖譜構建及應用
1. 標簽知識圖譜介紹
在搜索中，通常用戶需要將其意圖抽象為搜索引擎能夠支持的一系列精搜關鍵詞。標簽知識圖譜則是通過“標簽”來承載用戶需求，從而提升用戶搜索體驗。例如，通過標簽知識圖譜，用戶可直接搜索“帶孩子”或者“情侶約會”，就可返回合適的商戶/內容供給。從信息增益角度來說，用戶評論這種非結構化文本蘊含了大量的知識（比如某個商戶適合的場景、人群、環境等），通過對非結構化數據的挖掘實現信息增益。該團隊以生活服務領域的海量評論數據作為主要知識來源，通過標簽挖掘、標簽間關系挖掘以及標簽-商戶關聯等關鍵技術，自下而上梳理用戶需求，場景及主要關注點完成圖譜構建。
2. 標簽知識圖譜構建
標簽知識圖譜構建分為以下四個部分：知識抽取、關系挖掘、圖譜打標和圖譜應用。
① 知識抽取
標簽挖掘采用簡單的序列標注架構，包括Single span標簽挖掘和跳字標簽挖掘，此外還會結合語義判別或者上下文判別，采用遠監督學習+結果投票方式獲取更精準的標簽。
② 關系挖掘
同義詞挖掘：同義詞挖掘被定義為給定包含N個詞的池子，M個業務標簽詞，查找M中每個詞在N中的同義詞。現有的同義詞挖掘方法包括搜索日志挖掘、百科數據抽取、基于規則的相似度計算等，缺乏一定的通用性。當前我們的目標是尋找通用性強，可廣泛應用到大規模數據集的標簽同義詞挖掘方法。
以下是作者給出的同義詞挖掘的具體方案，首先將離線標簽池或者線上查詢標簽進行向量表示獲取向量索引，再進行向量哈希召回，進一步生成該標簽的TopN的同義詞對候選，最后使用同義詞判別模型。該方案的優勢在于降低了計算復雜度，提升了運算效率；對比倒排索引候選生成，可召回字面無overlap的同義詞，準確率高，參數控制簡單。
對于有標注數據，主流的標簽詞嵌入表示方法有word2vec、BERT等。word2vec方法實現較為簡單，詞向量取均值，忽略了詞的順序；BERT通過預訓練過程中能捕捉到更為豐富的語義表示，但是直接取[CLS]標志位向量，其效果與word2vec相當。Sentence-Bert對于Bert模型做了相應的改進，通過雙塔的預訓練模型分別獲取標簽tagA和tagB表征向量，然后通過余弦相似性度量這兩個向量的相似性，由此獲取兩個標簽的語義相似性。
對于無標注數據來說，可以通過對比學習的方法獲取句子的表示。如圖所示，Bert原始模型對于不同相似度的句子的向量相似度都很高，經過對比學習的調整之后，向量的相似度能夠較好地體現出文本相似度。
對比學習模型設計：首先給定一個sentence，對這個樣本做擾動產生樣本pair，常規來說，在embedding層加上Adversarial Attack、在詞匯級別做Shuffling或者丟掉一些詞等構成pair；在訓練的過程中，最大化batch內同一樣本的相似度，最小化batch內其他樣本的相似度。最終結果顯示，無監督學習在一定程度上能達到監督學習的效果，同時無監督學習+監督學習相對于監督學習效果有顯著提升。
同義詞判別模型設計：將兩個標簽詞拼接到Bert模型中，通過多層語義交互獲取標簽。
標簽上下位挖掘：詞匯包含關系是最重要的上下位關系挖掘來源，此外也可通過結合語義或統計的挖掘方法。但當前的難點是上下位的標準較難統一，通常需要結合領域需求，對算法挖掘結果進行修正。
③ 圖譜打標：如何構建標簽和商戶供給的關聯關系？
給定一個標簽集合，通過標簽及其同義詞在商戶UGC/團單里出現的頻率，卡一個閾值從而獲取候選tag-POI。這樣會出現一個問題是，即使是頻率很高但不一定有關聯，因此需要通過一個商戶打標判別模塊去過濾bad case。
商戶打標考慮標簽與商戶、用戶評論、商戶Taxonomy等三個層次的信息。具體來講，標簽-商戶粒度，將標簽與商戶信息（商戶名、商戶三級類目、商戶top標簽）做拼接輸入到Bert模型中做判別。
微觀的用戶評論粒度，判斷每一個標簽與提到該標簽的評論（稱為evidence）之間是正面、負面、不相關還是不確定的關系，因此可當作四分類的判別模型。我們有兩種方案可選擇，第一種是基于多任務學習的方法， 該方法的缺點在于新增標簽成本較高，比如新增一個標簽，必須為該標簽新增一些訓練數據。筆者最終采用的是基于語義交互的判別模型，將標簽作為參數輸入，使該模型能夠基于語義判別，從而支持動態新增標簽。
基于語義交互的判別模型，首先做向量表示，然后是交互，最終聚合比較結果，該方法的計算速度較快，而基于BERT的方法，計算量大但準確率較高。我們在準確率和速度上取balance，例如當POI有30多條的evidence，傾向于使用輕量級的方式；如果POI只有幾條evidence，可以采用準確率較高的方式進行判別。
從宏觀角度，主要看標簽和類目是否匹配，主要有三種關系：一定不會，可能會，一定會。一般通過商戶層關聯結果進行投票結果，同時會增加一些規則，對于準確率要求較高時，可進行人工review。
④ 圖譜應用：所挖掘數據的直接應用或者知識向量表示應用
Open知識問答
****在商戶知識問答相關的場景，我們基于商戶打標結果以及標簽對應的evidence回答用戶問題。
搜索召回/排序
首先識別用戶query中的標簽并映射為id，然后通過搜索召回或者排序層透傳給索引層，從而召回出有打標結果的商戶，并展示給C端用戶。A/B實驗表明，用戶的長尾需求搜索體驗得到顯著提升。此外，也在酒店搜索領域做了一些上線實驗，通過同義詞映射等補充召回手段，搜索結果有明顯改善。
表示應用（知識圖譜如何應用到搜索推薦中）
主要采用GNN模型實現，在構圖中構建了兩種邊，Query-POI點擊行為和Tag-POI關聯信息；采用Graph Sage進行圖學習，學習的目標是判斷Tag和POI是否有關聯關系或者Query和POI是否點擊關系，進一步依據關聯強度進行采樣。上線后結果顯示，在僅利用Query-POI信息構圖時，線上無收益，在引入Tag-POI關聯信息后線上效果得到顯著提升。這可能是因為排序模型依賴于Query-POI點擊行為信息去學習，引入Graph Sage學習相當于換了一種學習的方式，信息增益相對較少；引入Tag-POI信息相當于引入了新的知識信息，所以會帶來顯著提升。 此外，僅接入Query-POI向量相似度線上效果提升不佳，將Query和POI向量接入后效果得到顯著提升。這可能是因為搜索的特征維度較高，容易忽略掉向量相似度特征，因此將Query和POI向量拼接進去后提升了特征維度。
表示應用（知識圖譜如何融入到序列推薦任務中）
該任務通過當前已知的Item去預測用戶點擊的Masked Item。比如說獲取Item的上下文表征的時候，將相關的Attribute信息也進行向量表征，從而去判斷Item是否有Attribute信息。 此外，還可以做Masked Item Attribute 預測，從而將標簽的知識圖譜信息融入到序列推薦任務中去。實驗結果表明，引入知識信息后的準確率在不同的數據集上均有數量級的提升。同時，我們也做了線上轉化的工作，將Item表征做向量召回；具體來說，基于用戶歷史上點擊過的Item去召回topN相似的Item，從而補充線上推薦結果，在美食列表推薦頁有顯著提升。
03****標簽圖譜構建與應用
菜品知識圖譜的構建目標，一方面是構建對菜品的系統理解能力，另一方面是構建較為完備的菜品知識圖譜，這里從不同的層次來說明菜品知識圖譜的構建策略。
菜名理解
菜名中蘊含著最精準、獲取成本最低的菜品信息，同時對菜名的理解也是后續顯式知識推理泛化能力的前提。首先是抽取菜名的本質詞/主體菜，然后序列標注去識別菜名中的每個成分。針對兩種場景設計了不同的模型，對于有分詞情況，將分詞符號作為特殊符號添加到模型中，第一個模型是識別每個token對應的類型；對于無分詞情況，需要先做Span-Trans的任務，然后再復用有分詞情況的模塊。
深度學習模型泛化Inference
菜名理解是一個較為重要的信息來源，但是所蘊含的知識相對有限，從而提出了基于深度學習模型進行初步字符推斷，可實現對不同字面表述的泛化處理。但是對需要專業知識的case表現欠佳，偶爾在字面極其匹配時出現case。
知識挖掘&顯式推理
從知識內容豐富的文本中挖掘某些菜譜的基礎知識，來構建源知識庫；然后通過泛化推理去映射到具體SKU中。在食材推理中，比如菜品種有多道紅燒肉，統計10道五花肉中有4道是指五花肉，6道是指帶皮五花肉，因此肉就轉化為帶皮五花肉。對應地，佛跳墻有多道菜譜，先通過統計每種食材出現的概率，可以卡一個閾值，然后表明該菜譜的食譜是什么。 多源數據挖掘，基于菜名理解結果構建solid knowledge triple，同時也依賴菜名理解結果泛化規則。該策略主要適用于處理食材、功效、人群等標簽。該方法準確率OK，有一定泛化能力，但覆蓋率偏低。
多模態+結構化預訓練及推理
業務內有一些比較好用的訓練數據，例如1000萬商戶編輯自洽的店內分類樹。基于該數據可產生5億的 positive pairs 和 30G corpus。在模型訓練中，會隨機替換掉菜譜分類的 tab/shop，模型判斷 tab/shop 是否被替換；50%的概率drop shop name，使得模型僅輸入菜名時表現魯棒。同時，對模型做了實體化改進，將分類標簽作為bert的詞進行訓練，將該方法應用到下游模型中，在10w標注數據下，菜譜上下位/同義詞模型準確率提升了1.8%。
多模態&多視圖半監督學習策略
首先使用ReseNet對菜譜圖片進行編，使用Bert模型對菜譜文本信息做編碼，通過對比學習loss去學習文本和店菜的匹配信息。這里采用雙塔模型，一方面是下游應用較為方便，單塔模型可獨立使用，也可inference出菜品圖片的表示并緩存下來；另一方面是圖片內容單純，暫無交互式建模的必要。訓練目標分別是圖片與店菜匹配、圖片與菜名對齊，圖片與Tab對齊。
多模態&多視圖半監督學習應用
可基于多模態信息做菜品品類預測或者菜譜信息補全。比如，預測“豬肉白菜”加上了圖片信息將更加直觀和準確。基于文本和視圖模態信息進行多視圖半監督的菜譜屬性抽取，以烹飪方式抽取為例，首先通過產生烹飪方法訓練樣本（紅燒肉-紅燒）；然后采用CNN模型去訓練預測菜譜烹飪方法，指導Bert模型Finetune文本模型或者多模態模型，基于商戶/tab/菜品及評論信息預測菜品烹飪方法；最終對兩個模型進行投票或者將兩個特征拼接做預測。
綜上，我們對菜品知識圖譜構建進行相應的總結。菜品理解比較適合SKU的初始化；深度學習推理模型和顯式推理模型比較適合做同義詞、上下位、菜系等；最終是想通過多模態+結構化預訓練和推理來解決單模態信息不完整、屬性維度多、需要大量標注數據等問題，因此該方法被應用到幾乎所有的場景中。
今天的分享就到這里，謝謝大家。
分享嘉賓：
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191