ACM Multimedia 2021于10月20日至24日在中國成都舉辦，20日主要日程為Workshop和Tutorial。
多媒體分析研究近年來取得了長足進展，相關技術在單項測試中的準確率達到甚至超過了人類水平，正逐步實現從“不能用”到“可以用”的技術跨越。然而，在醫療診斷、無人駕駛等強安全相關的應用領域，由于魯棒性差、違背常識倫理、無法測試調試等問題，距離“很好用”仍有一段距離。10月20日下午北京交通大學組織了"可信賴多媒體分析"的Tutorial，探討多媒體分析從"可以用"到"很好用"的技術解決方案。Tutorial共分為四個部分：
- 可信賴多媒體分析：知識蒸餾中的兩種虛假相關性
- 準確性兼容的公平性計算
- 良性對抗攻擊：對抗隱私保護
- 可信賴用戶建模：解釋性、魯棒性、公平性、隱私和安全性
報告內容
Trustworthy Multimedia Analysis: the Two Types of Spurious Correlations in Distilling Human Knowledge
可信賴多媒體分析：知識蒸餾中的兩種虛假相關性
報告人：桑基韜
從引入人類知識中獲得的兩種虛假關聯開始，我們沿著任務相關和語義兩個維度劃分（視覺）特征空間。可信多媒體分析理論上依賴于與任務相關的語義特征，由訓練、可解釋和測試三個模塊組成。這三個模塊基本上構成了一個閉環，分別處理提取任務相關特征、提取任務相關語義特征，糾正虛假相關目標。
Accuracy-compatible Fairness Computing in Multimedia
準確性兼容的公平性計算
報告人：張翼
多年來，多媒體計算研究主要在關注算法的準確性，期待算法能夠擁有人類水平的多媒體理解能力。近年來，隨著以深度學習為代表的技術突破，算法已經表現出超越人類的準確率，比如在圖像識別和閱讀理解等任務中。然而，隨著算法在真實世界的大規模部署，也暴露出了算法存在歧視和偏見的潛在問題，越來越多的研究者開始關注算法的公平性問題。本報告以消除圖像識別中的算法不公平為例，基于算法偏見的來源提出兩個方法消除圖像識別中的算法偏見，并且兼容了算法準確性。具體的，我們從訓練和測試的角度出發，分別消除數據和模型中對任務不相關特征的依賴，而不改變對任務相關特征的依賴。因此在保證模型準確性的同時，實現了算法公平。
Benign Adversarial Attack: Adversarial Privacy-preserving
良性對抗攻擊：對抗隱私保護
報告人：張家明
關于對抗樣本的研究近些年成為了學界中的熱點，圍繞著對抗樣本的對抗攻擊（Adversarial attack）和對抗防御（Adversarial defense）也層出不窮。然而，目前學界的主流理解還是將其視為人工智能算法的一個漏洞，并試圖解決它。本報告從另一個角度出發，不再將對抗樣本當作一個漏洞，而是剖析了它的三個特點：可以被作為算法的特征（Utilizable as feature）、只會對算法產生影響（Exclusive to algorithm）、算法對其十分敏感（Inevitable for vulnerability）。本報告根據對抗樣本的以上三個特點，介紹并討論了三種良性的應用場景：對抗數據增強（Adversarial data augmentation）、對抗圖靈測試（Adversarial Turing Test）、隱私保護（Privacy-preserving）。
Trustworthy User Modeling
可信賴用戶建模
報告人：黃曉雯
用戶在社會媒體中的角色既是內容的生產者，又是社會媒體服務的終極目標。個性化服務需要了解用戶的喜好和興趣，就需要從用戶的網絡平臺行為數據中分析和理解用戶，進行用戶建模，推測用戶的未知屬性或興趣。用戶建模具有極高的應用價值，如：多媒體檢索、推薦系統、精準營銷和各式各樣的個性化服務等。本報告以推薦系統這一下游應用為例，介紹可信賴用戶建模。多年來，推薦系統主要關注系統效益（Effectiveness）、效率（Efficiency）、全面性（Sufficiency）和多樣性（Diversity）等方面。隨著可信賴人工智能的發展，可信賴用戶建模強調關注解釋性（Explainability）、魯棒性（Robustness）、公平性（Fairness）、隱私和安全性（Privacy and Security）。本報告介紹了上述四個方面的相關定義、研究進展、評估方式和未來工作。
本次tutorial slides下載地址：
付費5元查看完整內容
相關內容
近年來，“AI 變臉”特效風靡全球，近期爆紅的 “螞蟻呀嘿” 再次掀起體驗和討論的熱潮，這種源自人工智能人臉生成的新技術，能夠利用深度學習技術識別并替換圖片或視頻中的原始人像，不僅制作過程逐漸簡單化，而且逼真度驚人，幾乎能達到以假亂真的效果。
Deepfake作為一項技術工具，有著廣泛的應用空間。語音合成能讓計算機用人類的聲音說出上百種語言，視頻合成能讓《速度與激情》里的 Paul Walker 復生，但若被濫用，也將帶來巨大的風險，給身份識別和社會信任帶來挑戰，虛假視覺信息的應用與傳播還會給人們造成隱私安全等多方面的困擾。
隨著DeepFake等人臉生成技術的發展，偽造的人臉越來越逼真，有些甚至達到人眼也難以區分真假的地步。對此，騰訊優圖實驗室提出了一種全新的鑒偽方法，該方法同時從時間和空間不一致性入手, 對視頻人臉偽造進行鑒別，這將有助于鑒別社交網絡上傳播的虛假視頻，守護人臉安全。目前，該方法在四個學術基準數據集上均取得領先結果，相關論文已被多媒體領域會議ACM MM 2021收錄。
論文下載地址：
付費5元查看完整內容
ACM國際多媒體會議（ACM International Conference on Multimedia, 簡稱自1993年首次召開以來，ACMMM每年召開一次，已經成為多媒體領域頂級會議，也是中國計算機學會推薦的A類國際學術。會議熱門方向有大規模圖像視頻分析、社會媒體研究、多模態人機交互、計算視覺、計算圖像等等。
最佳論文
標題：Video Background Music Generation with Controllable Music Transformer（使用可控音樂轉換器進行視頻背景音樂生成）
作者：Shangzhe Di; Zeren Jiang, Si Liu*, Zhaokai Wang, Leyan Zhu, Zexin He, Hongming Liu, Shuicheng Yan
摘要：在本工作中，我們解決了視頻背景音樂生成的任務。以往的一些工作雖然實現了有效的音樂生成，但卻無法針對特定的視頻生成優美的音樂，也沒有考慮到視頻音樂的節奏一致性。為了生成與給定視頻匹配的背景音樂，我們首先建立視頻和背景音樂之間的節奏關系。特別地，我們將視頻中的定時、動作速度和動作顯著性分別與音樂中的節拍、模擬音符密度和模擬音符強度聯系起來。然后我們提出CMT，一個可控的音樂轉換器，使上述節奏特征的局部控制，以及音樂類型和用戶指定的使用樂器的全局控制。客觀和主觀的評價表明，生成的背景音樂與輸入視頻達到了滿意的適配性，同時音樂質量令人印象深刻。
論文地址： //dl.acm.org/doi/10.1145/3474085.3475195
最佳學生論文
標題：aBio: Active Bi-Olfactory Display Using Subwoofers for Virtual Realit（一種主動雙嗅覺顯示器的研發及其與虛擬現實的結合）
作者： You-Yang Hu*, Yao-Fu Jan, Kuan-Wei Tseng, You-Shin Tsai, Hung-Ming Sung, Jin-Yao Lin, Yi-Ping Hung
摘要：在虛擬現實(VR)中加入嗅覺線索將增強用戶在虛擬環境中的沉浸感，而對嗅覺的精確控制將有助于用戶獲得更真實的體驗。在這篇論文中，我們提出了aBio，一個主動的雙嗅覺顯示系統，它將氣味精確地傳遞到特定的位置，而不是將氣味擴散到大氣中。aBio通過雙揚聲器渦旋發生器發射的兩個渦旋環碰撞，為用戶提供自由空氣中的自然嗅覺體驗，并具有緩沖空氣沖擊力的作用。根據不同應用的不同要求，渦流環的碰撞點可以定位在用戶鼻子前方的任意位置。為了驗證我們的設備的有效性，并了解用戶在使用系統中不同參數時的感受，我們進行了一系列的實驗和用戶研究。實驗結果表明，該系統在用戶感知氣味時不受觸覺干擾，且只消耗少量香精油，是一種有效的氣味感知系統。我們相信，通過高效地傳遞氣味，aBio有很大的潛力來提高虛擬現實的存在水平。
論文地址：
付費5元查看完整內容
2021年第14屆國際網絡搜索與數據挖掘會議WSDM將在2021年3月8日到12日于線上舉行。今年此次會議共收到了603份有效投稿，最終錄取篇數為112篇，錄取率為18.6%。在WSDM上，有關于《偏見感知推薦系統的進展》教程值得關注！
排名和推薦系統在當今的網絡平臺上扮演著關鍵角色，肯定會影響到大量用戶的信息搜索行為。然而，這些系統是根據經常傳遞不平衡和不平等的數據進行訓練的，這些模式可能在系統提供給最終用戶的結果中被捕捉和強調，從而產生偏見，提供不公平的結果。鑒于偏見信息尋求成為一個威脅,
(1) 研究跨學科概念和問題空間,
(2) 制定和設計一個bias-aware算法管道,和
(3)和減輕落地的偏見的影響,同時保留底層系統的有效性,正在迅速成為熱門的研究熱點。
本教程是圍繞這個主題組織的，向WSDM社區介紹了在評估和緩解推薦系統中的數據和算法偏差方面的最新進展。我們將首先介紹概念基礎，通過調研當前的技術狀態和描述真實世界的例子，從幾個角度(例如，倫理和系統的目標)偏見如何影響推薦算法。
本教程將繼續系統地介紹算法解決方案，以便在推薦設計過程中發現、評估和減少偏見。然后，一個實用的部分將向與會者提供處理前、處理中和處理后消除偏見算法的具體實現，利用開源工具和公共數據集。在本部分中，教程參與者將參與偏倚對策的設計，并闡明對利益相關者的影響。最后，我們將分析這個充滿活力和迅速發展的研究領域中出現的開放問題和未來的方向，從而結束本教程。
付費5元查看完整內容
食品與人類的行為、健康和文化等密切相關。來自社交網絡、移動網絡和物聯網等泛在網絡產生的食品大數據及人工智能尤其是深度學習技術的快速發展催生了新的交叉研究領域食品計算[Min2019-ACM CSUR]。作為食品計算的核心任務之一，食品圖像識別同時是計算機視覺領域中細粒度視覺識別的重要分支，因而具有重要的理論研究意義，并在智慧健康、食品智能裝備、智慧餐飲、智能零售及智能家居等方面有著廣泛的應用前景。本文在項目組前期食品識別（Food Recognition:[Jiang2020-IEEE TIP][Min2019-ACMMM]）的研究基礎上，提出了一個新的食品數據集ISIA Food-500。該數據集包含500個類別，大約40萬張圖像，在類別量和圖片數據量方面都超過了現有的基準數據集。在此基礎上我們提出了一個新的網絡SGLANet聯合學習食品圖像的全局和局部視覺特征以進行食品識別，在ISIA Food-500和現有的基準數據集上進行了實驗分析與驗證。
付費5元查看完整內容
對于有足夠標記樣本的基類，小樣本分類的目標是在只有少量標記樣本的情況下識別新類的未標記樣本。現有的方法大多只關注新類的標記樣本和未標記樣本之間的關系，沒有充分利用基類內部的信息。在本文中，我們為研究小樣本分類問題做了兩個貢獻。首先，我們提出了一個簡單而有效的基線，通過傳統的監督學習的方式在基類上訓練，可以取得與目前水平相當的結果。其次，在基線的基礎上，我們提出了一個協作的雙路徑分類度量，它利用基類和新類之間的相關性來進一步提高分類的準確性。在兩個廣泛使用的基準上的實驗表明，該方法是一種簡單有效的分類方法，在小樣本分類領域開創了一種新局面。
付費5元查看完整內容
【導讀】CCF A類會議多媒體 ACM Multimedia 2020接收論文列表，剛剛已公布，你的文章中了嗎？
據官方博，ACM Multimedia 2020官方今日發布接收論文，共有1698篇論文投稿，共有472篇接受，接受率27.8%。
ACM Multimedia 2020原定于2020年10月12-16日在美國西雅圖舉行。因為疫情原因將在在線虛擬進行。
自1993年召開第一屆學術大會以來，每年的ACM Multimedia（簡稱ACM MM）是國際多媒體領域學術和產業界交流的最頂級盛會，也是中國計算機學會推薦的多媒體領域唯一的A類國際學術會議。熱門方向有大規模跨媒體分析、理解與搜索、多模態人機交互、多媒體系統與推薦、計算視覺、計算圖像、多媒體藝術、社會媒體研究等。ACM Multimedia每年在歐洲、美洲和亞太地區輪流舉辦，如今每年參會者近千人。按照慣例，該會議的主辦權提前三年確定，以便有充裕的時間籌辦。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191