近日，我校計(jì)算機(jī)學(xué)院（軟件學(xué)院）、人工智能學(xué)院劉瑞教授課題組22級(jí)本科生孫啟源關(guān)于”魯棒多模態(tài)情感識(shí)別”的工作"Connecting Cross-Modal Representations for Compact and Robust Multimodal Sentiment Analysis with Sentiment Word Substitution Error"被IEEE 情感計(jì)算匯刊 IEEE Transactions on Affective Computing錄用。
IEEE Transactions on Affective Computing是情感計(jì)算領(lǐng)域國(guó)際頂級(jí)期刊、中國(guó)人工智能學(xué)會(huì)推薦A 類學(xué)術(shù)期刊、中科院一區(qū)Top期刊。該研究受到國(guó)家自然科學(xué)基金面上項(xiàng)目、青年基金項(xiàng)目；中國(guó)科協(xié)青年人才托舉工程項(xiàng)目、內(nèi)蒙古大學(xué)駿馬計(jì)劃項(xiàng)目等項(xiàng)目的支持，在劉瑞教授指導(dǎo)下完成。內(nèi)蒙古大學(xué)為第一單位和通訊單位。
現(xiàn)實(shí)場(chǎng)景下多模態(tài)情感時(shí)第三方語(yǔ)音識(shí)別(ASR)引擎可能會(huì)錯(cuò)誤地就將語(yǔ)句中情感詞識(shí)別為發(fā)音相似的中性詞，導(dǎo)致文本信息中的情感退化，從而影響后續(xù)多模態(tài)情感識(shí)別效果。孫啟源同學(xué)在劉瑞教授的指導(dǎo)下，以第一作者身份完成論文相關(guān)工作，提出了“Alignment, Refinement and Fusion” 一站式解決方案，在MOSI-SpeechBrain, MOSI-IBM, MOSI-iFlytek 三個(gè)基準(zhǔn)數(shù)據(jù)集上都取得領(lǐng)先效果。以下為成果簡(jiǎn)述：
Connecting Cross-Modal Representations for Compact and Robust Multimodal Sentiment Analysis with Sentiment Word Substitution Error
論文作者：孫啟源，左昊麟，劉瑞，李海洲
多模態(tài)情感分析（MSA）融合文本、聲學(xué)和視覺(jué)信息來(lái)有效地預(yù)測(cè)說(shuō)話人的情感狀態(tài)。然而，在現(xiàn)實(shí)世界場(chǎng)景中，MSA系統(tǒng)接收到的文本模態(tài)通常是通過(guò)語(yǔ)音識(shí)別（ASR）模型獲得的。不幸的是，ASR可能會(huì)錯(cuò)誤地將情感詞識(shí)別為語(yǔ)音相似的中性替代，從而導(dǎo)致文本中的情感退化并影響MSA的準(zhǔn)確性。最近的嘗試旨在首先識(shí)別ASR結(jié)果中的情感詞替換（SWS）錯(cuò)誤，然后使用多模態(tài)信息細(xì)化損壞的詞嵌入以進(jìn)行最終的多模態(tài)融合。然而，這樣的方法包括繁瑣和模棱兩可的檢測(cè)操作，并且忽略了不同模態(tài)之間固有的相關(guān)性和異質(zhì)性。為了解決這些問(wèn)題，我們提出了一個(gè)更緊湊的系統(tǒng)，稱為ARF-MSA，由三個(gè)關(guān)鍵組件組成，以實(shí)現(xiàn)具有SWS錯(cuò)誤的魯棒MSA： 1）對(duì)齊：我們?cè)凇拔谋?聲學(xué)”和“文本-視覺(jué)”表示之間建立連接，通過(guò)利用它們的多模態(tài)相關(guān)知識(shí)，有效地將“text-acoustic-visual”數(shù)據(jù)映射到統(tǒng)一的情感空間；2）細(xì)化：我們?cè)诮y(tǒng)一情感空間中對(duì)文本模態(tài)和其他兩種模態(tài)進(jìn)行細(xì)粒度比較，從而更簡(jiǎn)潔地細(xì)化文本模態(tài)中的情感表達(dá)；3）融合：最后，我們分層融合來(lái)自三種異構(gòu)模態(tài)的主導(dǎo)和非主導(dǎo)表示，以獲得MSA的多模態(tài)特征。我們?cè)谡鎸?shí)世界的數(shù)據(jù)集上進(jìn)行了廣泛的實(shí)驗(yàn)，結(jié)果證明了我們模型的有效性。代碼可在：https://github.com/ARFMSA/ARF-MSA獲得。
論文地址：https://ieeexplore.ieee.org/document/10741889
供稿：計(jì)算機(jī)學(xué)院（軟件學(xué)院） 編輯：武濤 審核：劉雪峰 終審：阿茹娜
蒙ICP16002391號(hào)-1