基于多模態(tài)數(shù)據(jù)的人體行為識(shí)別方法研究綜述

摘要： 人體行為識(shí)別廣泛應(yīng)用于智能安防、自動(dòng)駕駛和人機(jī)交互等領(lǐng)域。隨著拍攝設(shè)備和傳感器技術(shù)的發(fā)展，可獲取用于人體行為識(shí)別的數(shù)據(jù)不再局限于RGB數(shù)據(jù)，還有深度、骨骼和紅外等多模態(tài)數(shù)據(jù)。詳細(xì)介紹了基于RGB和骨骼數(shù)據(jù)模態(tài)的人體行為識(shí)別任務(wù)中特征提取方法，包括基于手工標(biāo)注和基于深度學(xué)習(xí)的方法。對(duì)于RGB數(shù)據(jù)模態(tài)，重點(diǎn)分析了基于雙流卷積神經(jīng)網(wǎng)絡(luò)、3D卷積神經(jīng)網(wǎng)絡(luò)和混合網(wǎng)絡(luò)的特征提取算法。對(duì)于骨...