基于多尺度跨模態(tài)特征融合的圖文情感分類模型

摘要： 圖文情感分類任務常用早期融合和Transformer模型相結合的跨模態(tài)特征融合策略進行圖文特征融合，但該策略更傾向于關注模態(tài)內部的獨有信息，而忽略了模態(tài)間的相互聯(lián)系和共有信息，導致跨模態(tài)特征融合效果不理想。針對此問題，提出一種基于多尺度跨模態(tài)特征融合的圖文情感分類方法。局部尺度方面，基于跨模態(tài)注意力機制進行局部特征融合，使模型不僅關注圖像和文本的獨有信息，而且可以發(fā)現(xiàn)圖像和文本...