基于多模態(tài)特征與增強對齊的細粒度圖像分類

摘要： 針對現(xiàn)有模型在多模態(tài)信息處理過程中存在特征提取不足、信息交互不充分等問題，提出基于多模態(tài)特征增強對齊的細粒度圖像分類模型。首先，提出層次特征自適應融合模塊，以實現(xiàn)多模態(tài)特征的多層次自適應融合，從而充分利用卷積中間層的特征信息，增強模型對圖像局部細節(jié)的感知能力。其次，為提高多模態(tài)特征之間的交互維度，提出增強對齊特征融合模塊，以充分挖掘不同模態(tài)之間的映射關系。實驗結果表明，所提模型...