混合特征及多頭注意力的中文短文本分類

摘要： 傳統(tǒng)的短文本分類研究方法存在兩方面不足，一是不能全面地表示文本的語義信息，二是無法充分地提取和融合文本全局和局部信息?；诖?，提出一種混合特征及多頭注意力（HF-MHA）的中文短文本分類方法。該方法利用預(yù)訓(xùn)練模型計(jì)算中文短文本的字符級(jí)向量和詞級(jí)向量表示，以得到更全面的文本特征向量表示；采用多頭注意力機(jī)制捕捉文本序列中的依賴關(guān)系，以提高文本的語義理解；通過卷積神經(jīng)網(wǎng)絡(luò)分別提取兩種...