圖知識(shí)蒸餾綜述:算法分類(lèi)與應(yīng)用分析

摘要： 圖數(shù)據(jù),如引文網(wǎng)絡(luò),社交網(wǎng)絡(luò)和交通網(wǎng)絡(luò),廣泛地存在現(xiàn)實(shí)生活中.圖神經(jīng)網(wǎng)絡(luò)憑借強(qiáng)大的表現(xiàn)力受到廣泛關(guān)注,在各種各樣的圖分析應(yīng)用中表現(xiàn)卓越.然而,圖神經(jīng)網(wǎng)絡(luò)的卓越性能得益于標(biāo)簽數(shù)據(jù)和復(fù)雜的網(wǎng)絡(luò)模型,而標(biāo)簽數(shù)據(jù)獲取困難且計(jì)算資源代價(jià)高昂.為了解決數(shù)據(jù)標(biāo)簽的稀疏性和模型計(jì)算的高復(fù)雜性問(wèn)題,知識(shí)蒸餾被引入到圖神經(jīng)網(wǎng)絡(luò)中.知識(shí)蒸餾是一種利用性能更好的大模型(教師模型)的軟標(biāo)簽監(jiān)督信息來(lái)訓(xùn)練...