基于Transformer結構增強的神經(jīng)網(wǎng)絡架構搜索性能預測器

摘要： 神經(jīng)網(wǎng)絡架構搜索(Neural Architecture Scarch,NAS)作為一種通過搜索算法設計神經(jīng)網(wǎng)絡架構的方法,在計算機視覺和自然語言處理等領域得到廣泛應用,相較于人工設計網(wǎng)絡,NAS方法可以減少設計成本并提高模型性能.但是NAS的性能評估需要對候選架構進行大量訓練,由此帶來的計算量占整個NAS的80%以上.為降低計算開銷和時間成本,近年來已提出許多基于Transf...