注意力機(jī)制在深度學(xué)習(xí)中的研究進(jìn)展
作者：朱張莉; 饒?jiān)? 吳淵; 祁江楠; 張鈺 西安交通大學(xué)軟件學(xué)院社會智能與復(fù)雜數(shù)據(jù)處理實(shí)驗(yàn)室; 陜西西安710049; 陜西師范大學(xué)計(jì)算機(jī)科學(xué)學(xué)院; 陜西西安710119
摘要：注意力機(jī)制逐漸成為目前深度學(xué)習(xí)領(lǐng)域的主流方法和研究熱點(diǎn)之一,它通過改進(jìn)源語言表達(dá)方式,在解碼中動態(tài)選擇源語言相關(guān)信息,從而極大改善了經(jīng)典Encoder-Decoder框架的不足。該文在提出傳統(tǒng)基于Encoder-Decoder框架中存在的長程記憶能力有限、序列轉(zhuǎn)化過程中的相互關(guān)系、模型動態(tài)結(jié)構(gòu)輸出質(zhì)量等問題的基礎(chǔ)上,描述了注意力機(jī)制的定義和原理,介紹了多種不同的分類方式,分析了目前的研究現(xiàn)狀,并敘述了目前注意力機(jī)制在圖像識別、語音識別和自然語言處理等重要領(lǐng)域的應(yīng)用情況。同時,進(jìn)一步從多模態(tài)注意力機(jī)制、注意力的評價(jià)機(jī)制、模型的可解釋性及注意力與新模型的融合等方面進(jìn)行了探討,從而為注意力機(jī)制在深度學(xué)習(xí)中的應(yīng)用提供新的研究線索與方向。
注：因版權(quán)方要求，不能公開全文，如需全文，請咨詢雜志社。
中文信息學(xué)報(bào)雜志
中文信息學(xué)報(bào)雜志， 月刊，本刊重視學(xué)術(shù)導(dǎo)向，堅(jiān)持科學(xué)性、學(xué)術(shù)性、先進(jìn)性、創(chuàng)新性，刊載內(nèi)容涉及的欄目：綜述、語言資源建設(shè)、機(jī)器翻譯、信息抽取與文本挖掘、情感分析與社會計(jì)算、自然語言理解與生成等。于1986年經(jīng)新聞總署批準(zhǔn)的正規(guī)刊物。
- 北大期刊
- CSCD期刊
- 統(tǒng)計(jì)源期刊
- 1-3個月審核
