近日，學院控制科學與工程專業2018級碩士研究生劉俊文在國內學術期刊《工程科學學報》上發表題為《深度學習注意力機制研究進展》的學術論文，被評為《工程科學學報》2022年度優秀論文(2021年發表)，指導教師為自動化系劉建偉副教授和羅雄麟教授。

注意力機制模擬人類視覺選擇性的機制，隨著深度學習領域的發展，注意力機制近幾年被廣泛應用在深度學習的研究里，在自然語言處理，語音識別，計算機視覺等各個領域都發揮著舉足輕重的作用。

《深度學習注意力機制研究進展》介紹了注意力機制的認知心理學起源與技術動機，并對注意力機制進行了數學表述。著重對注意力機制的分類進行濃墨重彩的描述和提綱挈領式的總結歸納，并對軟注意力機制和硬注意力機制，全局注意力機制和局部注意力機制，層次注意力機制以及多種自注意力機制等典型注意力機制進行了詳細的分析，并給出了注意力機制的不同層面闡述和洞見。最后對注意力機制在計算機視覺、神經機器翻譯以及語音識別，這三個典型應用場景下的應用進行了總結。

《工程科學學報》(Chinese Journal of Engineering)，曾用名《北京科技大學學報》，為中文核心期刊（綜合性理工農醫類）、中國科技論文統計源期刊和中國科學引文數據庫來源期刊（CSCD），是由教育部主管、北京科技大學主辦的學術類科技期刊，主要刊載礦物、冶金、材料、環境、自動化、計算機等工學領域具有創新意義或有較大應用價值的高水平研究論文，在行業中有較高的學術影響力。