面向大學程序設計類課程的編程與調試行為可視分析
論文題目：面向大學程序設計類課程的編程與調試行為可視分析
錄用期刊：計算機輔助設計與圖形學學報 (CCF A)
錄用時間：2024年5月15日
作者列表：
1）連遠鋒 中國石油大學（北京）信息科學與工程學院/人工智能學院 計算機系教師
2）莊永琪 中國石油大學（北京）信息科學與工程學院/人工智能學院 計算機科學與技術專業 碩22
3）高涵釗 中國石油大學（北京）信息科學與工程學院/人工智能學院 計算機技術專業 碩21
4）董華松 中國石油大學（北京）信息科學與工程學院/人工智能學院 計算機系教師
摘要:
傳統的編程與調試行為分析工具缺乏從課程類型、題目類別和內存中數據關系的實時變化等維度給出協同交互的可視化分析，無法準確地刻畫學生編程能力。為此設計了多視圖協同交互的編程與調試行為可視分析系統——MPDVAS。首先通過多維度環狀熱力圖，集成展示班級、課程、編程作業及考試成績的時空分布；其次構造了基于多平臺在線課程數據的主題模型，將學生按照用戶畫像進行聚類，進而提出基于層次氣泡圖可視化展示方法，將課程、成績和編程行為評價進行多維度量化分析與交互推理。最后設計了對稱堆疊柱狀圖和多維時間序列圖相結合的新布局, 實現代碼調試過程的評估及程序結果自動對比，進一步給出編程題目和課程推薦結果。通過313名學生的真實編程數據案例分析，收集2名相關管理人員、2名主講教師和20名學生的反饋進行方差分析，p值為0.008小于顯著性水平0.05，驗證了MPDVAS的有效性與實用性。
背景與動機:
以編程和調試行為作為切入點對計算機專業教學過程進行多角度分析，對于優化培養計劃、輔助教師教學內容設計和全面提升學生的編程能力具有重要的意義。在對各高校CG和OJ平臺進行調研后，我們發現對于編程和調試協同可視分析的研究較少，并且上述平臺的算法編程與調試數據分析處理中存在以下問題：(1)難以有效探索學生成績、作業及考試題目和編程與調試行為之間的關系；(2)難以有效挖掘大規模學生編程調試數據中的隱含信息。
主要內容:
模型結構
本文使用t-SNE降維方法將用戶多平臺特征信息降維到二維空間進行用戶畫像的聚類操作，為推薦系統提供先驗參數。根據多元編程數據的特點設計了異構信息多層圖，如圖1所示。將數據整合輸入到推薦系統中，并通過層間元路徑進行特征聚合。根據用戶當前的編程行為和答題情況進行題目與課程的推薦。
圖1 多層圖
可視化交互設計
圖2 MPDVAS系統主界面
如圖2所示，MPDVAS界面由首頁控制臺及6部分協同交互的可視化視圖組成。用戶可以在控制面板中配置角色，年級和班級等參數；用戶可以根據目標達成度條形圖確定培養計劃或教學大綱是否需要調整，同時查看相應的視圖分析問題并尋找可能的原因。視圖A是對學生編程畫像的整體概覽，視圖B、C、D展示了某個班級的編程課數據，視圖E、F用于展示題目和課程推薦結果。群體用戶編程及可視化行為的展示界面包括多維度環狀熱力圖-雷達圖、層次氣泡圖、擴展?；鶊D、對稱堆疊柱狀圖-多維時間序列圖、題目推薦詞云圖與課程推薦和弦圖。
圖3 MPDVAS分析導航
圖3所示為MPDVAS分析導航, 支持教務人員、主講教師和學生3類角色對學生編程行為特征進行分析, 通過多視圖交互實現優化培養方案、調整教學計劃和提高學生編程能力水平.
實驗結果及分析:
圖4 學生整體成績與編程數據展示
多維度環狀熱力圖-雷達圖集成展示班級、課程、編程作業和考試成績在不同學期的分布，如圖4所示。并且從整個年級的角度展現整體的編程行為數據，如平臺登錄次數、平臺使用時長、斷點設置個數、代碼通過率、代碼提交次數、總得分等。在熱力圖下方，采用面積圖展示不同學年整體作業的加權平均得分，能夠直觀地了解同一屆學生不同學年的成績變化，以及同一學期作業成績的變化，便于分析學生整個學期的學習狀態。
圖5所示為學生編程調試行為與代碼相似度分析界面，點擊氣泡圖中某位學生的氣泡可以查看其具體的編程信息數據，選擇某個編程題目對學生編程行為和代碼相似度進行聯合分析，幫助教師了解具體學生編程能力，進行分類教學管理。圖6展示了學生作業代碼調試過程中的內存狀態，結合堆疊圖中的堆棧情況進行比較分析。
圖5 學生編程調試行為與代碼相似度分析
圖6 代碼調試過程內存狀態可視化
根據學生的編程行為畫像為其推薦適合的編程題目如圖7所示，可以根據詞云圖了解薄弱知識點，根據單軸氣泡圖選擇適合難度題目進行練習。進而系統為其提供多門課程按照學習優先級展示在外層圓環上，如圖8所示，根據課程節點之間的連接關系，可以確定某些課程的前置課程進行學習，更好的理解課程知識點。
圖7 題目推薦結果
圖8 課程推薦結果
表1給出了視圖因素方差分析的結果，因變量為信息匹配度，檢驗統計量F的值為3.163，P值為0.008小于顯著水平0.05，因此拒絕原假設。說明不同視圖在準確率上存在顯著性差異。另外圖9展示了測試者對相應任務的主觀打分，可以看出只有Q4任務的得分較低，其他任務都能獲得較高的評分，這表明系統是用戶有好的，具有很好的可用性。
表1 視圖單因素方差分析結果
圖9 測試者任務主觀打分
本文使用不同量級的數據對系統的響應速度進行測試，在AMD Ryzen 7 4800H with Radeon Graphics設備上進行實驗。實驗結果如表2所示，可以看出系統響應主要受數據加載的影響，不同量級數據的界面渲染時間相當。隨著數據量增多，數據加載時間越長，但界面渲染響應都不超過2s。
表2 系統響應時間
結論:
本文設計了一個多視圖協同交互的編程與調試行為可視分析系統MPDVAS。經過教務人員、教師與學生的試用后認為，該系統能夠從課程、題目和編程及調試的數據中給出協同交互的可視化分析，能夠準確地刻畫學生編程畫像并開展學生自我編程能力評價。在可視化設計過程中，本文提出了多維度環狀熱力圖-雷達圖和堆疊柱狀圖與多維時間序列圖相結合的新布局，實現對學生代碼調試過程的實時評估及程序結果自動對比。最后基于真實課程數據進行了案例研究，驗證了MPDVAS工具的有效性和實用性。未來我們將結合其他代碼庫的數據，挖掘更多有實際價值的編程與調試行為信息。進一步聽取用戶及可視化專家的反饋意見，完善分析需求，開展新的可視化展示方法。
作者簡介:
連遠鋒，教授，碩士生導師。研究方向為圖像處理與虛擬現實、機器視覺與機器人、深度學習與數字孿生。
致謝:
本文寫作動機源自紀連恩老師的“面向多主體的大學課程成績相關性可視探索與分析”一文，相應課程教學數據的獲取得到范江波、張建兵、張麗英、趙旭霞等老師的大力支持，在此一并表示感謝。