[摘 要] 當前，學習行為分析已成為研究熱點?；诖髷?shù)據(jù)技術挖掘?qū)W生的學習行為特征，能為學習過程的改善、學習評價的優(yōu)化提供重要依據(jù)。然而，現(xiàn)有研究卻存在分析數(shù)據(jù)類型單一、實時性不強、結果準確度不高、缺乏可解釋性等問題。文章從利用深度學習算法進行多模態(tài)學習分析入手，采用HDRBM(Hybrid Deep Restricted Boltzmann Machine，深度混合判別受限玻爾茲曼機)神經(jīng)網(wǎng)絡模型，建立多模態(tài)學習分析模型，為教育技術領域中利用多模態(tài)大數(shù)據(jù)挖掘?qū)W習者行為特征提供了新范式;接著從可解釋性分析的角度，闡述利用深度學習算法進行多模態(tài)學習行為分析的算法設計與實現(xiàn)過程;通過實驗表明，研究中所采用的方法與技術路線對提高學習行為分析的可解釋性有較好成效。

　　[關鍵詞] 深度學習; 多模態(tài); 學習行為分析; 可解釋性

　　一、引 言

　　人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)等新一代信息技術的迅速發(fā)展和深入應用，給社會各領域帶來了巨大的變革，同時也對教育教學產(chǎn)生了深遠影響，推動新時代智慧教育的產(chǎn)生與發(fā)展。當前，基于智慧教育環(huán)境的研究重點逐漸從學習平臺開發(fā)、資源與內(nèi)容設計、傳統(tǒng)普適性研究、應用模式與實證探究等轉(zhuǎn)向基于行為全過程分析的精準助教與評價研究上。學生個體千差萬別，其行為表現(xiàn)一定程度上反映了學生的學習風格、心理特征和情感特征，通過智慧課堂感知系統(tǒng)、教學管理平臺采集學習行為過程數(shù)據(jù)，并通過大數(shù)據(jù)技術挖掘?qū)W生行為特征，能為學習過程的改善提供重要依據(jù)。

　　目前，已有的學習行為分析大多針對各類在線教學平臺采集的數(shù)據(jù)進行分析，數(shù)據(jù)來源單一、分析指標簡單，學生學習行為研究呈現(xiàn)較大的局限性和割裂感(如Abdelrahman等人[1]、Eradze等人[2]、姜強[3]、黃昌勤[4]等)。隨著傳感器、可穿戴設備、眼動儀和腦電儀等智能信息技術的發(fā)展，學習分析領域有了新的突破，研究者逐漸意識到，只有盡可能捕捉學生學習全過程數(shù)據(jù)(包括聲音、視頻、表情、生理等多模態(tài)數(shù)據(jù))，才能更加全面準確地了解學習過程，挖掘?qū)W生學習規(guī)律，拓寬學習行為分析研究的深度與廣度，多模態(tài)學習分析研究應運而生。

　　多模態(tài)學習分析通過語音、圖形圖像、肢體與面部表情等識別技術，充分捕捉或感知各種信息，通過對這些多模態(tài)數(shù)據(jù)的統(tǒng)一表征，從而更準確地判定學情[5]。國內(nèi)主要以北京師范大學、華東師范大學、華南師范大學等師范大學研究團隊為主，從學習科學的角度進行多模態(tài)學習分析，研究主要集中于理論探討(如穆肅[6] 、汪維富[7])、框架搭建(如周進[8]、張琪[9]、牟智佳[10]、李卿[11]等)，較少從計算機科學、數(shù)據(jù)科學等視角將理論應用于實踐，深化研究。

　　國外有關多模態(tài)學習分析的研究較國內(nèi)成熟，研究多結合機器學習方法，圍繞學習行為建模、模態(tài)傳感器建模、算法模型以及新技術的介入等形成系列研究。如挪威科學技術大學的研究者收集了自適應學習活動中學習者的多模態(tài)數(shù)據(jù)，并采用模糊集定性比較分析(fsQCA)方法來描述學習者參與模式與學習績效的關系[12]。Vicente等人提出了基于物聯(lián)網(wǎng)技術和可穿戴設備實時監(jiān)測數(shù)據(jù)的可穿戴教育物聯(lián)網(wǎng)(WIoTED)系統(tǒng)，并使用機器學習技術和多模態(tài)學習分析方法來構建能夠“解釋”學生參與度的模型。該研究基于一組相關變量選擇決策樹和規(guī)則系統(tǒng)，獲得的規(guī)則很容易被非專業(yè)人士解釋[13]。

　　學習分析多考慮數(shù)據(jù)的“源息性”問題，收集哪些數(shù)據(jù)、采用何種方法分析以全面、準確地體現(xiàn)學習者的全部特性[14]?？梢?，學習分析多關注數(shù)據(jù)的準確性、全面性，而可解釋性在傳統(tǒng)技術上很難實現(xiàn)，近幾年才越來越受到關注?？山忉屝?，是指可以在觀察的基礎上進行思考，最終合理地得出事物變化的原因、事物之間的聯(lián)系和事物發(fā)展的規(guī)律的一種性質(zhì)。如Kaur等人采用局部可解釋不可知模型(LIME)，通過在本地訓練可解釋模型，以可解釋的方式分析預測模型[15]。有研究者采用LSA(滯后序列分析法)[16]、K-Means算法[17]等解釋了學習行為與學習成績之間的變化關系，有助于研究者對學習行為的過程與機理的了解。

　　本研究基于多模態(tài)數(shù)據(jù)(包括各類學習平臺、教室視像信息和各種傳感器信息等)，將最大限度采集發(fā)生在各種時空維度割裂的學習行為數(shù)據(jù)結合關聯(lián)起來，以教育心理學和行為科學為依據(jù)，構建能更貼近真實的學習情境的學習行為數(shù)據(jù)模型。然后在數(shù)據(jù)模型上提高數(shù)據(jù)分析的可解釋性，使得人們不僅知道分析的結果，也清楚結果產(chǎn)生的原因，從而更有針對性地為學生提供指導與幫助，進而提高學生學習成效。

　　二、基于深度學習算法的多模態(tài)

　　學習行為數(shù)據(jù)分析模型研究

　　學習行為分析是一個復雜的高維的分析過程，傳統(tǒng)分析方法對多模態(tài)數(shù)據(jù)分析比較困難，大數(shù)據(jù)與智能算法的出現(xiàn)，給學生學習特征分析、教育大數(shù)據(jù)挖掘提供了新方法。本文提出利用深度學習算法進行多模態(tài)學習分析，為教育技術領域中利用多模態(tài)教育大數(shù)據(jù)挖掘?qū)W習者行為特征提供了新范式。

　　(一)深度學習支持下的學習行為分析模型設計

　　深度學習是學習樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，這些學習過程中獲得的信息對文字、圖像和聲音等數(shù)據(jù)的解釋有很大的幫助。構建面向多模態(tài)學習行為數(shù)據(jù)的大數(shù)據(jù)采集框架，采集實時的課堂、實驗室和教學平臺等時序多模態(tài)數(shù)據(jù)，根據(jù)數(shù)據(jù)模態(tài)特征及因素特點，對多模態(tài)學習行為數(shù)據(jù)進行清洗與預處理，再使用智能算法進行淺層特征分析，然后將他們進行歸一化與深度融合。依據(jù)高維數(shù)據(jù)處理需求構建一種新型的流形深度學習分析模型，對深度融合的多模態(tài)數(shù)據(jù)進行分析。鑒于HDRBM(Hybrid Deep Restricted Boltzmann Machine，深度混合判別受限玻爾茲曼機)神經(jīng)網(wǎng)絡具有降維、分類、回歸、協(xié)同過濾、特征學習以及主題建模等優(yōu)勢，集合了目前主流深度學習的特征提取、高精度和速度等優(yōu)點，是目前最適合處理多模態(tài)數(shù)據(jù)的深度學習框架。因此，本研究中運用HDRBM神經(jīng)網(wǎng)絡處理智慧學習環(huán)境下多模態(tài)學習行為數(shù)據(jù)，以此建立多模態(tài)學習行為分析模型(如圖1所示)，并進行學習者行為特征分析。