基于深度學習的孤獨癥兒童學習情緒智能感知

分類:論文范文 發表時間:2021-09-10 10:22

  摘要:學習情緒智能感知是學習科學的研究前沿。針對孤獨癥兒童情緒表達頻率低、特征異常、數據集缺少和識別率低等問題,文章采用真實情景教學法,建立孤獨癥兒童學習情緒數據集,構建Attention-AlexNet優化模型,并將此模型與AlexNet基礎模型進行情緒智能感知的對比實驗,結果表明:孤獨癥兒童面部表情數據集具有可用性和準確性;Attention-AlexNet優化模型感知孤獨癥兒童情緒的準確率高于AlexNet基礎模型,其對五種情緒識別的準確率由高到低依次為開心、驚訝、厭煩、生氣和平靜。文章推進了智能學習科學中深度學習數據集的建立和情緒智能感知的理論研究,可為孤獨癥兒童教育干預提供技術支撐。

  關鍵詞:深度學習;情緒識別;孤獨癥兒童;卷積神經網絡;智能感知

  學習情緒反映個體的認知心理狀態,對學業行為表現具有調節效用,是診斷性評價和形成性評價的關鍵指標之一。近年來,國內外多項研究采用深度學習神經網絡方法開展學習情緒狀態的智能識別研究,情緒狀態識別的準確率得以大幅度提高[1]。但是,面對社交障礙類特殊學習者——孤獨癥兒童,已有的深度學習技術在識別其學習情緒時遇到了三個難題:①孤獨癥兒童的面部表情與正常兒童存在一定差異[2],這導致適合正常兒童的深度學習神經網絡模型不能被直接應用于孤獨癥兒童;②目前,學術界和教育界均沒有針對孤獨癥兒童情感計算的面部表情圖像數據集[3],尤其缺少基于真實教育場景的孤獨癥兒童面部表情圖像數據集;③深度學習領域已有的情感計算神經網絡模型對情緒的識別準確率不高[4],需要基于孤獨癥兒童的面部表情圖像數據集構建更為精準、高效的深度學習神經網絡模型。基于此,如何開展面向孤獨癥兒童的情緒智能感知成為了學習科學領域的重要研究課題。在此背景下,本研究系統分析深度學習神經網絡模型及其在學習情緒識別中的相關研究成果,應用真實情景教學法采集孤獨癥兒童的面部表情圖像,嘗試建立國內首個孤獨癥兒童學習情緒數據集,構建Attention-AlexNet優化模型,開展孤獨癥兒童學習情緒的深度學習模型訓練,以提高孤獨癥兒童學習情緒智能感知的效率。

基于深度學習的孤獨癥兒童學習情緒智能感知

  一文獻綜述

  本研究采用文獻研究方法,梳理并分析孤獨癥兒童情緒識別、深度學習神經網絡模型及其情緒識別應用的相關研究成果,為建立學習情緒數據集、進行情緒智能感知提供理論參考。

  1孤獨癥兒童情緒識別研究

  情感計算模型為孤獨癥兒童情緒識別提供了模型支撐。相關研究發現,與正常兒童相比,孤獨癥兒童在用面部表情表達情緒時存在兩個方面的差異:①孤獨癥兒童難以表達后天社交性情緒,如好奇、投入、尊敬、厭煩等[5][6];②孤獨癥兒童雖能通過面部表情表達高興、傷心、興奮、生氣等基本情緒,但在準確性與頻率上低于正常兒童[7]。此外,White等[8]采用情感計算方法,設計了一款基于面部表情的孤獨癥兒童情緒自動識別系統,實現了對面部表情行為的實時反饋;Sivasangari等[9]構建了深度學習神經網絡模型,對捕捉的孤獨癥兒童面部表情圖像進行分區鄰域加權與特征選擇,既降低了圖像特征計算成本,又提高了孤獨癥兒童情緒識別的準確度。上述研究成果證實了深度學習模型可以提取孤獨癥兒童的情緒表達特征并分析其特殊性,可用于支持情緒智能感知系統的開發與應用。

  2深度學習神經網絡模型研究

  深度學習(DeepLearning)由Hiton等[10]提出,是一種具有成熟度、自動化、靈活性和準確度的機器學習方法。深度學習模型擁有多種神經網絡結構,包括全連接神經網絡(FullyConnectedNeuralNetwork,FCN)、卷積神經網絡(ConvolutionalNeuralNetworks,CNN)、長短時記憶神經網絡(LongShort-TermMemoryNetworks,LTSM)等[11]。其中,卷積神經網絡主要被應用于圖像處理和人臉識別[12]。按照卷積層和池化層的結構分類,卷積神經網絡模型可分為AlexNet、VGGNet、LeNet等不同性能的網絡模型。其中,AlexNet模型由Krizhevsky等[13]于2012年提出,包含5個卷積層和3個全連接層,具有并行計算架構(ComputeUnifiedDeviceArchitecture,CUDA)加速和數據增強等優勢,為卷積神經網絡成為圖像分類領域的關鍵算法奠定了基礎。可見,AlexNet模型適合用來進行基于深度學習的孤獨癥兒童學習情緒智能感知。

  3深度學習神經網絡模型的情緒識別應用研究

  當前,國內外學者紛紛開展了深度學習神經網絡模型的情緒識別應用研究,如魏刃佳等[14]構建了深層卷積神經網絡結構模型,將深度學習技術應用于在線學習情緒識別,使機器在教學過程中關注學生的情緒,開展情感狀態評價;徐振國等[15]提出了一種基于卷積神經網絡的學習情感識別方法,自主構建學習者情感數據集,實現學習情感的自動識別;MIT媒體實驗室應用深度學習神經網絡模型開發了人類情緒識別機器人,通過識別和演示情緒,輔助孤獨癥兒童教育干預[16];而Lee等[17]提出了一種深度學習感知情感識別網絡,基于人的面部表情和周圍環境信息更有效地情緒識別。上述研究成果表明深度學習神經網絡模型已被廣泛應用于學習情緒識別,為本研究的開展提供了方法上的參考。

  二孤獨癥兒童學習情緒數據集的建立

  目前,表情圖像開源數據庫多為外國人的表情數據庫。基于以上數據集進行情緒識別研究,存在表情特征差異大、實際需求無法滿足、真實情景數據缺乏等問題[18]。對此,本研究在杭州市某自閉癥兒童康復教育中心招募50名孤獨癥兒童為實驗被試,設計真實教學情境下的情緒誘導教學實驗,采集被試情緒變化過程中的面部表情,建立孤獨癥兒童學習情緒數據集,為深度學習模型訓練提供準確的數據集。按照以下標準,本研究對招募的50名被試進行了篩選:①被試經權威醫院確診為孤獨癥譜系障礙患者;②被試的視力或矯正視力正常,視覺正常;③被試年齡在3~7歲之間;④被試家長同意實驗數據用于科學研究。經篩選,本研究確定的實驗樣本數為32名孤獨癥兒童,其中男童26名、女童6名。

  1數據采集

  被試面部表情圖像的數據通過兩種方式進行采集:①基于情緒誘導材料采集數據。故事繪本是孤獨癥兒童的常用學習材料,可有效引起孤獨癥兒童的情緒變化。因此,本實驗將故事繪本作為情緒誘導材料,采集被試在聆聽教師誦讀故事時產生的不同面部表情。②基于教學視頻采集數據。教學視頻能夠有效刺激孤獨癥兒童的視覺和聽覺,促使其情緒的發生。因此,本實驗將訓練情感社交技能的教學視頻和AR游戲互動視頻作為學習材料,采集被試在觀看教學視頻時的面部表情圖像,如圖1所示。

  在數據采集過程中,本實驗確保被試處于光源充足的真實學習環境,同時要求現場的兩名研究人員用攝像機重點拍攝被試的面部表情,記錄被試當時的面部表情和學習行為。最終,本實驗共采集了時長約為460分鐘的視頻數據,構建的孤獨癥兒童學習情緒數據集(局部)如圖2所示。

  2學習情緒標簽選取

  對拍攝的視頻數據進行分析,本研究發現在聆聽故事繪本和觀看教學視頻的過程中,被試表現最多的有五種情緒:開心、平靜、厭煩、生氣和驚訝。基于此,本研究選取這五種情緒作為孤獨癥兒童學習情緒數據集的學習情緒標簽。3數據預處理數據預處理由數據篩選、數據過濾和數據增強三個任務組成,旨在得到準確可用的學習情緒數據。三個任務的具體內容如下:①數據篩選。將獲得的視頻以每60幀為一個節點,截取被試的面部表情圖片,之后調整圖片的大小,將圖片分辨率設置為224?224像素。本實驗共采集面部表情圖片7864張,但有504張由于面部被遮擋、面部圖像不全、正臉偏離等原因不適合用來進行實驗分析,故予以刪除。②數據過濾。數據過濾遵循兩個原則:一是對于同一張面部表情圖片,如果有兩名及以上研究人員判定的學習情緒標簽名稱相同,就將其作為有效數據予以保留;二是如果三名研究人員的判定結果各不相同,就請三人之外的研究人員另行定義,之后根據第四名研究人員的判定來確定數據是否有效——若第四名研究人員的判定結果與前三人都不相同,則放棄此條數據。經過數據過濾環節,被試的面部表情圖像及其學習情緒標簽的準確性、可用性均得到了保障。③數據增強。深度學習模型訓練需要大規模的訓練樣本作為數據支撐[19],而本實驗的被試規模不夠大、采集的數據量不夠充足。為避免因數據量不足帶來準確率不高、模型的過擬合等問題,本實驗采用旋轉、翻轉、拉伸和模糊等方式對圖片進行數據增強,最終共得9842張圖片。

  三Attention-AlexNet優化模型的構建

  研究者發現,學習者的面部表情圖像關鍵特征信息在空間上出現的頻率不均勻,且與情緒有關的圖像特征集中在面部的特定部位[20][21]。基于此,本研究引入深度學習中的注意力機制,從空間和通道的角度關注特征圖,構建了具備關注重要特征能力的Attention-AlexNet優化模型,如圖3所示。在Attention-AlexNet優化模型中,卷積層負責卷積操作提取特征圖,池化層負責降低特征圖尺寸,注意力模塊負責分配權重,全連接層負責決策并輸出預測結果,激活函數負責加入非線性元素。其中,注意力模塊的結構如圖4所示,處理過程如下:①將輸入特征圖按長寬壓縮為兩種一維向量數據,輸入通道注意力模塊,得到其輸出權值;②通道注意力輸出權值與特征圖進行點乘,輸入空間注意力模塊,得到其輸出權值;③空間注意力輸出權值與特征圖進行點乘,點乘的結果作為Attention模塊的特征圖予以輸出。

  結語

  本研究建立了國內首個孤獨癥兒童面部表情圖像數據集,構建了結合注意力機制的深度學習神經網絡模型——Attention-AlexNet優化模型,并開展了深度學習模型的對比實驗,在數據集和方法學方面推進了深度學習在學習分析領域的研究。但是,本研究也存在一些不足,主要表現為:①數據集的規模不大,收集的圖像數據樣本量在深度學習研究中相對較少;②單一模態數據評價學習情緒略顯單薄。基于此,后續研究將建立更大規模的孤獨癥兒童面部表情圖像數據集,以增加數據的樣本量;同時,采集孤獨癥兒童學習情緒的多模態數據(如腦電、聲音和姿態等),并采用多模態數據融合方法,以對孤獨癥兒童的學習情緒進行更全面、更深入的智能感知研究。

  參考文獻

  [1]曹曉明,張永和,潘萌,等.人工智能視域下的學習參與度識別方法研究——基于一項多模態數據融合的深度學習實驗分析[J].遠程教育雜志,2019,(1):32-44.

  [2]陳靚影,張如靜,王帆,等.孤獨癥兒童早期社交技能的智能化評估——以應答性共同注意和應答性社交微笑為例[J].電化教育研究,2019,(11):114-120、128.

  [3]RudovicO,LeeJ,MaricicLM,etal.Measuringengagementinrobot-assistedautismtherapy:Across-culturalstudy[J].FrontiersinRoboticsandAI,2017,(7):1-17.

  [4]蘭嵐,蘭繼軍,李越.自閉癥兒童面部表情識別的綜述[J].特殊教育,2008,(3):36-41.

  王永固1張晨燾1許家奇1李曉娟2

上一篇:基于現代教育技術的初中歷史智慧課堂分析 下一篇:淺談5G推動下的農業現代化發展現狀與前景

18以下岁禁止1000部免费