一、引言 语言智能（Language Intelligence，LI），是语言信息的智能化，指利用大数据与人工智能技术对语言信息进行标注、抽取、加工、存储、图语转换和特征分析，建立人机之间的语义同构关系，其中开展情感语义智能分析是语言智能场景下的一个重要应用（张凯等，2022）。海量的学生行为数据分析耗时费力，完全依靠人工分析效率低下且准确度不高。在语言智能场景下，通过对海量的学生行为数据的情感智能分析，可以实现学生情感情绪的智能识别以及变化情况的解读，从而有助于及时掌握学生学习状态，为教学决策提供有力支撑（周建设等，2017）。情感智能分析技术作为一种重要的分析方法，通过自动识别用户的情感情绪以及观点论点，能够高效率地挖掘有价值的信息。在智能教学场景中，文字不是学生情感和观点表达的唯一方式，还会通过语音、图像、视频等其他信息形式展现，但是多模态信息因信息量大、表达形式复杂，很难通过人工处理完成，需要借助语言智能场景工具实现。因此，通过辨别学习时的肢体动作、面部表情和在线学习提交的互动评价文本信息进行多模态情感智能分析，具有较高的研究价值。 情感语义智能分析是在语言智能场景下实现文本与人类情感关系的自动分析。现有的文本情感语义分析方法主要包含基于知识库、语料和两者结合的三种情感词典构建方法，以及基于机器学习、深度学习等神经网络模型方法（王科、夏睿，2016），这些方法在文本情感分析方面均取得了较好的效果。周建设（2019）指出情感语义库建设是基于语言智能研究的需要，在当前大数据与人工智能技术的加持下，以海量的情感数据为支撑，围绕语言智能发展目标，确定情感语义资源库建设任务，发挥智能技术的优势，开展顶层设计，组织多方力量，融合智能技术与人工经验，分步有序实施，从而更好地提高语言智能研究质量。国内外很多研究者基于特定领域构建了不同类型的情感词库或情感语义库，典型的有Wu等（2018）通过提取目标词与情感词，构建意见词库，并进行情感词极性分类；Hung等（2016）针对电影和酒店领域构建了专门的情感词库，其采用的标记化和消除歧义的方法，对一些单词语义不清的情景具有较好的识别和分类效果；Oliveira等（2016）创建了股票市场的情感词库，该情感词库主要使用StockTwits大型标记数据集，在现有的情感词库基础上，调整和扩展特定领域的情感词，提高了特定领域情感分析的性能。特定领域的情感语义库在特定领域情感识别任务中具有较好的效果，但也存在通用性不强的问题。一是情感词在不同领域呈现出较大的差异，展现出的情感倾向也不同，例如，在影视、时尚、运动等场景中，“粉丝”表达的是正向情感，而在食品行业则与情感无关。二是很多情感语义库只开展了情感的极性分析，没有描述情感强度，也没有对情感强度进行赋值。三是相关方法和模型的效果好坏受制于语义库标注规模的大小和标注质量的高低，而当前语义库大多采用人工建设，效率较低，且数据规模量不大，影响了方法、模型的效果。总之，构建特定领域情感语义库，其主要问题在于构建耗时较长、语义库模态较少、构建方法通用性较差、适配其他领域较难等。 当前，多模态情感分析已逐渐成为研究的热点，多模态情感语义可以分为多主体和单主体两种形式，其中多主体一般指在同一样本中存在两个以上的主体，并且它们之间存在一定的互动。IEMOCAP数据集是早期的多模态多主体情感语义库之一（徐琳宏等，2021），其由南加州大学SAIL实验室收集，包含文本、语音、视频、面部表情等多个模态数据，由10位演员根据剧本表达情感和即兴创作生成，总时长约为12小时，包含10，000个句子（Busso et al.，2008）。此外，也可通过影视剧集，如情景喜剧，构建多模态多主体语义库（Bertero et al.，2016）。除了多主体情感语义外，单主体的多模态情感语义是另一种常见的表达形式，以此为基础的语义库只包含单个主体的情感表达或对某事物的评论。语义库数据主要来源于社交媒体上的视频评论。除语音和视频外，多模态语义库还包括一些与动作相关的数据，如眼球追踪等。但基于学生学习行为的多模态情感语义库相对不足，限制了学习行为情感分析技术的发展，为解决学生学习行为多模态情感语义资源稀缺和数据处理低效的问题，本文借助语言智能技术，尝试构建一个多模态情感语义库，探讨该语义库在语言智能场景中的应用，并分析学生学习行为情感的特点。 二、情感语义的标注体系 本文中学生学习行为情感语义库以某大学带有智能场景的课堂教室和在线教学平台后台数据为主要来源，通过智能技术与人工核查相结合的方法，对学习行为的情感类型、场景和情感内容等信息进行自动识别和标注。为确保语言智能技术工具能够更好地实现对学生行为数据的正确处理和标注，首先需要建立一个高质量的标注体系，本文的标注体系如下。 （一）标注单元及智能标注框架 语义的标注单元是单一学生主体的一段话语或一组动作。在语义库的智能标注过程中，本文针对同一学生主体连续表达相同情感的短句或动作，酌情合并，以减少冗余信息。对较长的语句或连续的动作，进行适当的分割。同时，合并和分割的过程中，坚持不合并不同主体的话语或动作的原则，以确保后续对学生主体的性格特点和情感倾向进行分析时，能够准确地开展分析和标注。 1.智能标注框架信息类型 智能标注框架包括内容信息（Content Info，CI）、时空信息（Space-time Info，STI）和情感信息（Emotion Info，EI）三大部分，其中内容信息（CI）包括学生主体行为情感的文本信息、声音信息和视频信息，这部分主要通过智能教学场景的感知传感器（影视频设备）采集或者从教学平台系统后台中获取；时空信息（STI）包括开始位置（时间）、结束位置（时间）等，此部分信息可以通过语言智能工具从教学视频中自动获取；情感信息（EI）包括情感类型、情感极性等，需要建设智能化方法进行获取。情感信息（EI）分为显式情感信息和隐式情感信息两种类型，其中显式情感信息反映的是字面语言表达的情感，而隐式情感信息是字面语言无法直接表达的情感，其主要通过字面语义计算出人物内心的真实情感。
