电影新技术快速发展,立体、高分辨、高帧率、宽动态、宽色域等技术让影像逼近甚至超越人眼视觉感知极限。人们追求电影巨幕、环幕、球幕,甚至利用虚拟现实(virtual reality,VR)技术来播放全景影像。这些数字影像技术都是为了让电影观众能够获取更接近真实世界形态的虚拟影像——在四维时空中讲述故事。 近几年,VR电影逐渐得到国际影视大奖的承认和支持。VR的临场感和交互性为影视提供了新可能,它也被誉为“共情机器”①。国内学者也对VR电影进行了多个方面的探讨,包括引导叙事②、互动策略③、具身视角④、镜头语言⑤和电影架构⑥等研究脉络。大部分成果都从VR电影本体特征开展研究,讨论VR电影沉浸和交互的独特技术特性,强调了引导、互动的作用。即使有部分内容站在观众视角来讨论影像本体特征⑦,但并没有开展受众研究。那么,VR电影这种模拟四维时空传播的形式在心理和生理上对于情绪唤醒强度的影响如何?观众对VR电影本体特征的感知有哪些?这些都是支撑VR电影创作和发展的基础理论问题。 在国际电影学研究领域内,出现了将认知神经科学与电影研究相结合的新思路⑧。在国内,认知神经科学对丰富和解决诸多电影理论及实践问题已起到重要作用⑨,近几年北京师范大学王宜文研究团队获得了一系列研究成果⑩。本文通过被试者观看VR和传统电影时的脑电活动、皮肤电反应、头动反馈、行为数据,分析和诠释电影本体特性与受众的关系,对VR和传统影像作用于观众提供了直观的生物学证据,为VR电影感知规律给出具体佐证。 一、神经电影学研究范式拓展 (一)传统神经电影学实验方案简介 国际上,哈森团队首先将功能性核磁共振成像技术(functional magnetic resonance imaging,FMRI)运用于电影《黄金三镖客》的研究中,得出不同内容和风格能够显著影响观众脑区活跃度的结论。在国内,王宜文团队首先将功能性核磁共振运用于电影《精神病患者》研究,通过观众观影时大脑活动,验证希区柯克悬疑设置的叙事效果,探讨悬疑效果背后的神经认知与脑机制。 核磁共振信号的变化与被试者脑功能活动区域的血流量相关,局部脑部区域神经元越兴奋,相应信号越强。在神经电影学的磁共振实验过程中,被试者平躺在磁共振扫描仪内,影像通过投影仪投射到位于被试者胸部上方的垂直幕布上,在被试者头部上方安装与水平呈45度夹角的镜面,被试者能够通过镜面观看到幕布的影像。 (二)传统神经电影学实验的优势与不足 磁共振成像应用于传统神经电影学实验,有其优势也有其局限。 优势:1)用磁场把体内氢质子按规律排列,撤离磁场后,按氢质子回归时间计算人体组织的影像,它拥有较高的组织空间分辨率,可对脑功能区域进行精准定位;2)作为一种非介入性、无创性技术,磁共振没有辐射。 局限:1)平躺观影形式改变了以往坐姿观影习惯;2)耳机无法完全屏蔽80多分贝噪声;3)磁共振预扫描准备周期较长;4)洞穴状仪器可能产生幽闭恐惧;5)头部、下颚、舌头的活动会产生伪影;6)设备价格在几百万到几千万人民币范围内,运行制冷耗电量颇大。 综上所述,传统神经电影学实验采用的磁共振实验范式具有精准定位和高空间分辨率的优势,也有非坐姿观影、持续噪音、幽闭恐惧、成本高昂的不足。 (三)神经电影学研究范式拓展 神经电影学需要拓展研究新范式。为了让神经电影学成为电影学中低门槛的定量实证研究方法,需要各项技术互相补充、彼此配合。情绪中自主神经系统活动的测量方法有多种。(11)本团队通过实验论证了皮温对于情绪类型检测的误差较大,心电、呼吸和血氧饱和度对情绪类型和强度的反应不大,测量血压会给观众带来压迫和中断。只有脑电、皮电、心率、眼动能较好反应观影过程的情绪感知状态,且它们的硬件成本相对较低且无电离辐射。 在磁共振实验中,按电影情节发展对被试者视听觉脑区活动强度进行二维可视化,而脑电、皮电、心率拥有更高的时间分辨率,它们也是神经电影学研究的拓展范式。 二、基于多模测量的研究范式实施 (一)研究目标 如图1所示,为了便于传播,部分VR电影被制作为三个版本。标准的VR电影具有360度全景及双目视差立体特征,称为VR-3D(VR立体)版本,然而立体版本所需的存储和传输带宽较大,为了便于传输,VR电影还会提供没有立体视觉特征的VR-2D(VR全景)版本,另一个是和传统电影没有差异并使用剪辑手段的平面媒介播放版本。
图1 VR电影三种播放形式(左:2D桌面版本;中:VR-2D(VR全景)版本;右:VR-3D(VR立体)版本) 本研究的目标包括:1)验证脑电和皮电对情绪唤醒强度(脑神经活动强度)的有效性。论证VR立体影像带来高唤醒强度的生理学依据;2)观众情绪唤醒强度一致性变化与影片内容特征的关系;3)按行为数据讨论观众对VR感知的特征。