20世纪90年代以来，功能语言学与语篇分析的多模态转向使多模态语篇分析成为语言学与传播学研究的热点之一。在国内，自李战子（2003）发表介绍Kress & van Leeuwen（1996）的《阅读图像：视觉设计的语法》以来，多模态研究迅速发展。以“多模态语篇分析”为关键词搜索中国期刊全文数据库，结果如下：2006-2010年相关文章数量为61篇，2011-2015年为492篇。我们首先简单定义模态与多模态语篇分析。Kress（2010：79）将模态定义为“在社会文化中形成的创造意义的符号资源”，认为“任何模态（如图像、手势、音乐）都是完整的表意系统，跟语言一样具有形式层（expression plane）、词汇语法层（lexicogrammar）和语篇语义层（discourse semantics）。”O'Halloran（2011）、Forceville（2009）、Gu（2006）等则将符号模态称为符号资源，而将模态定义为听觉、视觉、触觉等感官模态。多模态语篇分析是指将语言与非语言符号纳入统一分析范畴的一个研究领域，其出发点是将图片、手势、表情、声音特征等非语言符号视为跟语言一样的表意资源。 我国学者从系统功能视觉语法、多模态隐喻、多模态语料库、多元读写等视角对广告语篇、新闻报道、电视电影、课堂教学、自然会话等多模态语篇形式进行了广泛而深入的探讨。然而，作为一个新的研究领域，多模态语篇分析仍然面临诸多挑战。首先，多模态语篇分析在传统语言学领域中的地位仍然受到质疑。有些语言学者，甚至语篇分析学者认为，语言学者应该只关注语言，而不应该研究非语言符号。其次，有些初学者对多模态语篇分析的理论和方法的认识存在误区。例如，有的研究将视觉语法当成万能的准则，生搬硬套到视觉图像分析中，导致分析错误。鉴于以上两点，笔者认为有必要对多模态研究的基本问题进行系统梳理，一则帮助语言学者了解这一领域存在的理据与价值，二则帮助多模态研究者把握正确的分析方法。 一、为什么要研究多模态语篇 许多语言学者质疑，我们是语言学者，为什么要研究图像、手势等非语言符号？多模态研究属于语言学范畴吗？是不是“不务正业”？是否会削弱语言的地位？下面笔者将从语言研究的内容和人类交际方式的变化两方面阐释多模态语篇分析的必要性。除此之外，还可以从语篇发生与个体发生的角度论述非语言符号的重要地位，即人类与婴儿最初的交际方式都是非语言的。 首先，语言学研究关注的不仅是语言本体，而且是人类的交际行为、社会关系建构、心理与认知等。可以说，除词汇学、句法学等语言本体研究之外，语言学研究的绝大部分领域都不只是关注语言，如社会语言学、语用学、心理语言学、语篇分析等。就我们所关注的语篇分析而言，研究者一方面关注基于语言的意义建构与交际策略，另一方面关注语言所体现的社会关系、意识形态等（Fairclough，1995）。如果要全面理解意义与社会关系的建构，只关注语言是不够的，因为在大多数交际环境和交际媒介中，语言不是唯一的，甚至不是主要的表意资源。例如，同样一句话“你真坏”，搭配不同的表情、动作、语调等特征，可以表达截然不同的意义。在课堂语篇分析中，如果对某位教师的教学进行评价，只分析教师话语显然是片面的。教师的表情、手势、位置、板书等对学习体验和教学效果具有至关重要的作用（Lim，2010）。在以视觉图像为主的广告语篇中，如果只分析语言，我们就无法对广告的劝说策略得出令人信服的结论（Cook，2001；Forceville，1996；Vestergaard & Schorder，1985）。正如Jewitt（2009：1）所指出的，语言与其它模态的结合是常态，而不是例外。因此，将语言人为地提取出来孤立地进行分析很难看到意义建构与人类交际的全貌。 其次，随着科学技术，尤其是数字技术的发展，人类生活与交际模式发生了深刻变化。单一的语言交际逐渐被由语言、图像、声音等构成的复杂交际模式所取代。以广告传播为例，它从古埃及的简单的口语宣传，发展为印刷术发明后单一的书面语言广告，然后到带插图的平面媒体，最后发展为集语言、图像、声音为一体的电视广告（Beasley & Danesi，2005）。交际媒介的多样化与数字化使“语篇”这一概念变得更加复杂。在这种情况下，单凭语言分析已无法全面理解意义的构建，对“非语言”交际符号的分析显得十分必要（冯德正，2010）。不仅如此，多媒体技术的应用改变了语言的结构与组织方式。由于屏幕（如电脑、电视、投影、手机）逐渐取代了书本，以视觉逻辑为主的语言组织（如PPT中的要点）逐渐取代了以线性逻辑为基础的语言书写与阅读模式。例如，平面广告中我们很少看到整段的文字，文本是以视觉空间的位置、大小、颜色等组织的，没有语篇衔接手段，形成一种新的语类结构（Cheong，2004）。因此，只关注语言而忽视其它模态对语言结构的影响，会阻碍对语言新特征的全面理解。
