“多模态”（multimodality）在西方已经成为一个跨学科的热门话题，涉及语言学、认知科学、哲学、脑科学、临床医学、计算机科学等领域。本文一方面梳理大的研究脉络，勾画一幅全貌图，另一方面集中讨论多模态感官系统与语言的交叉研究。 多模态研究的成果主要见于英语文献，此外，汉语“模态”一词可以用来翻译mode，modality或module。鉴于此，在进入主题之前，我们有必要先梳理英语文献中一些术语的用法，避免误解和概念上的混淆。 术语mode跟本文讨论的多模态现象联系最紧密，也特别容易混淆。在以韩礼德（Halliday）为代表的功能语言学中，语境由三元素组成：（1）场景（field）；（2）人物及其关系（tenor）；（3）语言方式（mode）。在某个语境里，是选用口头交流还是通过书面文字，就是在做“语言方式”的选择（2001[1978]）。Hodge和Kress（1988）在拓展韩礼德的社会符号学理论时，一方面承袭这个用法，另一方面又用它来指非语言方式。后来，Kress（2009，2010）用它来泛指能够产生意义的任何符号资源，如文字、图像、颜色、版式、手势、音乐、动漫画，甚至包括发型、化妆等，这些都可以用来传达意义，因此都是mode。当今的图书页面、网页、手机触屏设计等，往往同时混合使用多个这样的mode，这种呈现方式被称之为multimodal，普遍译为“多模态”。对混合使用的作品用话语分析的方法作系统研究，则称之为multimodal discourse analysis，译为“多模态话语分析”。 需要强调的是，本文讨论的“多模态”概念不是上文说的多模态概念，而是源自脑神经科学。人们日常说的“五官”，在现代脑神经科学里称为“感官模态系统”（sensory modalities）。以视觉为例，眼睛器官加上处理视觉信号的神经系统组成一个视觉模态。多模态指多个感觉器官加上处理各自信号的神经系统。视觉、听觉、触觉、嗅觉和味觉是本文主要关注的多模态感官系统。 概言之，多模态话语分析中的multimodality，源自英文的multi+mode，指多种符号系统；本文的多模态multimodality，则源自英文的multi+modality。由于人脑在处理由多符号系统构成的文本时，需要调用多模态感官系统，多模态话语分析因此跟本文的多模态感官系统研究是有内在联系的，但属于本文多模态研究的一种应用。为了避免混淆，本文把multimodal（源自multi+mode）译为“多符号”，把multimodal（源自multi+modality）译为“多模态感官”，把视觉、听觉、触觉、嗅觉和味觉统称为“多模态感官系统”。 多模态感官系统和语言研究有着曲折的历史，充满了争议。尽管如此，研究者的观点愈来愈趋同，即从基于单模态的转向基于多模态的。本文先作学术背景介绍（第2节），然后进入正文，共分三部分。第一部分讨论以单模态为基点的研究，主要是乔姆斯基（Chomsky）的“语言器官”论和福德（Fodor）的“言语模块”论（第3节）。第二部分讨论以多模态感官系统为基点的研究，主要包括皮亚杰（Piaget）的经验建构主义、卡密洛夫一史密斯（Karmiloff-Smith）的认知成长观、琼森（Johnson）的体验哲学以及笔者的“充盈亲历”以及“充盈意义”的建模（第4节），其中穿插介绍胚胎学对听觉和视觉的发生研究以及触觉模态与情感依附的研究。这些研究使研究者得以重新评价乔姆斯基、福德和皮亚杰的经典理论。第三部分通过中医“望闻问切”和智退症患者的视觉失识，演示一些理论问题，包括多模态互动时的模态转换、模态搭配、多模态过滤器等。关于多模态研究的应用，如多模态语料库、多模态机器人、多模态语言教学、多模态与临床语言学等，因篇幅有限，待另文述说。 2.学术背景：关于多模态感官系统的研究视角 当今多模态感官系统研究分以下7个视角：（1）生物视角，研究感官的组织结构、生物化学、神经通路等，包括跟动物感官的对比研究。（2）胚胎视角，研究感官系统在出生前发生、发展的动态过程。（3）心理视角，研究通过多模态感官系统与外部世界互动的心理过程。（4）认知科学视角，研究多模态感官系统跟概念的形成与表征、记忆、学习等关系。（5）哲学视角，研究多模态感官跟经验及知识的来源、感知的本质等关系问题。（6）临床视角，研究多模态感官系统的疾病及其治疗方法。（7）人工模拟视角，设计和研发具有人类多模态感官系统的机器人。不言而喻，这7个视角的研究是互为补充的。 我国古代先贤对五官的功能非常关注。以荀子为例。“君子之学也，入乎耳，著乎心，布乎四体，形乎动静。端而言，蠕而动，一可以为法则。小人之学也，入乎耳，出乎口；口耳之间，则四寸耳，曷足以美七尺之躯哉！”（《荀子·劝学》）这里涉及感官（听觉）跟学习的关系。如果归类，可归入上述认知科学视角的研究范围。然而，需要注意的是，荀子在论述五官与学习的关系时，加入了道德考量。“君子知夫不全不粹之不足以为美也，……使目非是无欲见也，使耳非是无欲闻也，使口非是无欲言也，使心非是无欲虑也。及至其致好之也，目好之五色，耳好之五声，口好之五味，心利之有天下。……君子贵其全也。”（《荀子·劝学》）用现代的术语说，君子的德操对于五官接受外部信息来说，要行使过滤器（……非是无欲……）的作用。这个过滤器使得“君子”有别于“小人”。这种说法在西方文献里是很少见到的（见第5节）。
