新世纪以来，随着多媒体的普及，多模态符号研究逐渐成为我国学术界关注的热点之一，其研究主要集中在第二语言教学和对广告、图像、影视做出语义释解。虽然这些研究取得了不少成绩，但由于对各种感觉活动缺乏深入探讨，简单地将言语范式套用于多模态符号活动，也就不能真正把握不同模态符号的性质和功能特征，更不能把握各类艺术活动的实质，以致影响相关研究的理论深度和语义释解的准确性。 要了解视觉、听觉、触觉等多模态符号的性质，首先必须探讨上述各种感觉的工作机制。其实，人的视觉、听觉、触觉等感官并非如镜子般直接反映外部信息，它更像是计算机，必须把外来信息编码，才能输入和输出。这就是说，人的感官之所以能够感知外部世界，就因为在看、听、触的过程，首先把世界结构化了，凡是不能被结构化的，人就不可能把它纳入己身，也就无法看到、听到和触及，它们就会被排除于感觉阈限之外。这也就意味着：人的所有感知的背后必然存在着发挥结构作用的符号中介，而最原初、最基本的符号中介就是行为语言和言语行为。①人不仅依赖这两种行为(语言)来交流，而且依赖这两种行为(语言)的结构作用来感受世界、建构心灵和塑造身体，依赖它们来思维和行动。事实上，就因为这两种行为(语言)能将世界和心灵结构化，人与人之间才可以相互交流。这又提示我们，要深入了解多模态符号活动，以及各种艺术活动，就必须首先探讨这两种行为(语言)，即行为语言和言语行为。 行为语言，包括动作、姿态、表情、声音(音调、韵律、节奏等)，②在人类之前就已经存在，是生物体在不断重复和模仿的行为过程中，把行为结构化，由此形成群体共享的意义。因而，行为语言即“结构化的行为”，它以“身体信息”为存在方式。言语行为则是在行为语言的基础上概括、抽象而分蘖出来的，是对行为语言获取的原初经验的凝聚、提炼、整理和提升，这是一个“概念化”过程，它以“概念/音响/形象”为存在方式，并因此具有相对独立性。唯有人类才能独享言语行为，人类就同时拥有两种行为(语言)，即行为语言和言语行为，由此赢得区别于其他生物体的根本特性。 是否具有概念性和相对独立性，决定着行为语言与言语行为的根本差异。行为语言作为结构化的行为，它仍然牢牢地扎根于人的身体，是身体操演，不能离开人的身体而独立，在身体与行为之间没有确定的边界。克里斯蒂娃曾谈到肢体语言的“前在性”，她认为：“这种前在性不是相对于某种声音(所指—能指)的一种概念的前在性，而是相对于意识、思想的某种展示、指示、动作指示的前在性。在符号(这种前在性是空间的而非时间的)和任何意指问题(以及表意结构)之前，人们能够想到某种指示实践，某种肢体动作，它不是为了表意，而是为了把‘主体’、‘客体’和实践囊括在同一空间里(没有义与词、所指与能指的二元对立)，我们不妨说囊括在同一符号文本中。”③与此不同，言语行为的概念化过程则是与人的身体相抽离的过程，它因此获得了相对独立性。言语行为虽然无法最终离开人，仍然维持着具身性，但是，它毕竟完全不同于行为语言，总是超越人而享有相对独立性。正是这种因概念化而获得的相对独立性，致使言语行为跟行为语言发生了分裂，跟行为语言的性质、施行方式和功能特征发生了分裂。 一方面，人以自己的行为关联世界，以行为语言的结构把世界结构化并纳入己身，以此来把握世界，并且其把握方式是整体性的；另一方面，言语行为也以自身的结构来重塑世界，进而认知世界，其施行方式是具有意向性的。由于行为语言缺乏独立性，它固然可以通过把世界结构化来把握世界，却不能把世界与人区分开来，不能建构一个独立的“对象世界”，世界与人之间仍然是浑然一体的。人是通过行为语言把世界与自己相互关联并融合一体的，世界也因此获得了人性和情感性。人的直觉、移情和体验能力就建立在行为语言的基础上。同样，生物体也是以这种方式来感知世界，所以马克思说，对于动物来说，世界只是它的生命的自然延伸。言语行为则不然，它以其相对独立性和差异性把世界建构为与人相分离的独立世界，建构为人的“对象世界”，在把人与世界相区分的同时，也把万物相区分，让一个千姿百态的世界展现在人的面前。 按照现象学的观点，人的意识总是关于对象的意识。因此，当人运用言语行为构建对象世界之际，也就同时构建了自己的意识。实际上，言语行为、人类意识、对象世界这三者是同步构建的，自此，世界第一次以“对象”的方式明晰地显现了。正因如此，几乎所有民族的神话都赋予言语行为以创世功能。与此相反，行为语言因不能构建人的对象世界，也就无法构建人的意识，从而只能构建无意识。④这也是动物只具有本能的原因。 由于言语行为以行为语言为基础，它势必与行为语言相关联，双方是相互协作的。譬如在我们谈话或演讲时，言说者所关注的是说话内容，他的意识专注于言语行为，而行为语言(包括面部表情、手势动作、身体姿态)则处在无意识状态，然而，这却构成话语交流不可或缺的语境，两种行为(语言)相互协作、相互阐释、密切配合，共同达成意义交流。设想在交谈时，我们只使用言语行为，一种概念化的言语运作，排除所有的行为语言，如手势、姿态、表情、腔调等，交谈就会变得极其僵硬，以至无法继续。或者我们刻意关注自己的行为语言，有意识操控行为语言，往往也反而显得忸怩作态、过于做作。对行为语言的省思和有意干预，恰恰极容易妨碍行为语言的自然流露。但是，言语行为与行为语言之间所存在的根本性差异，言语行为与身体相对分离，以及语言概念的离散性和语言组织的线性、逻辑性，则注定它无法穷尽行为语言的意义，无法取代与身体没有明确边界的行为语言，这就是我们经常遭遇言不尽意、词不达意的困窘的缘由。两种行为(语言)的不同特性必然决定着双方既相互沟通又不能通约的复杂关系。
