多模态话语研究从其诞生之日起（O' Toole 1994/2011：1-31；Kress & van Leeuwen 1996/2020：17）至今已有近三十年的时间。在这个过程中，新的问题不断出现，其中一个重要问题就是：多模态话语的建构既涉及由不同模态（mode，modality）或不同类型的符号（types of sign or semiotic systems）体现，也涉及由物质材料（physical materials）和媒介（medium）体现。也就是说，多模态话语建构需要选择不同类型的符号，所选符号的意义不仅由符号的形式体现，同时也由符号的物质材料和媒介体现。这就需探讨所选符号或符号组合在体现整体话语中具有什么意义特征，它们如何相互协同和配合，以及它们如何在符号系统中生存。这几个方面都涉及对符号的供用特征（affordances）的研究，也涉及对符号不同层次的特征对模态整体意义的贡献研究。 二、符号意义构成研究 首先，一个符号或模态所携带的意义就是它特定的潜在意义，或称“意义潜势”，可以适用于各种不同的语境，并在不同的语境中产生不同的结果。“一旦确定某个物理活动或者某个物体是一个符号资源，我们就可以描述它的符号潜势，即它创造意义的潜势”（van Leeuwen 2005：5）。符号的这种意义潜势首先是由心理学家吉普逊（Gibson 1979/2015：94）提出来的，指“某个物体的潜在用途”，称为“供用特征”（affordances）。实际上，吉普逊用“供用特征”这个概念来探讨任何物体，包括环境、动物、人等的用途、功能、价值，如斧头的供用特征是可用它砍断东西。见到斧头，就好像它在说，“快用我砍东西”。但它的价值是相对固定的，不会受情感、态度、观点等的影响。这样，斧头的供用特征就确定为“砍东西用的工具”。一个物体的供用特征是由它本身的特性决定的。吉普逊是从生态物理学的角度定义供用特征的，所以这个定义突出了符号的实用意义和价值。 供用特征与韩礼德（Halliday）的意义潜势相似，指语言的能指——词和句子——具有指称潜势，而不是实际意义，需要在社会语境的交际实践中来实现。但吉普逊的供用特征的问题是：它聚焦研究物体的所有价值、功能、意义，但却没有把它符号化，所以，它没有一个代表这个符号的整体意义。例如，在物体由图像或文字表现时，就不清楚应该如何描述它们的供用特征。例如，斧头的供用特征是“砍断任何物体”，但“斧头”还可以作为一个符号来代表“劳动人民”，表示“勤劳”“粗犷”“豪迈”等，例如，惠特曼（Walt Wittman）在其《草叶集》（Leaves of Grass）中对斧头的描述，而实物“斧头”却没有这些延伸或隐喻化的意义。另外，“意义潜势”主要指已经引入社会交际中的意义，而供用特征还包括潜存于物体中，没有被发现的，有待于将来去发现的意义（van Leeuwen 2005：5）。据此，两者之间存在互补性，我们需要继续探讨某个媒介在社会化、符号化以后，它的供用特征到底包括哪些意义；我们是否还有必要继续探讨物质材料和媒介所携带的意义。 语言学家认为，意义是通过词汇、语法体现的，更低层次的媒介和实体特征不直接体现意义；因此，就有了语言的“双层组构性”（double aurticulation）（Lyons 1977：71-72）或任意性特征（Saussure 1959：67）。但克莱斯和凡·莱文（Kress & van Leeuwen 2001：111）认为，交际实践可以在多个层次上进行，不仅可以进行话语实践，还可以进行设计实践、生产实践和分布实践。每个这样的层次都可以对意义构建做出贡献。话语实践指构建话语意义的过程；设计实践是通过模态选择的设计来体现意义的过程；生产实践是组织表达的过程，即通过媒介实现表达的过程；分布实践是使交际实践现实化的过程，涉及话语的传播和记录等（张德禄2012）。在任何非语言模态中，所有体现意义的符号及其组合也都可以对话语意义构建做出贡献。在任何文化中，当某个物质资源被引入交际过程中时，它就成为该文化的符号资源，成为构建意义的符号。根据他们（Kress & van Leeuwen 2001：111）的观点，在多模态话语意义建构中，不仅要探讨模态符号的词汇、语法如何体现意义，还要看符号的媒介、物质材料如何对意义构建做出贡献。然后，还需要进一步研究符号不同层次的特征如何作用于话语整体意义。 麦提逊和喀什亚普（Matthiessen & Kashyap 2014）在研究如何表现空间时提出，空间可以通过四个层次的现象域（phenomenal realms）表现出来：1）物理系统，即自然界及其万物；2）生物系统，即物理系统+生命，指具有自我再生、个体性，可通过基因记忆进化的物体；3）社会系统，即物理系统+生命+价值，指能在不同的社会网络中扮演一定角色，根据不同的角色有不同的社会分工的生物；4）符号系统，即物理系统+生命+价值+意义，指能在社会交际中扮演话语角色的意义表达者，能创造和交流意义。空间本身是物理系统的实体成分，在生命系统中能通过感觉系统经历和感知，并进入生物的神经系统中，指导生物在空间中的活动。在社会系统中，空间被赋予价值，转换为社会结构成分，如近距离表示亲密等。在符号系统中，空间被赋予意义，交际者的空间经历可以转换为可交流的空间模式，并可延伸到其他领域。它们之间的关系可由图1表示：
