从系统功能语言学的角度讲，多模态话语分析理论是基于韩礼德（M.A.K.Halliday）的“语言是社会符号”（Language as social semiotic）（Halliday 1978）的论断发展起来的。他说：“语言学是一种符号学，是研究意义的一个方面。……但在任何文化中，在语言之外确实还有许多其他表意方式，包括艺术形式，如绘画、雕刻、音乐、舞蹈等，和其他没有归在艺术中的文化行为方式，如交流方式、衣着方式、家庭结构等。”（Halliday & Hasan 1989：2）既然语言是一种符号系统，那么其他符号系统就和语言一样有表达意义的功能。这样，我们自然就会想到，我们是否也可以像研究语言那样研究其他模态的语法呢？ 罗兰·巴特（Roland Barthes）在《图像的修辞》（The Rhetoric of the Image）（Barthes 1977：32-51）一文中研究了图像的意义和修辞效果。他提出了“图像词汇”概念。他认为，单纯的图像本身意义可以有多种解释，是多义性的，需要找到合适的方法来确定它的意义，其中最主要的手段是附加语言信息。他提出语言信息有两个作用：1）定位（anchorage），把图像流动的多义性固定为确定的意义；2）转述（relay），对已有的图像意义附加解释、说明等。他还认为图像的一系列结构项目之间具有聚合关系和组合关系，但是并没有从语法的角度研究图像和文字的关系。 欧图尔（M.O'Toole 1994）在其《展示艺术的语言》（The Language of Displayed Art）一书中开始尝试研究多模态语法。作者把展览的艺术品当作语言来进行研究。借用系统功能语言学理论中语言体现三种意义的思想，认为展示艺术品也同样实现三种意义：表现意义（representational meaning）、情态意义（modal meaning）和组篇意义（compositional meaning），分别对应于Halliday的概念意义（ideational meaning）、人际意义（interpersonal meaning）和语篇意义（textual meaning）。另外，仿照Halliday对语法单位的级阶划分，他把艺术语篇分为不同的级阶，包括作品（work）、情节（episode）、图形（figure）、成员（member），它们之间是包含与被包含关系。同时，根据不同级阶的艺术语篇单位，他列出了体现不同语篇单位的具体因素，或者称子系统。尽管如此，从多模态理论建构的角度讲，这个分析也存在问题。首先，语篇和语法的关系没有分清楚，他划分的这些不同级阶的单位不清楚是语篇单位，还是语法单位；其次，各个因素的系统特征不明确，即各个因素可以自成系统，但其系统内部有哪些特征，特征之间什么关系还不清楚；再次，他并没有为不同符号系统建立相应的语法系统。 克莱斯和凡·莱文（Kress & van Leeuwen 1996，2006）根据视觉符号如何体现三个元功能，即概念功能（表现功能）（representational）、人际功能（交流功能）（interactional）和语篇功能（组篇功能）（compositional），发展了视觉语法（visual grammar）。他提出了体现表现意义的叙述表现（narrative representation）语法以及概念表现（conceptual representation）语法，类似于语言的及物性系统；体现人际意义的交流语法，包括情态（modality）、视点（angle）、距离（distance）等；和体现语篇意义的组篇语法，包括信息值（information value）、突显（salience）、框界（framing）等。Kress & van Leeuwen（1996，2006）的这一研究具有开创性意义，第一次把语言语法扩展到视觉领域，形成一个语法体系。 颜色作为一个符号模态，也具有自身的语法。从概念功能开始，色彩可以清楚地用来表示具体的人、地点、物，以及人、地、物的分类、更概括的思想等。例如，国旗的颜色表示特定的民族和国家，汽车公司越来越多地使用特定的颜色或配色方案来表示其独特的地位。颜色也用来传达“人际”意义，能使我们实现“颜色行为”。它可以被用来对彼此做事情，例如通过“权力伪装”来打动或恐吓，通过将障碍物和其他危险物涂成橙色来警告人们，甚至用来驯服他人。位于西雅图的海军惩戒中心发现，“适当地应用粉红色，可以在15分钟内使敌对分子和好斗的人放松”（Lacy 1996：89）。最后，颜色也可以在语篇层发挥作用。正如在许多建筑中，门和其他部件颜色不同，这一方面区分了不同的部门，另一方面在这些部门内创造了统一和连贯性，因此颜色也有助于创造语篇的连贯性。例如，在西班牙语教科书Pasos（Martín & Ellis 2001）中，每章的章节标题和页码都由不同的颜色表示，所有章节的标题（Vocabulario en casa，Gramática，etc.）都呈现规律性的变化。 尽管如此，克莱斯和凡，莱文的研究也存在问题。首先，在层次的确定、详尽程度的选择和语法如何用于分析语篇方面都没有说清楚，所以大家批评该研究：1）主要是印象性的（impressionistic），具有主观性；2）对多模态的研究主要是借用语言学的理论和方法，没有建立起自己独立的理论和方法（Jewitt 2009：26）。对于第一个批评，实际上是因为对于语言之外的模态，我们没有为其建立起其词汇语法系统的结果。如果没有一个明确的系统做基础，选择就让人感到是任意的，以感觉为基础的。对于第二个批评，则是从事多模态研究开始阶段的必经之路：由于我们根本没有研究语言之外的其他模态的理论和方法，借用语言学的方法是一个捷径。而且由于它们和语言在实现社会交际目标方面的一致性，从功能的角度研究这些系统也是有理据的。
