事实上，多模态指的是在给定的语境中两种及两种以上不同模态（譬如书面语、口语、图像等等）的共存现象（Gibbons，2012：8）。多模态视角的研究认为多模态文本中的所有模态都会参与意义的构建。虽然语言分析是多模态文本研究的重点，但是语言信息总是镶嵌在更大的多模态语境中，并在这种多模态关系中被理解（Jewitt，2009a：2）。在所有关于交流沟通的领域包括翻译领域，对多模态问题的关注越来越多，毕竟如今大部分翻译文本属于多模态性质（Hirvonen & Tiittula，2010：1）。因此，近年来翻译研究者努力使传统的、以语言为中心的翻译学科适应这种挑战（如O'Sullivan，2013：6；Kaindl，2013：266）。 翻译研究已经迈出了研究多模态文本的第一步。Kaindl（2004）关于传达漫画文本幽默感可能采用的翻译方法的探索，可视为插图文本翻译方面的开创性研究。Oittinen（如1990，2000，2008）基于对语言信息和非语言信息的考虑，在其著作里讨论了图画书的翻译方法。前人关于插图技术文本的研究主要集中在图片选择的适切性和翻译过程中对图片信息进行调整的必要性两个方面，下文会对此加以详细介绍。对插图技术文本的翻译作进一步的深入研究很有必要：第一，科技翻译是翻译领域的重要部分，占了整个翻译市场很大的份额（Byrne，2012：6）。第二，不同类型的图片是科技文献的一个重要特点（Byrne，2012：26，54；Tercedor，et al.，2009：143）。在进一步研究之前我们需要一个基于认知视角的理论框架。 本文旨在探索插图技术文本翻译的认知意义。多模态作为一种研究对象自然可以从不同视角进行研究。本文是基于认知视角的研究，即从不同模态意义获取的认知过程考察多模态的意义构建。本文的前提是：当读者阅读插图文本时，读者既要处理语言信息也要处理视觉信息（文字和插图），基于这两种信息读者才能理解多模态文本的意义。不同的插图文本研究已经证明了该观点，从儿童的图画书到技术文本（当然，相应的读者从小学生到接受过教育的成年人），所采用的研究方法包括读者采访法（Connors，2013；Youngs & Serafini，2013）、阅读理解测试法（Mayer，2002；Schnotz，2005）、视线跟踪法（Hegarty & Just，1993）。因为插图文本的译者首先是作为读者，因此本文认为关于读者的这些理论同样适用于译者。本文认为译者的翻译方法或策略是在语言信息和视觉信息共同作用下作出的选择。这反过来说明插图会影响语言信息的翻译。 本文尝试性地探讨插图文本（尤其是插图技术文本）翻译过程中原文的阅读理解所涉及的认知过程，从而为这些假设提供了一个基本的理论框架。通过介绍两种不同的多媒体学习模型，即多媒体学习的认知理论，简称CTML（Mayer，2002，2005）和文本插图整合理论，简称ITPC（Schnotz，2005；Schnotz and Kurschner，2008）实现了这一论证过程。这两种模型是教育心理学领域的研究成果，它们描述了插图文本理解所涉及的认知过程。这两种模型的基础都是将人类认知视为信息处理的过程，因此和大部分翻译认知研究的理论框架相符合（O'Brien，2010：2）。这两种模型是在大量理论研究和实证研究的基础上建立起来的，因此对翻译研究有很大的贡献，也有助于我们理解视觉模态如何影响我们的翻译行为。 本文有两个目的：首先，本文试图为翻译的多模态研究建立一个理论基础，并扩展翻译学科的研究范围，使其将图片也作为文本翻译的研究对象之一。其次，本文构建起来的框架清楚地阐述了对未来研究的启示及意义，因此本文试图引起人们对过去被忽视问题的研究的重视，鼓励其他研究者进一步探讨、分析，以便对这一初步成果加以完善。本文将首先介绍前人对插图技术文本翻译所做的研究及其成果，讨论翻译作为一种认知活动的具体内容。接着论述在以往的多模态研究中图片信息的理解方式以及多模态文本意义构建被概念化的过程。然后通过批判性地检验和比较多媒体学习的认知模型，探讨读者如何理解插图文本。最后，本文将解释译者如何根据两种不同模态理解插图文本的意义，并且提出了新的实证探索方法。 1.技术和认知翻译研究现状 Franco Aixela（2004：32）对技术文本的定义为“任何包含某一专业领域或学术领域术语的文本或文本类型”。Byrne（2012：26-28）从文本功能的角度描述了这一文本类型，即包括所有帮助某一特定用户理解某事或如何做某事的任务型文本。讨论插图技术文本时，本文集中于信息型和指示型文本。这里的指示型文本指的是：解释某物如何运作，并且包括为文字内容所配的图片，比如物理课本的使用指南就属于这类文本。诸如技术数据表、专家技术报告、合格证等之类的指示型文本不在本研究的关注范围之内。所以本文使用的是Byrne对技术文本所下的定义，当然也不能否定Franco Aixela的观点，即专业性很强的术语也是技术文献一个重要的特点（Byrne，2012：51）。
