2004年，原洛阳外国语大学王铭玉教授的《语言符号学》一书问世，我在序言中肯定了索绪尔明确指出语言学是符号学的一个分支后，接着说了这么一段话：
如今，我们一方面认识到语言是全部符号事实中的一个特殊系统，对语言学的研究推动了对符号学的研究。对符号学的认识加深了我们对语言的认识。另一方面又开拓了我们对其他符号系统的研究。这就是说，符号学有广阔的目标，它的理论旨在探索意义的生成。任何意义，不仅是书面语的意义，诸如视觉、听觉、嗅觉、味觉、触觉，以至抽象的模型、结构、主体意识都应纳入它的视线之内。
本文就这个话题，谈谈自己的认识。
1． 从普通符号学到社会符号学
索绪尔对语言符号学的建立和对普通符号学的展望（Saussure，1974）有其不可磨灭的贡献，但他的有些观点，如关于语言单位和结构是语言系统固有的特性，不受制于外部影响；在语音和意义之间没有必要的联系；意义不是通过与外部现实的关系，而是通过该符号与其它符号之间的关系来界定，在符号学研究者中有不同反响。（Saussure， 1974； Fiske，1982；Beaugrande，1991；Guske， 1998），
代表英美传统的皮尔斯发展了符号范畴，如图标，索引，和语符。他论述的媒介、对象、解释三位一体的三角关系是奥格登和理查兹的语义三角的理论基础。值得注意的是”解释”这个概念的出现, 意味着他对人作为解释者,作为主体作用的确认，但由于皮尔斯从哲学上关注逻辑和意义的关系，强调作为个体的人，忽视了作为社会成员的人，因此仍不能摆脱形式主义的研究方法。 (Martin and Ringham, 2000; 王铭玉，2004：122)
这样，虽然索绪尔曾经观察到“语言是社会事实”，日后对此作出详细解释的是韩礼德的“语言是社会符号”的理论。即“要在社会语境中解释语言，在此过程中文化本身用符号学术语来说，被解释为一个信息系统。” “人们在他们日常的语言交换过程中，实现社会结构，肯定自己的地位和角色，建立和传递共享的价值系统和知识系统。”这就是说，语言既表达意义，也积极将社会结构和系统符号化。语言的这种双重功能使意义的表达方式多种多样，“从后院的闲言碎语到叙述体小说到史诗般的诗歌。” （Halliday，1978）
由此产生的社会符号学反对把符号作为第一性，反对过分强调用形式主义的方法研究符号系统。反之，社会符号学优先研究的是把指称行为作为实例，并把社会的指称实践作为经常的、可重复的、可识辨的类型。它认为社会有意义的行动构成各种文化（社会符号系统），文化就是相互连接的对社会具有意义的实践系统。我们依赖这种系统使这些实践和其它实践具有意义，不仅仅是通过清晰的信息传递，也通过所有形式的对社会有意义的活动（说话，画图，衣着，烹调，建筑，打架等）。符号系统是对这些实践的抽象（如从言语得到语言符号），这种变化是社会实践的变化。（Lemke，2005）正是这种变化是意义得以产生的过程，即“符号化”（semiosis），这比单纯研究符号间意义关系的系统更为基本，后者只是在产生意义时可资利用的资源潜势。正如Lemke所言，社会符号学调查的是特定于某一文化某一社团的符号实践， 可以在各种情景语境和文化上有意义活动的语境中产生各种语篇和意义。因此，社会符号学没有必要区分理论符号学和应用符号学，它与话语分析、多媒体分析、教育研究、文化人类学，政治社会学有更紧密的关系。再者，它也回答了索绪尔符号学所难以摆脱的一个悖论：这个理论一方面把语言看作是静态的不变的，另一方面又不得不承认“所指的变化导致概念的变化”，“思想可能被迫接受符号的物质状态给它提供的特殊方式。”这说明语言结构底层的常规是不固定的，而是受到实际言语的影响。（Beaugrande， 1991：2-27）
2．多模态化和多媒体化
在讨论“多模态化”（multimodality）和多媒体化（multimediality）之前，有必要澄清一些词义的区别。
首先，本文讨论的modality 的意义源自 mode（方式，模式，模态，型），它不同于英语语法中的modality（情态），后者与 modal verb（情态动词）中的modal（情态的）更为接近，虽然model 与mode 在词源上还是有联系的。
其次，我们要区分mode 和medium（媒介，媒体）的不同。两者都是历史和文化的产物。模态是可对比和对立的符号系统，媒体是符号分布印迹的物质手段，如产生语篇采用印刷的或手写的手段，说话时发出的声音，身体的动作，或计算机显示器上的光脉冲。（Scollon and Levine 2004）举例说，我们感受客观世界的视觉、听觉、触觉、味觉、嗅觉是不同的感知模式，但眼、耳、手、舌、鼻则是媒体。再具体说，写文章、唱歌、跳舞是采用符号表达情感的模式。但我们用以写字的纸和墨，歌舞演出时的道具，教室中的黑板和白板，以至扩音器、录音机、电视机、录象机、投射仪、计算机则是媒体。这样，模式是用某种媒体表达信息的特殊方式。媒体是表达信息的物理工具。口语是用声音媒介表达的一种方式，而书面语和面部表情是用光线或图表进行表达的模式。显然，采用某一种媒体仍可以有不同方法表达信息。如采用嘴唇活动或笔录的形式，口语可以由光线/图表的媒介来表达。同理，同样的模式可以用不同媒体表达。在人--人--系统的互动中，一种模态可以作为输入模式（从人到系统或其他人）或作为输出模式（从系统到人，或到另一系统），或两者皆可。
Kress （2001）报道教室中的多模态信息传递有三个理论基础：首先， 物质的媒体经过社会长时间的塑造，成为意义产生的资源，可表达不同社团所要求的意义，这就成了模态。所有模态具有表达意义的潜势。非社团成员不能全部懂得这些意义，因为模态和意义具有社会的和文化的特殊性。其次，作为言语的语言模态和作为书面语的语言模态，以及其他模态往往是交织在一起的，在信息传递语境下它们同时存在同时操作。这种互动本身就产生意义。使用者经常对表达和信息传递的模态加以改变，以适应社会的信息传递需要，这样，已有的模态被改造，新模态被创造。 Kress （2001）认为韩礼德1978年关于信息传递的社会符号学理论推动了多模态表达的研究。.
多模态表达可以分解为同时表达意义的两个或两个以上的单模态。（Bernsen, N. O.， 2002）Halsonova（1999）指出，我们每天在报纸、杂志、广告、招贴画、故事书、教科书、活页文选、百科全书、说明书、计算机界面，甚至在我们相互交往时都离不开多模态。例如，我们谈话时手舞足蹈，有声有色，意味着使用了多模态。我们的国画往往配有诗文和印章也是如此。现在，许多学科都在研究多模态化这个课题，如（社会）符号学、语篇语言学、界面设计、人机对话等。 Halsonova把多模态化分析研究的不同方法分为七个视角：（1）研究不同模态之间的差异性是强调各模式有各自内在的优劣，因此不同的模态宜用于表达不同的信息类型。（2）根据不同模态之间的相似性，重点研究不同模态的相似方面。例如，在分析语言和图画时，采用同样的分析范畴。这种观点认为图画和其他视觉成分与语言一样，也具有符号的语法。（3）根据不同模态之间的相互作用研究各模态是否有主次？是否彼此互补？是否其中一个模态可以加强其它模态提供的信息？是减少其他模态的信息还是增加信息？（4）对不同范态如何可以实现形式化？（5）对不同模态及其相互作用的感知，如有的研究使用眼跟踪器（eye-trackers）和词句协议（verbal protocols）。（6）对会话模态的复制，这方面的研究强调多模态产品的应用不是以感知作为终结。从一个多模态成果获得的信息可以在另一个信递场合重建和讨论。如果在传递过程中信息打包维持原样或发生变化都是值得注意的现象。（7）多模态的互动，它包括我们作为个体与他人互动时或采用多模态系统时，使用言语、手势、体语、面部表情，接近或凝视的情景。这时，我们不妨提问：何处何时对这些方法加以整合？这些方式是互补的还是重复的？这些方法是同时出现的，还是有次序的？ 以上1-4项趋向于研究现有产品的多模态化，5-7项关注的是这些产品的应用价值。总的来说，在今后研究中，多模态的感知，多模态化的复制，和多模态化的互动将受到特别重视。
模态和媒体的关系归根结底是话语和技术的关系，两者存在着内在的联系。哲学家尼采曾说过：“我们的写作工具对我们的思想也起作用。”（Scollon and Levine， 2004）我们今天所谈的语篇分析在许多方面是技术变化的产物。新的传播技术有双重影响。一个影响我们如何采集语料，如笔录和分析语篇资料，另一个更重要的影响是对互动和语篇本身的影响。例如，六十年代后盒式录音机的出现使捕捉瞬息即逝的正在使用的语言成为可能。如今信递技术的蔓延从巴掌大的数字录象机到手机和网上的谈话室。杂志已可在网上阅读。
Scollon 和 Levine （2004）认为我们要研究话语和技术的关系以及多模态话语分析，因为任何话语具有多模态的固有特性。对这个问题的研究可以更全面地了解人类的信息传递。何况新的话语形式不时产生，如互联网和聊天室。教育话语正在从传统的教师-学生-教科书的媒介模型转变至更为复杂的形式，有赖于软件设计师，连教师自己也成了这些新话语形式的开发者。第二，这有助于发展话语的新形式。对以互联网为基础或中心的话语的分析将远远超过由互联网为中介的互动过程。如有人利用诸如“屏幕电影”的网络软件处理非常复杂的一系列社会互动过程。第三，为了研究多模式现象的社会活动。利用非常方便的录象材料可以研究各种社会互动过程，在这些过程中，有时讲话很少，但有众多的不时变化的参与者结构和认同。单靠某一模态很难完成。第四，要研究教育性的社会互动过程中的多模态话语分析，因为许多学术性研究工作人员自己也在教育单位工作。他们进行分析时可不受时间的限制。早期的电影研究只能依赖几分钟长的片段，录象带的资料可达60分种。现在的技术和软件可对整个学年的种种事件进行比较，能更好地了解一个周期的节奏。第五，多模态语篇分析可应用于分析工作场所的话语，尽管任务，人员结构，和日常生活场所有很大不同。员工或同组工作或交接班的社会活动过程是在纷繁复杂的工具、物品和技术条件下进行的，从工作任务简单到垃圾箱、清洁工、废料清理，应有尽有。已有的研究表明，利用录象机和资料提取的新技术发展了新的研究领域，不仅仅是像过去那样分析仅以对话为中心的语类。
3. 计算机符号学
采用语符学研究方法的 Andersen 在1990年提出计算机符号学的理论。他认为这个理论可以对人机对话的问题获得系统的了解，也可发展对设计计算机系统的初步的指导方针。他对计算机符号学的定义为：“符号学的一个分支，研究基于计算机的符号的特殊性质以及它们在使用中如何作用。”与计算科学的通行的方法比较， Andersen 把计算机系统视为在某些语境下为特殊信递功能服务。在这方面，计算机符号学可以支持计算机发展的现行模式，现在主要设计以使用者为导向的界面。一个设计得好的界面应当减低计算机系统的复杂性，不产生新的不透明性，用户能利用这个系统但不必被迫处理与实际工作任务无关的问题。
一般人同意把计算机看作是技术，是工具，是媒体的看法。它与电影、电视、电话、书籍、漫画书、卡通等相同，它是传递信息、会话、请求、娱乐、教育、表达情感等的媒体。但Andersen 等人(1993) 认为计算机不是一般的工具或机器，它是非常灵活的多形态的媒体。它可以同时完成多种媒体的功能，如电子邮件系统、文字处理器、数据库、高级设计工具、涂料箱、计算器、电子书、游戏机等。按照这个观点，计算机基本上是传送者向接受者传递信息的媒体。但我们关注的是为某人代表某事的那些信号。从符号学角度看，基于计算机技术的一些特征值得研究，同时，符号学也成为研究计算机的最理想的科学方法。我们知道，计算机可以描写为根据一套操作规则处理数据，从而生成新的数据。但是所产生的数据是被作为信息阅读的，即根据社会规约被解读为指称某些事物，是被作为符号阅读的。因此，计算机系统也是产生符号的机器，也是符号系统，也是符号技术。正是这样，这应当是符号学关心的中心问题。基于计算机的符号的特征不同于所有其他任何已知符号。因此，有必要对计算机进行符号学研究。
为什么要如此提出这个问题呢？符号学传统上有三个研究领域：（1）符号本身，包括不同的符号类型和构建与传递意义的不同方法；（2）组织符号的系统的信码，包括信息递送，符号的编码和解码；（3）利用符号的文化。为此，Andersen 等人提出应当
由此我们可以看到，人文科学一般着重于把计算机看作物体，很少注意它的表达方面。但Anderson等人根据新的视角，考虑到所有三个方面，特别着重计算机的符号表达方面。
相比之下，Kress（2004）更强调人的因素。把计算机作为符号系统进行符号学分析主要指研究计算机系统和人的使用之间的关系。在这个意义上，计算机符号学分析符号的结构和功能，它们在人和计算机之间的信息传递的介入。通过分析人机互动，计算机符号学可为系统设计有规律地发现信递标准。因此计算机科学家也正在日益注意分析信息传递；设计既简单又友善的界面必须考虑硬件和软件的内部制约，也包括人机互动的制约。
4．符号资源
符号系统实际上是符号资源(semiotic resource)系统，通过在可识别的，多半是习惯性的（有时是原创的）方法采用这些资源，人们从而得以进行有意义的活动。（Lemke, 1993）这里所谓习惯性的方法指可确认为符号的构造（semiotic formations），是一个社团中的成员同时采用一些符号资源形成的经常的、可重复的、可识别的、有意义的、文化的，和历史的特殊类型。如某一时期的文学语类是符号构造。同样，建筑风格、房子类型、宗教仪式、特定节日、饮食、衣着的特定样式。这些构造都可以定义为可行动的有规律的范式，对社会是有意义实践的范式。
根据Lemke（1993）的介绍，话语构造是就语言资源而说的，社会符号构造则指包括语言在内的其他符号表达的社会意义。如讲话时的姿势，写作时的图形等。特定的语言学的语义或语法资源是语域，如特定的天气预报。除文学语类、非文学语类外，也可有不使用语言的单纯倚赖行动的语类（action genre）。我们自己文化的思想意识将符号资源的概念方面与真实的、自然的、普遍的、不突然变化的、绝对的事物结合起来。因此，符号资源是文化意义的潜势，能独立地将“社会文化”和“自然”结合起来，既可以“使其成为某种结果”（行动），也可以是“告诉人这是什么”（“表达”，“知识”）。与我们文化的意识形态不同的是，对符号资源的分析表明，“自然的”如同社会的一样，是“常规的”，“真实的”与动作的结果一样，是“文化的”。我们同时进行社会的和自然的活动，实际上这不是两件事，而是一件事。“自然的”具有一个文化所有的特性，对观察者来说是可变的、相对的；就符号学来说，历史的，自然的东西是衍生自文化的事物。
Kress（2001）对此所持的立场是所有的模态（视觉的，姿态的，动作的），像语言一样，在社会使用过程中形成社会资源的模态。这里可以将韩礼德的语言是社会符号的理论扩展至其他模态中，也就是说，所有模态发展成产生意义的互相连接的可供选择的网络。当符号制造者在这些意义网络中进行选择，可视作符号制造者为了表达他/她在已知语境下想表达的意义所作决策的轨迹。这个轨迹就是符号制造者的兴趣所在。(Halliday, 1985; Kress, 1997)。
Thibault （2004）对符号资源的研究比较具体。他从身体动力学的研究区分动态的和静态的：（1）动态的研究指面对面的互动和使用录象机；2）静态的表达媒体，如文字+图片。传统上对笔录和口语的模态强调语言方面，而把其他资源，如姿势、语音音律、注视、动作等看作是“副语言的”，不把这些看作是能与语言同时作用的完整的符号资源。
Baldry （2000）提出对每种符号资源所作的选择同时实现系统功能语言学的三大元功能，并整合其意义。在动态语篇如录象中，过去的问题是如何追踪各阶段的过渡，这要在时间过程中从不同符号资源中作突出哪一模态的选择。现在由于技术的发展这个问题可以处理了，我们可以作复杂的多模态化分析。他所研究的多模态化语类中的互动性符号资源有经济类语篇、动态和静态科学语篇、儿童故事、教育语料库、互联网、CNN 新闻广播、广告、卡通等。这种技术的使用在各种教育语境中也有应用，如超文本讲授诗歌或科技语篇、远程教育中动态编写系统的发展、供非本族语者学习英语的软件、语篇分析和翻译的软件、语言教师在线提取信息、语言分析和语言教学中语料库的使用等。
5. 多模态符号的设计
制造语篇和识读语篇的过程都是设计的过程，这个过程是对从书写和书本统治时代沿袭下来的社会和符号的安排。书本和他的页面曾经是写作的场所，写作的逻辑曾经塑造页面的顺序和书本。现在这一局面被新的图象和屏幕超过了。当今占统治地位的媒体是屏幕，不管是游戏机、移动电话，个人电脑，或者电视和录象。因此现在屏幕的逻辑正在塑造新的顺序和对屏幕的安排。虽然文字写作可以出现在屏幕上，但它从属于图象的逻辑，如同过去图象可出现于书本上，但从属与文字写作的逻辑。因此图象的逻辑将越来越塑造写作的出现和用途，这一过程已在公众信息传递的事例中出现。过去，作者的形象和写作的方式占统治地位；在新的安排中，设计者和图象的模式占统治地位。（Kress, 2004）
Kress（2004）重视设计者的作用。 所有符号资源都具有社会意义，属于特定文化。它们表示意义的潜力被设计者经过思考的动作而被选择。多模态符号（词语、文字、信件、色彩、字体）的复杂信息反映了设计者的兴趣。设计者根据符号特殊的修辞目的，用尽各种招式来劝诱那些有机遇接触该信息的人们。页面/网址的设计者不再是权威性语篇的“作者”，但他是材料的提供者，按照想象中读者的所谓特点进行安排。设计者的力量是将材料集中，加工为访问者可提取的“信息”。安排方式要考虑访问者的兴趣。对访问者来说，“信息是个体选择的材料，经他们转换，成为可以解决有生世界问题的知识”。设计是在一定语境下进行的。在多模态信息传递中，关键是选择和相应的设计。如果表达和塑造信息时有多种方法，有待回答的问题是：就要传递的内容或意义来说，哪一种模态最好？哪一种模态在塑造所传播信息时最能符合设计者的兴趣？设计者的听众或他自己最喜爱哪一种媒体？在选择某个媒体或模态而不是其它时，设计者对自己的定位？所有这些都需要作出决择，依靠设计者传递信息时对环境的估计，如广告、香水、饮料等。
根据新伦敦小组（New London Group）的观点，任何制造意义的过程基本上都是设计行为。一般有三个部分：第一，信递行为，我们根据“可资利用的设计”，择取某些符号资源和常规，如话语形式、语类和方言。第二，设计过程，这包括将符号资源转变成自己的声音，将老材料作新用途等。根据这一点，读和听，写和说是进行设计的实例，因为每个人都可利用可资利用的设计来产生意义，根据各自的兴趣和个人经验，将所读到和和听到的材料转化成意义。第三，进行“重新设计”：由设计过程产生的资源或重新产生的意义，又可成为一种新的可资利用的设计，具有制造意义潜力的新的资源。这样，设计的观点不仅应用于原创性活动，更应当看作是日常经验的核心部分，因而这是教育过程中应当强调的重要成分。（Williamson, 2005）
6．连贯
在设计互动中的多模态符号表达时，要考虑每一个模态如何被用来与其他模态一起产生意义。这个过程包括对每个模态的意义功能作进一步的观察和比较，方式是与共现的模态一起审视。Kress （2001）结合课堂的环境谈到三种做法: (1) 不同符号工具在教室内的作用:教师采用了什么样的课件，老师和学生与这些课件的互动。(2) 模态彼此之间的关系: 通过共现的模态，并在上课过程中对模态的观察，认定模式的重复，再解释，和转换。通过对出现情况的比较，认定人们的习惯性行。这些行为在特定时间、特定语境下发生，并有确定的功能。（3）模态之间的表达和信递的矛盾，如说的和做的矛盾。为什么在上课时的某一点上会引入动作？为什么它会促使教师和学生这么做？
应该说，最初教师的言语是突出的模态，它载有信息的中心意义。教师通过言语的方式或视觉的方式确定讨论的问题，决定是否要进行解释的必要。与言语同时出现的意象和动作体现了正在讲授的内容（如血液的连续循环活动和心脏的收缩）。教师的言语，结合他的动作和意象的使用，建立了循环的纲领式解释。
教师的身体，在白板上的图象，和模型之间的过度起到中介的作用。他的身体与图象重叠，他的模型与他的身体重叠。这样，言语，姿势和模态得到充分整合。教师的言语提供解释，他的姿势指明参与者，表示动作，突出言语的内容。模型提供对身体的分析性表达，作为讨论的具体部位，以及身体的部分和整体的关系。最后，教科书中的图象提供更为详细的表达，对所有讲解过的内容做视觉的归纳。
不同的符号模态一起活动，通过一系列的语篇特征形成连贯的语篇。教师利用各种模态做相似性和对比性的比较：图象的或实际的，内部的或外部的，观点与实物。通过言语的、视觉的，和姿势的描述的重复，在各模态之间实现了连贯。
连贯是由话语的参与者给予的。它具有统一的和有意义的性质。因此，话语分析是给语言片段以统一和意义的特性的问题寻早答案。话语分析就是探索连贯。我们既依靠语言形式（词汇和句法），和语篇的表面衔接, 但最终是参与者给语篇以意义和统一。
7 . 多模态识读
多模态识读（Multiliteracy）指具有能阅读所能接触到的各种媒体和模态的信息，并能循此产生相应的材料，如阅读互联网或互动的多媒体。传统的以读写为主的识读能力在多媒体时代已不够用。其次，教育中的多模态化来自教室中不断增加使用的多种媒体，如图象操作软件、电子音乐、科学模拟、存在于计算机上的虚拟剧场等。多模态化和多元符号学试图给这些信递形式理论化，鉴别各种图象、词语和动作的模态如何互相倚赖，以产生整体意义。（Williamson, 2005） 重要的是有时一种模态需要倚赖其他模态来完成信递行为，如没有口述的词语说明，图表会一无意义；没有模型课件，教师用手做的节奏性动作也就没有意义，因而每一种模态，作为符号资源，对所做的表达都有贡献。学生的任务是将教师的的各模式和符号资源转变为理解。
Spiliotopoulos（2005）对多模态识读有更宽广的视野，它指人们能从多种信息传递和信息网络理解各种模态的语篇，能发展批评性思维的技能，能与他人合作并帮助他们发展跨文化意识。已做的定性研究表明，在线互动可协助学生改进他们的写作和批判性思维技能，提高他们的跨文化意识。（Spiliotopoulos，2005；Algren，2005）
从现有材料看，多模态识读能力是多层次的。它包括:
（1） 参与者能够在信息环境中适当地工作。解决网络环境下出项的常见问题。
（2） （2）通过使用信息技术，参与者能够检索所寻找的材料，完成与信息技术有关的各项任务，利用技术工具进行阅读和写作各种信息的共生形式（如打印物、图片、照片、录象、音响效果、音乐等），因为这些模态都是在计算机屏幕上用数字方法表达，而不是传统的纸张。
（3） 批判性地和战略地管理和汇总来自各种数字网络材料库的知识。
（4） 参与者有责任性，受人尊敬，思想开放，能在电子世界中发挥作用。因而能很快并智慧地适应新环境下产生的各种社会问题。
（5） 在为特定问题而成立的灵活的在线队伍中，能利用他们的专业技术互相协作。
（6） 对一个话题能表达综合的知识，采用技术工具，信息性的和劝诱的方法。
（7） 参与者能够对所处社会中信息技术环境（硬件，软件，教育等）如何起重要作用发表自己的意见。
（8） 多模态识读能力包括“非语篇写作”，如新的学习方法，学习者能掌握生产技术。不同的技术形式可成为学习过程的工具。
（9） 参与者不仅能识读语篇信息，也有能力解释符号和图象，利用多媒体和其他技术工具，如互联网，所有这些使我们能构建意义，学习和与他人互动。（M. Andersen，2005； Johnson, 2005； Joy, 2005；Miranda, 2005）
值得注意的是multiliteracies 这个词，也指多元识读(能力),在全球化的今天，用来描写语言和文化的多样性和对变异的尊重。虽然多元文化概念扩展了对知识的看法，它也加大了能接触不同“识读方法”和不能识读者的鸿沟。这样，识读能力有两层意思，文化识读能力和技术识读能力，后者就是多模态识读能力。
8．多模态化研究的重点
据Simpson报道，在2003年一次以多模态化为主题的国际应用语言学研究会上提出如下选题方向：
--多模态化和新的媒体；
- 在学术和教育情境下的多模态化的应用；
--多模态化与识读实践。
--多模态化语料库的建立。
--多模态化和类型学。
--多模态化话语分析及其理论问题。
就多模态化话语分析而言，可进一步包括互联网在话语分析中的作用，社会研究中的多模态话语分析，教育语境下的多模态话语分析，和工作场所的多模态话语分析。（Le Vine and Scollon eds., 2004）
参考文献
Algren，Mark. 2005. “What is Multiliteracy?”, Multiliteracies for Collaborative Learning Environment”. http://veltevens.blok.com/ general/home//.
Andersen, P. Bogh, 1990. A Theory of Computer Semiotics. Semiotic Approaches to
Andersen, P. Bogh. 2005. “What is Multiliteracy?”, Multiliteracies for Collaborative Learning Environment”. http://veltevens.blok.com/ general /home//.
Andersen, P. Bogh, Berit holmqvist, Jens, F. Jensen. (eds.) 1993. The Computer as Medium.
Beaugrande, Robert de (1991): Linguistic Theory: The Discourse of Fundamental Works.
Fiske, John (1982): Introduction to Communication Studies. 2nd edn.
Guske, Iris. 1998.”Communication Studies: Communication Codes. To what extent is Hallidayan 'social semiotic theory' compatible with Saussure's programme for sociology?” Zurück zur Startseite.
Halliday, M.A.K (1985) An introduction to functional grammar,
Halliday, M.A.K. (1978) Language as a social semiotic,
Holsanova, J. (1999). Olika perspektiv på språk, bild och deras samspel. Metodologiska reflexioner. (Different perspectives on multimodality. Methodological considerations) In: Inger Haskå & Carin Sandqvist (eds.): Alla tiders språk. Lundastudier i nordisk språkvetenskap A 55. (pp. 117?26).
Johnson, Staci 2005. “What is Multiliteracy?”, Multiliteracies for Collaborative Learning Environent. http://veltevens. blok. com/general/home//.
Kress, G. (1997) Before Writing: Rethinking the paths to literacy. Routledge:
Le Vine, Philip and Ron Scollon (eds.). 2004. Discourse and Technology: Multimodal Discourse Analysis.
Lemke Online Office.
Lemke, J.L. 1993. “Discourse, Dynamics and Social Change”, in Language as Cultural Dynamics: Special Issue of Cultural Dynamics. (Halliday, Issue Editor)
Lemke, J.L. 1993. “Discourse, Dynamics and Social Change”, in Language as Cultural Dynamics: Special Issue of Cultural Dynamics. (Halliday, Issue Editor)
Lemke, J.L. 2005. “Important Theories for Research Topics on the Website”. J.L.Lemke Online Office.
Joy, Lilia 2005. “What is Multiliteracy?”, Multiliteracies for Collaborative Learning Environent”. http://veltevens. blok.com/general/home//.
Miranda, Nobella. 2005. “What is Multiliteracy?”, Multiliteracies for Collaborative Learning Environent”. http://veltevens. blok.com/ general/ home//.
Saussure, Ferdinand de (1974): Course in General Linguistics.
Scollon, Ron and Philip Levube, 2004. “Multimodal discourse analysis as the confluence of discourse and technology. ”
Spiliotopoulous, Vakua. 2005. Developing multiliteracy in adult ESL learners using On-line forums”, International Journal of the Humanities.
Thibault， Paul. 2004. “Body Dynamics and the Multimodal Integration of Meaning across Space-time Scales，“ A paper presented at the 9th International Pragmatics Conference。
