谈多模态小品中的主体模态
作者：胡壮麟 来源：《符号与传媒》第二辑 浏览量：7997 2011-05-27 17:45:33
摘要： 标题中的“小品”，指一种多模态的幻灯片文本，一般网络文化研究者称之为“超文本”。但“小品”只是多模态超文本中的一种，在网络上经常可见，很受欢迎。本文试图用语言符号学分析这种“小品”的特点，并在Halliday的社会符号学框架内予以进一步的探究
1 ．符号的多元性与多模态性
上世纪初，索绪尔在研究语言特征过程中讨论了语言符号的概念，认为语言符号是‘概念’(concept)与‘音响意象’(sound image)的任意关系。其次，他预示了语言学只是属于尚未出现的符号学的一个分支学科。为了将他自己的以语言符号为基础的任意性理论应用于其他符号系统，他进一步采用了‘所指’(signified)和‘能指’(signifier)的术语[1] （1）语言语法不是在词语概念基础上产生正确句子的代码，不是规则的集合，而是产生意义的资源（Halliday， 1978：192）。这意味着正确的符号观应关注意义是如何从‘符号资源’中进行选择和被表达的。它不是停留在概念和语音，或者所指和能指之间的任意的静态的层面。
（2）人们如何对符号进行选择来体现自己想表达的意义呢？这就需要考虑语言使用者期待有关符号应当实现什么样的功能。这些在复杂语境中变化众多的功能最后可以归结为四大元功能，即概念的，逻辑的，人际的，和语篇的[2] [3] 。 （3）在一定语境下使用的词语必然出现在‘语篇’之中，这是语篇分析或语篇语言学研究的对象。同理，我们应当将话语或语篇的概念应用于符号学研究。这就是说，人类符号与一定语境下完成的语篇共现。例如，考古学家和符号学家离开一定的或有关的时空条件去研究符号将一无意义，难以对符号的意义作出正确的解读。
（4）系统功能语言学的研究者进一步发现符号既然存在于语篇之中，这就不难发现“所有的语篇都是多模态的[4] 有关这方面的研究，将我们引入‘多元符号学’（multi-semiotics）和‘多模态性’（multimodality）的领域。在这个意义上，索绪尔自会接受符号的多元性，但他有关语言符号的概念和音响意象的绝对任意关系的观点，是否接受意义和符号多模态性的非任意关系有待我们进一步审视。
多模态性的研究旨在说明人们在表达意义时对不同符号特性的掌握和运用，以及对不同符号体系之间相互关系的了解。因此一种模态被另一种模态替代实际上是一种符号资源转入另一种符号资源的过程，也就是‘重新符号化’（resemiotization）[5] [6] 根据O’Halloran的报道[7] ，现代的真正意义上的多模态性理论研究应数Michael O’Toole的《展示艺术的语言》和Gunather Kress 和 Theo van Leeuwen合著的《阅读的意象：视觉设计的语法》。 从此以后，日益增多的研究涉及视觉意象，数学象征，音乐和音响，动作和姿态，建筑和空间，等。 我国尽管有图文并茂的实践传统，有关当代多模态性理论研究的综述和报道有李战子[8] [9] [10] [11] [12] [13] [14] [15] 谢天谢地，随着计算科学的发展，我们在会议上可以通过ppt， pps，wmv等软件的技术支持，在会议上介绍学术论文的纲要和有助于说明问题的图表和图象。一般来说，有关文科内容的学术论文较多地采用文字模态，社会科学的文章有时文字与图表并用，理工科的研究报告除文字和图表外，时有实图为佐。本文研究本世纪方流传的多模态小品。所谓多模态小品，我借用了‘小品文’的概念，即生动活泼的说理抒情的短篇散文或作品，但它是多模态的。我在《多模态小品的问世和发展》[16] 多模态小品的模态组合
文字
图片
乐曲
自动翻页
√
√
√
√
√
√
√
√
√
√
√
√
√
√
√
√
上表说明，多模态可包含不同模态的组合，但对多模态组合的规律性和特征缺乏深入研究，特别是形成这些规律性和特征的原因和功能。因此。在本文中，我想具体讨论的是（1）对同一语篇意义的表达可以采用不同模态。（2）这些模态可以分别使用，也可以同步使用。（3）在多种模态同步使用的情况下，我们一般可发现其中一至二种模态是主体的，其余模态起陪衬作用。以下各节是我对这些观点的论证和讨论。
2 ．以文字为主体的多模态小品
作为小品，既然强调的是生动活泼和说理抒情，文字形式的视觉模态不失为一个重要方式。小品中的文字要求短小精干，诙谐幽默，寓理于情，以打动读者。这里选用题为‘Friendship Bouquet’ （友谊花束）的多模态小品进行分析。此小品共有17张幻灯片。片1引入上述标题。片2说明作者的意图，即他认为读者可能并不意识到他往下所说话语的正确性和重要性，但这是百分之百正确的、重要的，因而希望读者每天思考其中的某些内容。每张幻灯片既有英文，也有中文，看来它是为接受过一定教育的知识阶层准备的。限于篇幅，这里转录其中若干张幻灯片的文字如下：
片6 A smile from you can bring happiness to anyone, 你的微笑可以给人以 快 乐，
even if they do not like you . 即使他们很不喜欢你。
片7 Every night, SOMEONE thinks about you. 每晚，有人想着你。
You mean the world to someone. 你是某些人的世界。
片8 You are special and unique. 你是特殊的，唯一的，
Someone you don’t even know – loves you. 你甚至不知道的人——爱着你。
片9 When you make the biggest mistake ever, 当你犯了从未有过的大错误，
something good comes from it. 随之而来的是 某个 好事。
从这些文字不难发现，作者诚意地友好地向读者提供一个一个诤言，如为人应该笑颜常开，你并非孤独，坏事可以变成好事，等。因此‘友谊花朵’这个题目高度概括了作者期待你树立乐观向上的用意。这层意义无疑是通过文字传递给读者的。
在这个基础上，我们再去观赏背景插图，每张幻灯片上的都有一种花朵，有的含苞欲放，有的展瓣吐艳。这抽象地表达了每一枝花朵就是作者馈赠读者的一个箴言。这才是美的感受，这才是真正的友情。值得注意的是有些花朵中有蜜蜂驻足，其象征义是我们可以像蜜蜂那样，从这些花朵中获得精神的营养。在片1的下方有“Music：Nightingale Serenade”(音乐：夜莺小夜曲)3个英文词。小夜曲一般指黄昏或夜间在室外独奏或独唱的歌曲或器乐曲，其音乐缠绵委婉，典雅悠闲，常为年轻人，特别是男士在月夜徘徊于恋人窗前向恋人述说自己的内心爱慕，以打动对方。这种形式渊源于欧洲中世纪骑士文学的一种爱情歌曲，在西班牙、意大利等国流行。鉴于乐曲出现的时间较早，可以推断它不是专门为‘友谊花束’配制的。因此只能说小品的作者只是选用它作为背景音乐。其次，本乐曲突出的是夜莺的啼声，抒情浪漫，但不能充分表达‘友谊花束’的主题——作者向读者提供一个又一个如何正确处理人生中的问题。当然，作者既然在无数乐曲中选上此乐曲，必然经历过深思熟虑的过程。考虑到小品作者是向读者提供他对人生的感悟，并希望与读者分享，那么，小夜曲以情动人正好起到激发对方深入思考并接受自己的观点。
对上述三种模态进行比较，在小品意义的表达上，文字模态起的作用最大，幻灯片背景中的花朵图像离开文字的表述一时很难破解，夜莺小夜曲也只能笼统地表示作者我们情感上的期待，因此‘友谊花束’这个多模态小品的主体模态应当是文字，其余是第二性的。
3. 以乐曲为主体的多模态小品
上节提到的小夜曲在多模态小品中只是起到抒情陪衬的作用，但是以乐曲为主体的多模态小品还是有的。小品One Day When We Were Young 显然突出的是乐曲。
One Day When We Were Young 这首歌是三十年代美国拍摄的故事影片《翠堤春晓(The Great Waltz )》里的一首插曲。《翠堤春晓》是一部带有虚构意味的描写‘圆舞曲之王’约翰·施特劳斯(Johann Straus II)的生活故事影片。在这部影片里，施特劳斯爱上了一位女高音歌唱家——卡拉·唐娜，他们在一起时，那位歌唱家经常含情脉脉地唱起这首歌。当卡拉·唐娜得知施特劳斯的妻子波蒂深爱着她的丈夫时，她毅然斩断情丝，在一场演出结束后，悄然离去。施特劳斯追去码头，目送她乘船缓缓驶向远方。明月银辉，映照着多瑙河，从船上隐约飘来女高音的歌声：“当我们年轻时光……”。 影片最后，施特劳斯已是满头银丝，在千万个粉丝狂热的欢呼声中，他的耳边又响起了这首扣人心弦的歌曲：“当春之歌又唱，又回忆起五月早上…”（ 撕碎的时间 2007 ）。影片放映之后，这首歌到处传唱，因其歌词和曲调动人心弦，又便于记忆。[17] 为便于分析，先将幻灯片中的英语歌词提供如下，其后的中文歌词是另加上的。
One Day When We Were Young
O ne day when we were young , 当我们年轻 时光
ne wonderful morning in M ay , 在美妙的五月早 上 你曾说你爱我 . 当我们年轻 时光 S weet songs of spring were sung , 唱起了春之歌 . 那音乐是多么动人 , 你曾说你爱我 . 当我们年轻 时光 Y ou told me you love me , 你对我多钟情 rt. 啊,我们心心相印 W e laughed then,we cried then , 我们欢笑,我们喊叫 . 但离别时候来到 W hen songs of spring are sung ， 当春 之歌 又唱起，
remember that morning in may . 回忆起五月那个早上，
R emember , you loved me 别忘了,你爱我 当我们年轻 时光。
虽然在这首多模态小品中，我们也可从幻灯片上找到上引的每一句歌词，但那种浪漫的思念之情更多地来自缠绵动人的歌曲和歌曲中女高音的唱词。注意，这里指的是用言语表达的唱词，不是用文字表达的歌词。这就是说，在表达意义时，乐曲和唱词的模态起到主要作用。
作为多模态小品的One Day When We Were Young 也使用了供视觉欣赏的14 张幻灯片。应该说，这些幻灯片色彩时浓时淡，一草一木，均能传神。这里，介绍其中两张。图1（片2） 通过两只鸟在春意盎然的花枝上相互偎依 象征两个年青人在五月的一个美妙早晨情意萌生，难分难?。图2（片7）则通过孤鸟徘徊示意离别的时候来临，景色灰蒙蒙地给人以
黯然神伤之感。
图1。One Day …… 片2
图2。One Day …… 片7
这些图片作为多模态的交相映辉是成功的，但恋人间忆旧怀念之情的主题更多地依赖歌曲的魅力。如果我们只是朗诵经过汉默斯顿改写的歌词，其感染力将大为逊色。读者如果不信，不妨在某个联欢会上演唱这支歌曲，或者朗诵其歌词，前者将更能激动观众，也就是说，使语篇意义得到充分表达。
4. 以图象为主体的多模态小品
不同于与以文字为主体的通过视觉接收的多模态小品和以乐曲为主体的通过听觉接受的多模态小品，有一些多模态小品主要依靠幻灯片中的图像来表达意义。如在多模态小品“曼谷”中，作者将最能代表泰国首都曼谷的建筑、社会生活和城市发展的图片在我们眼前展示，百闻不如一见，尽管我们有的可能还没有去过曼谷，至少在图片上能够鉴赏曼谷的面貌。下面是小品的30张幻灯片中的片7（图3）和片21（图4）。前者是泰国的大皇宫，后者是一所庙宇的外景。虽然是实地实景，乍看之下，不是真正意义的符号，实际上前者代表泰国的王权，后者展现了这个国家的佛教传统。尽管我们脑海中已存有中国故宫和寺庙的印象，但只有通过观看这些幻灯片的视觉模式才能了解泰国的王宫和寺庙，并比较两者的异同，抓住小品作者苦苦创作的意图。
在这个小品中也使用了少量的文字，它提供了有关图片内容的一定信息，如‘Bankok Airport’（曼谷机场，片3），‘Sky train’ （空中轻轨，片5）, ‘Democracy Monument’（民主纪念碑，片 9）, ‘Difference’（贫富差异，片17）, ‘Ladyboy show’（女妖演出，片24），等。就信息量来说，这些文字过于简略，不如图片更为直观，深刻和丰富。
作为小品标题的片1下方有‘Music： The Shadows -- Wonderful Land’5个词，告知读者本小品的音乐为‘美妙国土的踪影’。这乐曲是泰国的民族乐，使用的是西洋乐器，将泰国古老的传统文化和现代城市的建设联系起来，起到把读者引入泰国的有声世界，但光凭乐曲不能建立有关曼谷的整体的直观形象。
5 ．以动作为主体的多模态小品
最后有一种多模态小品虽然使用了视觉和音响模态，我们会很快发现在这样的小品中在意义表达上真正起作用的是一定环境（如舞台）下人和其他有生命物的动作。例如，在小品‘与狗共舞’中，一条白狗，穿着花裙子，扮演女舞伴的角色，与它男主人翩翩起舞，节奏的合拍，身子的扭动，如此娴熟，如此逼真，如此幽雅！由此诱发了观众阵阵笑声。显然，观众发笑不是看了片头的文字，也不是乐曲的伴奏，而是人与狗的实时实地的连贯的舞蹈动作。
在另一个小品“魔术师变换衣服”中，使观众睁大双眼目瞪口呆的也不是文字和乐曲，而是表演者在不变换镜头的情况下，在众目睽睽下居然须臾之间换上不同款式、不同色彩的衣服。如果通过幻灯片，便达不到这样的效果，因为观众相信的是自己亲眼观看到的，没有明显做了手脚的连贯演出。为达到这样的效果，便要弃用ppt/pps的演示方式，采用wmv的程序，使我们的视觉保持连续的状态。
6 ．结束语
上述四类小品表明，在创作多模态小品时，作者完全可以选择不同的模态，或两种，或三种，或更多。这有赖于作者受教育的程度和所掌握的技术。
从这个认识出发，我们必须把握这样一点：多模态小品不是不同模态的漫无目的地任意地杂合。这要根据作者在创作特定语篇时想突出意义的哪一部分，是说理？是抒情？是示范？作者还要考虑不同模态之间的融合。在我收集到的一个题为‘美丽的西藏’小品中，文字和图片选用得都很好，但乐曲却配上了一曲内蒙民歌，使作者原来想表达的意义未能充分地正确地表达。
多模态小品的出现也回答了‘重新符号化’所提出的课题，即人们从一种模态发展为更多地使用另一种模态，这与社会进程是分不开的。当人们从原生态的歌喉或臀部肢体的扭动，进入到文字和图画的产生，进入到吟诗作曲和各种文学作品的创作，以至于今天的话剧、电影、电视剧、交响乐，等等，都与社会和当代技术的发展分不开的。即使本文所介绍的多模态小品也只是在一定的社会阶层中，如受教育阶层中，流传和欣赏。不掌握电脑操作技术者只能望洋兴叹。
把以上认识再提高到符号学理论的层次，我们就不难理解Halliday（1978）的社会符号学的观点，那就是符号与意义的关系不是任意的，意义是从“符号资源”中根据所要体现的功能进行选择和被表达的。Halliday 把这些功能归纳为概念、逻辑、人际和语篇四大元功能。这又进一步说明语言符号和非语言符号都必然在一定情境下为实现一定功能而使用的，其载体就是语篇。多模态小品就是语篇。它是多模态语篇中的与文艺创作相结合的一种语类。我们把它叫做小品主要用心是为了和其他多模态语篇（如电影、歌剧、相声）等进行区别，，也是为了和文学中像散文那样的小品文进行对比。
作者简介：
胡壮麟，北京大学资深教授，博士生导师，清华大学、北京师范大学以及中国其他33所大学兼职教授；北京大学澳大利亚研究中心主任、中国语言与符号研究会会长、中国功能语言学会名誉会长、中国文体学研究会名誉会长、中国外语教育研究中心学术委员会主任、高等教育出版社外语教育研究发展中心名誉主任。联系方式：yyhzl@pku.edu.cn
[1] Saussure ， F. de. Course in General Linguistics , Foreign Language and Research Press/Gerald Duckworth & Co. Ltd. 2001. 97ff
[2] Halliday, M.A.K . An Introduction to Functional Grammar. Second ed ition. London and Melbourne : Arnold. 1994[1985] 。
[3] van Leuween, Theo. Introducing Sociaol Semiotics , London : Routledge. 2005. preface
[4] Scallon, Ron & Philip Levine. Multiple Discourse Analysis as the Confluence of Discourse and Technology , Washington , DC: Georgetown University Press, 2004.
[6] Iedema ， R , Multimodality, resemiotizaion,: extending the analysis of discourse as multisemioric process , in Visual Communication, 2003. 2, （ 1 ） , pp 29- pp 57.
[7] O'Halloran, Kay L. Multimodal Analysis and Digital Technology , In A. Baldry and E. Montagna (eds.) Interdisciplinary Perspectives on Multimodality: Theory and Practice. Proceedings of the Third International Conference on Multimodality , Campobasso: Palladino. 2008.
[8] 李战子 ，《 话语的社会符号学分析 》，载《 外语研究》， 2003 （ 5 ），第 1 页 - 第 8 页 。
[9] 胡壮麟，《超文本的语篇分析》，《山东外语教学》2004a (5)，第3页-第8页，《口述·读写·超文本——谈语言与感知方式关系的演变》，《外语电化教学》2004b(6)，第2页-到第8页，《社会语言学研究中的多模态化》，《语言教学与研究》 2007（1），第1页-第10页。
[10] 朱永生，《多模态话语分析的理论基础与研究方法 》《外语学刊 》 2007 （ 5 ），第 82 页 - 到第 86 页
[11] 张德禄 ，《 多模态话语分析综合理论框架探索 》 ，《中国外语》， 2009 （ 1 ）第 24 页 - 第 30 。
[12] 杨信彰 ，《 多模态语篇分析与系统功能语言学 》 ，《外语教学》， 2009 ， 30 （ 4 ）
[13] 胡壮麟 . 、 董佳，《意义的多模态构建 —— 对一次 PPT 演示竞赛的语篇分析 》 ，《外语电化教学》， 2006(3) ，第 3 页 - 第 12 页
[14] 魏晓茹 ，《 漫画语篇的多模态分析 》 ，《作家杂志》， 2009 （ 3 ），第 259 页 - 第 260 页
[15] 李妙晴 ，《 多模下的 < 阳光灿烂的日子 > 电影字幕翻译 》 ，《电影文学》， 2009 （ 7 ）， 第 59 页 - 第 60 页 .
[16] 胡壮麟，《多模态小品的问世和发展》，《外语电化教学》, 2010（4），第3页-第8页。
[17] 影片编导者借用了约翰 · 施特劳斯 1885 年写的轻歌剧《吉普赛男爵》里的一首男女声二重唱的曲调，由奥斯卡 · 汉默斯顿 (Oscar Hammerstein II) 根据影片故事情节的需要重新填词。因此汉默斯顿是歌词的作者。
到学术论坛讨论
+ 15 好文章总是百读不厌，赶紧收藏分享吧！
.jpg)
.jpg){kind=small}
.jpg)
