Multimodal Socialsemiotik & Levende Billeder

Baldry og Thibault understreger i implicit forlængelse af socialsemiotikken, at det
også i forbindelse med analyse af levende billeder er vigtigt at se teksten i forhold til
dens situationelle og kulturelle kontekst (2006: 165). De fremhæver væsentligheden
af, at en multimodal analyse også skal kunne gribe konsekvenserne af den selektive
rekontekstualisering af en social praksis i en anden, som for eksempel når bestemte
handlinger med deres tilhørende semiotiske betydning repræsenteres i levende
billeder. Et klassisk eksempel kunne være at løfte på hatten over for en anden,
hvilket forenklet set kan have betydningen ”hilsen”. Hvis denne handling vises i et
levende billede, bliver det i stedet en repræsenteret hilsen. Denne repræsenterede
hilsen minder i visuel forstand en del om den oprindelige tilsvarende perceptoriske
oplevelse, hvis man blandt andet ser bort fra fraværet af den tredje dimension, men
alene i kraft af at den er udvalgt til visning i et levende billede, bliver den
rekontekstualiseret i en anden kommunikativ sammenhæng (Baldry og Thibault
2006: 165). Som konsekvens af dette kan en lang række forskellige semiotiske
systemer (modes) indlejres i andre på forskellige niveauer. På denne måde har de
samarbejdende semiotiske systemer (monomodes) netop ikke samme status, fordi
de indgår i en sammenhæng, som i væsentlig grad er domineret af spillereglerne fra
et eller flere overordnede semiotiske systemer. Således vil levende billeder for
eksempel trække på mimik, gestik, proxemik og kropsholdning i fremstillingen af
menneskets fysisk visuelle fremtoning, men det er repræsenteret inden for en
ramme af filmiske præmisser, hvilket har væsentlig indflydelse på
betydningsdannelsen, sammenlignet med direkte interaktion med en anden person.
Repræsenteret mimik, gestik og proxemik realiserer forskellige former for
repræsenteret interaktion. Betydningen af bestemte realiseringer kan ligge
forholdsvist tæt på det, vi genkender fra andre kommunikative situationer og
trækker som sådan delvis på vores kendskab til dette, men det er kun en del af
forståelsesrammen. Realiseringen af systemerne er per definition en anden, når de
repræsenteres i en anden kommunikativ sammenhæng under et andet
(multimodalt) system, hvorfor der først og fremmest trækkes på kendskabet til
anden tilsvarende repræsentation af et givent mode.
Den hierarkiske organisering af modes i multimodale tekster er indtil nu en stort set
overset diskussion inden for multimodal teoridannelse. Det forekommer oplagt, at
der er forskel på den rolle, forskellige modes spiller i teksten. For eksempel trækker
en trykt reklame i et magasin på utallige modes såsom skrevet verbalsprog,
typografi, fotografi, layout, papirtype, farve, grafik, statur, gestik, mimik, proxemik,
beklædning og makeup, og det forekommer problematisk at sidestille disse
104