Multimodal Socialsemiotik & Levende Billeder

gangbart at applicere det socialsemiotiske perspektiv på andre modes, fører dette
gradvist til den anden fase i udviklingen. Denne anden fase defineres ved det poly‐
modale perspektiv, hvor et mode aldrig kan optræde i isoleret form. Enhver kom‐
munikation er altid realiseret gennem flere parallelle samtidige modes med hver
deres semiotiske system, som tilsammen skaber den samlede overordnede
betydning. Fra dette perspektiv er analysen af betydningsdannelsen således et
spørgsmål om simpel sammenlægning af observationer fra de enkelte modes.
De første polymodale teorier (O’Toole 1994, Kress og van Leeuwen 1996) har en
problematisk distinktion mellem verbalsproglig og visuel kommunikation, hvor de
principielt forstås som to forskellige modes. Problemet er, at hverken verbalsproglig
eller visuel kommunikation kan regnes som modes. Fra et multimodalt perspektiv er
det, man under et ofte benævner verbalsproget, faktisk to forskellige modes, nemlig
talt verbalsprog og skrevet verbalsprog, som, selvom de har mange systemer til
fælles, har vidt forskellige instantieringer af disse. Visuel kommunikation er ikke et
mode, men blot et fokus på en bestemt sansepåvirkning. Skriftligt verbalsprog er et
visuelt mode, ligesom fotografiet eller maleriet er det. Selvom disse første poly‐
modale undersøgelser af tekster som multimodale objekter er problematiske, er de
fundamentet for den sidste fase i udviklingen.
Det fulde multimodale perspektiv er udviklet gennem den seneste teoretiske udvik‐
ling i forlængelse af den polymodale forståelse for samtidigt udtrykte modes. I den
multimodale teori tages skridtet fuldt ud, hvorfor modes i den multimodale tilgang
ikke eksisterer som autonomt fænomen, men udelukkende som teoretisk abstrak‐
tion. De instantierede elementer lader sig stadig beskrive som dele af forskellige
monomodale potentialer, men disse monomodes er udelukkende abstraherede ud
fra en deskriptiv målsætning om overblik. Betydningen opstår ikke i sammen‐
lægningen af fuldgyldige monomodes, men i samspillet mellem de enkelte systemer i
de teoretiske monomodes. Derfor forsøger multimodal teori at beskrive, hvorledes
de enkelte systemer forenes i betydningsskabelsen (Lemke 1998, Kress og van
Leeuwen 2006, Baldry og Thibault 2006, Norris 2004, LimFei 2004, O’Halloran 2004).
Den multimodale teori er langt fra færdigudfoldet, men er under stadig udvikling.
Der er endnu ikke fuldstændige beskrivelser af mekanismerne i det komplekse
68