Multimodal argumentation: når tekst og billeder passer sammen

dmjx.dk

Multimodal argumentation: når tekst og billeder passer sammen

Multimodal argumentation:

når tekst og billeder passer sammen

Billedet begrænser teksten betydning, mens teksten forankrer billedets betydning.

Den viden kan bruges praktisk i al visuel kommunikation.

af Niels Heie, Mediehøjskolen

De fleste visuelle budskaber indeholder både tekst og billeder. Nogle af dem

har mange billeder og lidt tekst, andre har meget tekst ogbilleder. Få produkter

indeholder kun tekst. Nogle skiltetyper indeholder kun billeder.

Størstedelen er altså multimodale, dvs. at de indeholder forskellige udtryksformer

som skal afkodes og forstås forskelligt, men hvis forskellige indhold skal

forenes i en indholdsmæssig syntese. Processens kompleksitet viser sig f.eks.

ved at den måde man bevæger øjnene på, når man læser tekst, er væsensforskellig

fra den måde man bevæger øjnene på, når man læser billeder. Alligevel

skal de to aflæsningensmåder forenes i en fælles fortolkning.

Det formodes at læserne kan administrere kompleksiteten. På trods af multimodalitetens

udbredelse er der ikke megen teori om emnet. Der er skrevet en del

om tekstlæsning og forståelse. Der er skrevet en del om billedlæsning og forståelse.

Men der er ikke skrevet meget om kombinationen – og slet ikke på et

niveau, hvor konklusionerne kan bruges som anvisninger i en specifik situation,

hvor et bestemt budskab skal formidles til en bestemt målgruppe.

Men hvis man skal bruge kombinationen bevidst, dvs. udnytte kombinationens

formidlingskapacitet, bør man forstå hvilken betydning kombinationen egentlig

har og man bør have kriterier for om kombinationen er vellykket eller mislykket.

Nøjagtig som man har kriterier for ords stavemåde og sætningers struktur.

Denne artikel er et forsøg på at opstille et sæt kriterier for indholdsmæssigt vellykket

multimodalitet.

Tekst og billeder påvirker hinanden forskelligt

En af de kendte tekster om emnet er skrevet af Roland Barthes. Den hedder

Billedets retorik og er fra 1964. I den skriver han at kombinationen af tekst og

billede har to betydninger:

1) Teksten forankrer billedet til en bestemt mening. Derved reducerer teksten

billedets polysemiske karakter, det at billedet kan være et billede af en hvilken

som helst situation, som de agerende har optrådt i på det sted. Teksten gør det

muligt at besvare det tekstløse billedes spørgen. Barthes kalder virkningen

anchorage.

2) Billedet kan afløse teksten. F.eks. i tegneserier, hvor billederne fortæller på

en måde som en tekst ellers gør: fortæller hvad, hvor og i hvilken rækkefølge

ting sker med hvem som agerende. Barthes kalder virkningen relais.

Multimodal argumentation

1


Men artiklen kommer ikke ind på, hvad billedet og dets indhold egentlig betyder

for forståelsen af teksten.

Jens E. Kjeldsen foreslår i Billeders Retorik (2007) at forankringen går begge

veje, at teksten forankrer billedet og billedet forankrer teksten. Det er en

udmærket pointe. Bortset fra at terminologien camouflerer asymmetrien i de to

modaliteter – hvilket er et problem, fordi der faktisk er stor forskel tekst og billede.

De kan ikke sige det samme, fordi deres indhold er forskellige som begrebet

den er forskelligt fra begrebet alle.

Forskellen kunne gøres tydelig, hvis de to virkninger fik hver sin betegnelse.

Mit forslag er at man bruger betegnelsen begrænse om den virkning billedets

indhold har på tekstens betydning. Dermed kan man opstille følgende model

for forholdet mellem tekst og billede:

Teksten forankrer billedets betydning

Billedet begrænser tekstens betydning

Jeg vil videre argumentere for, at man kan opstille

Rationelle kriterier for kombinationens meningsfuldhed

Præmisserne for mine påstande bliver præsenteret i tre afsnit: først beskriver

jeg hvad et billede er, dernæst hvad en tekst er og til sidst hvilken indholdsmæssig

størrelse, der kommer ud af at kombinerer de to.

Forskellige slags kommunikerende tegn

I semiotikken er et tegn noget, der står for noget (Kjørup, 2002). Der tre tegntyper:

index, ikon, symbol. De formidler deres indhold på hver sin måde.

Et naturligt index kan f.eks. være rødmen på en kind. Den røde farve i huden

skabes af den forøgede blodgennemstrømning. Rødmen er virkningen af en

årsag/virkning-relation. Indexet kan læses, hvis læseren kan slutte sig til den

årsag der ligger til grund for virkningen, altså hvorfor personen rødmer.

Et naturligt ikon kan f.eks. være et skyggebillede. Ikonet formidler ved hjælp af

lighed. Skyggebilledet er silhuet af noget som det deler synlig form med: et

ikon ligner. Ikonet kan læses, hvis læseren forstår hvad det ligner. (At silhuetten

også er et index, er en anden sag – skyggen er jo en virkning af, at noget

har været årsag til at lyset ikke når frem. Skygge er forskelligt fra mørke ved at

være et billede af en forhindring, hvor mørke er fravær af lys).

Der findes ikke naturlige symboler. Symboler er kulturelle og er tegn, hvis

betydning er resultat af en vedtægt. Symbolets betydning er altså hverken en

virkning som indexet formidler eller en lighed som ikonet formidler.

Man kan gøre alt til et symbol, men for at virke skal kulturen anerkende hvilken

betydning det har. Index og ikon findes også i visuelle kulturelle versioner,

Multimodal argumentation

2


hvor de er frembragt med det formål at viderebringe en betydning. De er kommunikerende

tegn. Det vi til daglig kalder billeder er ikoniske tegn, mens skrift

er symbolske tegn. I en vis forstand er alle kommunikerende tegn symboler: det

er vedtaget at billeder og tekster indeholder en bestemt betydning og at de kan

læses på en bestemt måde. For at de kommunikerende tegn fungerer kræver det

altså, at de der fremstiller tegnene er enige med dem, der skal læse dem om

deres udseende og deres betydning.

Der findes ingen selvstændige indexer blandt de kommunikerende tegn. Men

der er et indeksikalsk aspekt, nemlig tegnets udseende. Tegnets udseende er den

synlige virkning af at nogen har fremstillet det, dvs. været årsag f.eks. ved

hjælp af en blyant eller en pensel. Tegnets indhold er den forestilling som tegnet

kan aktivere i læserens bevidsthed om hvad det står for.

Et kommunikerende visuelt tegn har altså altid et handlende menneske som sin

årsag.

Billedet involverer den kropslige fantasi

Vi bombarderes med fotografier. Fotografier er ikoniske tegn med meget høj

ikonicitet, dvs. meget stor lighed med det de står for. De opnår den høje ikonicitet

i kraft af deres centralperspektiviske struktur. Fotografiet har den virkning,

at det overbeviser læseren om at det billedet står for, har eksisteret i virkeligheden.

Fotografiet dokumenterer. Hvilket indebærer at læseren kan slutte, at det

der har eksisteret i virkeligheden muligvis eksisterer endnu. På et fotografi ser

man altså noget man måske kan komme til at se selv. Hvis det var interessant

for en at være der, komme til stede, er det måske muligt. Hvis man altså ved,

hvor stedet ligger.

Når man forestiller sig at være tilstede, bruger man sin kropslige fantasi, som

involverer forestillingen om at man handler. Man sætter så at sige sig selv ind i

billedet og forestiller sig at scenen er virkelig, forestiller sig at man er på det

sted, som billedet viser. Sådan er det f.eks. når man tager stilling til et nyt køkken.

Man leger ”hvis det var mit” på baggrund af annoncens ikoniske tegn for

køkkenet, før man bevæger sig hen i butikken for at se det i virkeligheden.

Der er andre typer ikoner end de fotografiske. De har mindre ikonicitet, og

deres indeksikale aspekt bestemmes af om ikonet er fremstillet med en maskine

eller med et redskab.

Men det naturalistiske fotografi i statisk eller dynamisk udgave er den billedform

som er mest anvendt og som de allerfleste af os har den største erfaring

med.

Kohærens: når der er sammenhæng i tingene

Vi bombarderes også med skrift. Allevegne og mere og mere. Med computeren

har skriftsystemet fået en eksplosiv udbredelse og med de teknologiske rationaliseringsmuligheder

er det muligt at erstatte flere og flere talesprogsdomæner

Multimodal argumentation

3


med skriftsprog.

Tekst er et symbolsk system af tegn, hvis udformning, betydning og kombinationsmåder

er fastlagt gennem et sæt af konventioner: om bogstavernes udseende,

ordene som kombinationer af bogstaver, om linearitet, grammatik og kohærens.

Formålet med systemet er at omsætte talesproget – som selv er et symbolsystem

– til skrift og dermed oversætte noget, der høres til noget, der ses.

Skriftsproget virker altså kun i begrænset omfang ved hjælp af lighed.

I en tekst skal der være kohærens, sammenhæng i helheden. Kohærensen dannes

ved hjælp af kohæsion mellem delene. Kohæsionen skabes af de elementer,

der får indholdet af den ene sætning til at hænge sammen med den anden.

Eks: Otto B. Larsen er en trist mand. Han er en god lokomotivfører, som bare

ikke har noget lokomotiv. Mellem første og anden sætning skabes kohæsionen

af ordet han i anden sætning, som henviser til Otto B. Larsen i første. Mellem

anden og tredje sætning skabes kohæsionen af ordet som, der henviser til det

han, som var i den foregående sætning. Man slutter, at Otto B. Larsen er repræsenteret

ved ordet han i sætning to og ordet som i sætning tre og dermed, at de

tre sætninger kan opfattes som en indholdsmæssig enhed, der formidler tre

påstande om det samme emne.

Kriteriet for at den slutning er acceptabel er, at det er en fortolkning som integrerer

flest muligt af sætningernes elementer og at ingen af sætningernes elementer

modsiger fortolkningen.

Det er ikke nær så kompliceret at få elementerne til at hænge samme i et billede.

De er så at sige alle sammen meningsfuldt relateret til hinanden, fordi billedet

formidler en simultanitet mellem de figurer, som billedet indeholder: figurerne

er så at sige tilstede samtidig i samme rum.

Dermed oplever man i en vis forstand figurerne i billedet som om de var ord og

rummet i billedet, som om det var en sætning figurerne var elementer i.

Når man sætter teksten og billedet sammen skal der også være kohæsion, men

nu skal den skabes mellem to typer af tegn som er væsensforskellige. Det sker

ved hjælp af koblinger mellem de ting som både er repræsenteret i teksten og i

billedet. De elementer der optræder i billedet og som kan betegnes med de ord

der findes i teksten, er de elementer som gør det muligt at kohæsionerne opstår.

Jeg vil gennemgå et eksempel i detaljer og beskrive, hvordan man læser elementernes

indhold og hvilket resultat, der kommer ud af at et budskab formidles

i en multimodal form. Eksemplet er simpelt og består af et fotografi og en

sætning.

Multimodal argumentation

4


Fotografiet

Man læser billedets indhold nogenlunde sådan:

Fotoet viser et sted, hvor solen skinner. En mand gestikulerer og ser ud til at

tale til nogen. Ved siden af ham står en kvinde med solbriller. Hun lytter og ser

i samme retning. I baggrunden forskellige bygninger, ikke moderne.

Etageejendomme, slotte, kirker. Enkelte omsluttet af stillads, nogle med tårne

og spir. Husene ligger som på en trappe, man kan se meget af bygningerne

selvom de ligger bag hinanden. Mellem parret og byen en flod. Vandet er fuldt

af reflekser. Det er et sted i en gammel by. Man kan forestille sig at være der.

Sætningen

Det er pragtfuldt at være turist i Budapest

Man læser indholdet af teksten nogenlunde sådan:

Strengen af ord er en sætning, hvis indhold er et postulat om at det er pragtfuldt

at være turist i Budapest. Forståelsen består i at man oplever sig selv som en

person, der har været turist i Budapest og som udtrykker sin positive oplevelse

over for nogen.

Udsagnet er uden tilknytning til tid og sted ved andet end sprogsystemet, navnet

på byen Budapest og begrebet turist. Kun hvis man kan dansk, kan man

afkode teksten og forstå dens mening.

Men man kan ikke få den mindste kropslige association til forestillingen om at

være der (med mindre man faktisk har været der) og man kan ikke få den

mindste fornemmelse af hvem, der egentlig siger ordene til hvem og i hvilken

situation det sker.

Multimodal argumentation

5


Kombinationen

Det er pragtfuldt at være turist i Budapest

Processen at læse kombinationen er kompleks og det er i forståelsesprocessen

af de to elementer sammen, at det viser sig om multimodaliteten virker efter

hensigten. Det skal nemlig være meningsfuldt for læseren at bevæge sine øjne

mellem steder i teksten og steder i billedet og omvendt steder i billedet til steder

i teksten med det resultatet at de to elementers betydning opfattes som en

helhed.

Dvs. at man skal opfatte en enhed, der består af

A) billedets indhold:

”.... et sted i en gammel by hvor bygninger med spir og tårne ligger som på en

trappe, hvor solen skinner og danner reflekser i floden og hvor et par på den

anden side er fordybet i samtale med en tredje og hvor man kan forestille sig at

være.” og

B) tekstens indhold:

”... et postulat om at det er pragtfuldt at være turist i Budapest som ikke giver

den mindste kropslige association til forestillingen om at være der”?

Sammenhængen i de to helheder skabes af koblingerne mellem de mindre elementer.

Koblingerne sker mellem:

Ordet Budapest & det man ser af bygninger

som er navn der ligger så tæt at de kan

på en by betegnes som del af en by

Resultat:

man opfatter ordet Budapest i teksten som navnet på byen i billedet.

Multimodal argumentation

6


Ordet turist & personerne i billedet

som er navn på en der ser ud som om

adfærd, hvor menne- de kunne være på

sker opholder sig det sted af lyst

på et sted af lyst

Resultat: man opfatter ordet turist som en relevant kategorisering

af personerne i billedet.

Ordet pragtfuldt & personernes kropssprog og stedet

står for at noget er som de er iflg. billedet

fuldt af pragt

Resultat: man opfatter personernes situation som en pragtfuld tilstand,

fordi der er positive koblinger mellem tekst og billede og fordi ingen af de

informationer som billedet og teksten indeholder modsiger, at personerne

oplever stedet som et pragtfuldt sted at være turist.

Der er forskel på indholdet i de to første koblinger og den sidste. De første er

objektive, den sidste er subjektiv:

FØRSTE KOBLING: Det kan være sandt, at det man ser er et sted i Budapest.

Hvis det er, er koblingen som helhed en påstand og et belæg, der siger at: det

man ser er et sted i Budapest.

ANDEN KOBLING: Det kan være sandt, at personerne er turister. Hvis det er, er

koblingen som helhed en påstand og et belæg, der siger at: de mennesker man

ser er turister.

TREDIE KOBLING: Det kan være usandt, at det er pragtfuldt at være turist.

Derfor er koblingen subjektiv. Pragtfuldt er et ord der bruges, når et menneske

vil overføre sin positive oplevelse af noget til andre via sprog. Billedet giver

læseren mulighed for at finde data, der kan danne grundlag for at fremføre

påstanden om at det er pragtfuldt at være turist i Budapest. Og grundlaget er

faktisk tilstede:

· Solen skinner, det er godt vejr

· Der er masser af huse og bygninger man kan gå rundt og se på

· Parret ser ud til at være intenst tilstedeværende

· Der er en flod, som giver mulighed for sejlads og doven tid

med fødderne i vand

Der er altså elementer i billedet, der gør det muligt at forstå stedet som et sted

hvor det kan være pragtfuldt at være turist. Derfor er det også forståeligt, at en

person, der har været på stedet kan afsige den dom at det faktisk er tilfældet.

Hvis teksten havde været ”Budapest er den største handelsby i Europa”

var der koblinger mellem

1) bygningerne, floden og miljøet på billedet

Multimodal argumentation

7


2) ordet Budapest

3) den sidste stavelse i ordet handelsby

Men der havde ikke været kobling til handel og ikke til største. Derved er koblingerne

kun delvise, det er ikke muligt at skabe kohærens mellem sætningen

som helhed og billedet som helhed.

Koblingerne kan altså forstås som elementer der etablerer logiske relationer,

hvor billedelementer fungerer som belæg for sproglige elementer, og hvor indholdet

i en kobling er en påstand om, at billedelementet er medlem af den kategori,

som skriftelementet er det sproglige tegn for.

Relationerne kan beskrives ved hjælp af Stephen Toulmins grundmodel for et

argument, hvis dele består af belæg, påstand og hjemmel (Toulmin, 1958).

I turist-eksemplet kan man forstå indholdet af hele teksten som en påstand og

indholdet af hele billedet som et belæg og en påstand der kan indgå i samme

argument.

I handelsby-eksemplet er det kun dele af teksten der opleves som påstand og

kun dele af billedet der giver mening som belæg og derfor ikke nødvendigvis

som elementer i et og samme argument.

I turist-eksemplet er sammensætningen argumenterende som helhed, i handelsby-eksemplet

er sammensætningen altså kun delvist en argumenterende helhed.

Når billedet og teksten som helhed indgår som belæg og påstand i det samme

argument, bliver det muligt for læseren at fortolke billedets og tekstens udsagn

som om de var fremsat af en og samme person. Resultatet er at læseren forstår

teksten som et udsagn om det sted, der vises i billedet. Det er som om udsagnet

fremsættes af en person, som er tilstede og ser det læseren ser på billedet.

Når personen, der siger noget er den samme, som personen der viser noget,

betyder det, at de to udsagn kommer fra samme jeg og handler om den situation,

som det jeg er i.

Hvor billede og tekst kun opfattes som delvist sammenhængende er der ikke

den samme mulighed for at opfatte kilden til de to udsagn som en. Ergo giver

den delvise kobling ikke læseren mulighed for at danne sig den opfattelse, at de

to udsagn kommer fra samme jeg.

Opfattelsen af et udsagns-jeg opstår ved en kognitiv proces som er af samme

art som den proces, der fører til at adskilte bogstaver opleves som et ord og at

adskilte ord opfattes som en sætning. I alle tre processer er der tale om gestaltvirkninger.

En gestaltvirkning opstår ved at opfatte flere elementer, men kun

opleve et.

Den fælles kilde til billedets og tekstens udsagn kan placeres som hjemmel i

argumentmodellen. Hjemlen har den funktion at være instansen der sandsynliggør,

at påstanden kan fremsættes som et relevant udsagn på baggrund af belæg-

Multimodal argumentation

8


get. Her er hjemlen altså en implicit tegnproducerende person, der explicit

siger og viser noget. Denne implicitte person er hjemmel for at belæg og

påstand hænger sammen.

Det særlige ved denne type argumention er at belægget er ikonisk og derfor

kan man kalde argumentationsformen for multimodal.

Billedet giver skriftsproget reference

Jeg startede med at opstille en model for sammenhængen mellem tekst og billeder,

som udvidede Barthes idé om at billedets mening forankres af teksten med

min om, at tekstens betydning begrænses af billedet.

Videre hævdede jeg, at man kan bedømme om sammensætningen af billede og

tekst er vellykket eller ej ved hjælp af rationelle begreber. Gennem artiklen har

det været intentionen at vise, at man kan relatere billede og tekst til hinanden

som påstand og belæg i et argument og at man kan opfatte den indirekte kilde

til sammensætningen som den hjemmel, der forbinder påstanden og belægget.

Når jeg hævder, at teksten begrænses af at være i en meningsfuld indholdsmæssig

relation med et billede, er det fordi skriftsproget mister noget af sit gyldighedsområde.

For når teksten bliver situationsbetinget mister det den del af sin

abstrakte gyldighed at være situationsuafhængigt. Det faktum har stor betydning

for læseren:

Den tekst som ikke er relateret til et billede, forstås af læseren som noget han

selv siger med en andens ord og som han skal finde reference til i sin egen

bevidsthed.

Den tekst som er relateret til et billede, forstås af læseren som noget han siger

med en andens ord, men i kraft af billedet får sproget en reference udenfor

læseren. Dermed får skriftsproget noget af den konkrete betydning som talesprog

har.

Når en tekst læses uden billeder, oplever man indholdet af læsningen som om

man har en andens erindring. Når en tekst giver mening sammen med et billede,

oplever man indholdet, som om man er i en andens situation.

En praktisk metode til at foretage indholdskorrektur

Den argumentation jeg har skitseret her kan bruges i praksis. Man kan oven i

købet afprøve om den sammensætning man har tænkt sig er meningsfuld eller

ej. Det er nemlig muligt at lave indholdskorrektur på sammensætningen.

Man gør det ved at omsætte billedet til en sætning, der læses sammen med den

sætning billedet skal danne mening sammen med. Hvis der er kohæsioner mellem

sætningerne og kohærens i sammensætningen som helhed, vil der og

være kohærens i sammensætningen af billede og tekst.

Multimodal argumentation

9


Sådan gør man:

A) Oversæt billedet til en tekst

B) Sæt billedteksten og den tekst billedet skal læses sammen med på

hver side af et kolon. Billedtekstens først. (Så læser man elementerne i

den rækkefølge som billede og tekst sædvanligvis opleves i)

C) Læs

Hvis relationen mellem de to sætninger er meningsfuld opleves de som belæg

og påstand i samme argument. Da teksten er en oversættelse af billedet sammensætningen

af tekst og billede også opleves sammenhængende. Forskellen

på de to udgaver af argumentet er, at belægget i korrekturudgaven er symbolsk,

mens det i den multimodale udgave er ikonisk.

Resultatet ses her:

Diset solskin. Opad bakken, gamle

bygninger med tårne og spir. Ved

foden floden, glitrende. På modsatte

bred med ryggen til, gestikulerende

mand og kvinde der lytter:

Det er pragtfuldt at være turist

i Budapest.

Synspunktet i denne artikel kan udfoldes yderligere til at belyse hvilken betydning

det har for argumentationen, når det ikoniske belæg er et arrangeret fotografi

– som man f.eks. ser det i annoncer.

Man kan også drøfte hvilken betydning det har for en argumentation at det ikoniske

belæg er ikke-naturalistisk, som man f.eks. ser det i læserbreve illustreret

med en tegning, hvor tingene er genkendelige men ikke er visuelt identiske

med virkelige ting.

Endelig kan man drøfte både de ikoniske og de symbolske tegns indeksikale

kvaliteter: hvilken betydning har det for ens opfattelse af budskabet, at ordet

vrede er skrevet med håndskrift og at den hånd, der har ført blyanten ser ud til

at være styret af en krop som er edderspændt rasende? Etc.

Iøvrigt stiller jeg gerne op som hjemmel for det eksempel, som er brugt i artiklen.

Budapest er en pragtfuld by at være turist i. Jeg var der sidste sommer og

jeg har taget billedet.

Mediehøjskolen, marts 2009

Multimodal argumentation

10


Litteratur:

Barthes, Roland: Billedets retorik

in Visuel kommunikation.

København

Forlaget Medusa 1980

Kjeldsen, Jens E.:Billeders retorik

in Retorikkens aktualitet. Grundbog i retorisk analyse.

København

Hans Reitzels Forlag 2006

Kjørup, Søren: Semiotik

København

Samfundslitteratur;

Roskilde Universitetsforlag 2002

Toulmin, Stephen:The Uses of Argument

Cambridge

Cambridge University Press 1999

Multimodal argumentation

More magazines by this user
Similar magazines