Multimodal Socialsemiotik & Levende Billeder

fuldstændig ignoreret, selv om det spiller en central rolle i mentale
processer. Den akademiske fortrængning og klassificering af synæstesi
som et sekundært fænomen, der er så karakteristisk for
sprogfokuserede institutioner i den vestlige verden (…) er den
alvorligste hindring for, at der kan udvikles adækvate teorier om læring
og erkendelse.
(Kress 2003: 215)
Somatiske stimuli skaber sammen med de repræsenterede og psykosomatiske
stimuli komplekse samlede stimuli, og det er muligt at fremkalde bestemte
sensoriske stimuli gennem andre sanser eller gennem repræsentation (synæstesi).
”McGurk‐effekten” er et klassisk eksempel på multisensorisk integration, som er
beskrevet af McGurk og McDonald (1976). De påviste fænomenet i en række forsøg,
hvor det viste sig, at visuelle og auditive stimuli interagerer på yderst komplekse
måder i den samlede perception. Forsøgspersoner blev præsenteret for
inkongruente lyd‐billedkombinationer, hvor et fonem afspillet på lydsporet ikke
svarer til det, der bliver formet visuelt på en videosekvens af en persons mund. Disse
audiovisuelle indtryk resulterede i yderst overraskende oplevelser af
fonemkonstellationer hos modtageren. Således opfattede forsøgspersonerne for
eksempel et visuelt ”ga”, kombineret med et auditivt ”ba” oftest som et samlet ”da”.
De to forskellige sansninger opfattes ikke som to adskilte stimuli, men som en samlet
helhed, som kognitivt sammenkobles til en ny fælles betydning. Den multisensoriske
integration og synæstesi er et komplekst område i sig selv, som ligger uden for, hvad
der er muligt at udfolde i denne sammenhæng, men tjener dog som argument for at
den multimodale teori skal tage højde for integrationen af sanserne og i forlængelse
heraf integrationen af ressourcerne (se 2.3.8).
Når Kress og van Leeuwen påpeger, at der i designfasen skal foretages valg af hvilke
modes der skal involveres i kommunikationen (2001: 51), er det samtidig et implicit
valg af hvilke sanser, der aktiveres for opnå det mest effektfulde kommunikative
resultat. Multisensorisk integration er, at mennesket baserer sin oplevelse af verden
på komplekse kombinationer af perception af sanseindtryk.
Jeg vil foreslå en sondring mellem direkte somatiske sanseoplevelser og indirekte
psykosomatiske sanseoplevelser. Somatiske sansninger er enkle eller komplekse
sanseoplevelser, som er kongruente med de stimuli, kroppen udsættes for. Indirekte
sansninger er, når sanseoplevelser opstår psykosomatisk som følge af andre
94