Lezione IV - Linguaggio e musica.pdf

Musica e linguaggio
Daniele Schön e Elena Flaugnacco
Padova 2010

Musica e linguaggio
Sono universali Coesione sociale
Sono fenomeni complessi Scomposti in fattori
Richiedono l’utilizzo di diverse operazioni cognitive

Livellidielaborazione...
Linguaggio
Ortografia
Fonologia
Prosodia
Sintassi
Semantica
Musica
Notazione musicale
Ritmo
Metrica
Melodia
Armonia

…e livelli di elaborazione
Linguaggio & Musica
● Analisi de suono
● Riconoscimento/identificazione di suoni
● Costruire una struttura temporale
● Estrarre regole
● Memorizzare le regole
● Costruire un lessico
● Dirigere l'attenzione
● Selezionare l'informazione pertinente

Grammatica generativa (Chomsky, 1957)
Linguaggio = modulo indipendente da altre funzioni
cognitive; il linguaggio è un sistema
complesso basato su di una grammatica
universale. Il submodulo della sintassi ha un
ruolo dominante.
Grammatiche cognitive (Langacker, 1991)
Linguaggio = proprietà emergente che utilizza meccanismi
generali della cognizione; il linguaggio
dipende dai principi cognitivi generali e dalle
esperienze percettive e sensomotorie;
(attenzione, MBT, memoria episodica). La
sintassi non è indipendente da fonologia,
morfologia, semantica e pragmatica, ma si
sviluppa con esse.

Fonemi vs Altezza
Percezione categoriale : Segmentazione del continuum sonoro in unità discrete
La variabilità del numero di note per ottava, between cultures è relativamente bassa
Il numero dei fonemi differisce ampiamente between language (da 11 a 141)
Le ottave sono percepite come equivalenti in (quasi) tutte le culture
Le relazioni fra i pitches sono più semplici che quelle fra i fonemi
Phonemic restoration:
Due fenomeni simili & alcune differenze
un rumore che rimpiazzi una nota o un fonema non viene
percepito dall’ascoltatore
Lexical knowledge and lexico-semantic expectations in one case, and musical
knowledge and expectancies in the other case, take over low level processing analysis,
filling in the missing information

Differenze & Somiglianze
La musica sottosta ad alcuni principi gestaltici della percezione grouping
Ma possiede sue propie regole, spesso culturali-dipendenti e.g. cadences
Le regole della struttura musicale sembrano più flessibili e ambigue delle regole sintattiche
La funzione comunicativa del linguaggio favorisce una stabilità sintattica
L’ambiguità è un elemento chiave della struttura ed estetica della musica
Armonia, dimensione verticale
Sintassi
Musica e linguaggio necessitano di elaborazioni integrative della struttura
madrigali vs tribuna politica

Il significato delle parole è in in
relazione ad uno spazio extra
linguistico designato
(a)Semantica
La musica è auto-referenziale
Il senso interno della musica può essere concepito come qualcosa che va oltre una
struttura obiettiva di riferimento e le possibilità del linguaggio verbale (Piana, 1991).
La musica significa se stessa. Ossia, un evento musicale (nota, frase o intera sezione) ha un
significato in quanto indica e ci fa aspettare un altro evento musicale (Meyer, 1956).
Qual è il significato della musica Cosa posso fare con i suoni?

Studiare le basi neurali del linguaggio e
della musica attraverso il canto
Comportamento universale
Combinazione complessa d'informazione
linguistica e musicale
?
linguaggio musica

Metodologia
Potenziali evocati

s s s s s
0 200 400 600 800 1000 1200 1400 1600 1800 2000 ms
s
100 µV

s s s s s
0 200 400 600 800 1000 1200 1400 1600 1800 2000 ms
s
100 µV

s s s s s
0 200 400 600 800 1000 1200 1400 1600 1800 2000 ms
s
20 à 30 essais
5 µV

EG
Potentiels
Évoqués
(PEs)
s s s s s
0 200 400 600 800 1000 1200 1400 1600 1800 2000 ms
s
Technique de sommation et moyennage
20 à 30 essais
5 µV

(Besson & Macar, 1987)
SEMANTICA vs MELODIA
Scopo : Valutare il significato funzionale della N400
Metodo :
Presentazione di frasi terminanti con una parola
semanticamente congruente o incongruente
Presentazione di stimoli non linguistici egualmente terminanti
in modo congruente o incongruente.

Significato e melodia, Besson & Macar, 1987
Da un esperimento con gli ERPs condotto da Kutas e Hillyard, risulta che, in un
compito in cui ai soggetti viene presentata una frase in cui la parola finale è
semanticamente inaspettata e incongruente, si verifica una brusca diminuzione
del voltaggio del potenziale cerebrale, circa 400 ms dopo la presentazione della
suddetta parola.
Questo ed altri studi indicano la componente N400 come indice dei processi di
integrazione della parola con il contesto linguistico in cui viene presentata.
Lo stesso esperimento è stato fatto per valutare gli effetti di una nota
incongruente e fuori tonalità, o di una nota in tonalità ma meno aspettata della
tonica e la tonica, con musiche famigliari e non.
I risultati evidenziano un picco di aumento del voltaggio dopo 600ms. Quindi
esiste una similitudine di fondo tra semantica nel linguaggio e nella musica, ma
con una differenza qualitativa, forse esplicabile proprio con la mancanza di un
significato intrinseco e l’autoreferenzialità del sistema musicale.

Besson et al. 1998 Semantica e armonia nell’opera
Un interrogativo che sin dal 1600 interessò sia i
musicisti che i compositori è se nell’opera siano più
importanti le parole o la musica.
Secondo Stendhal, in Life of Rossini, la musica èpiù
importante ed anima le parole.
Più tardi, gli etnomusicologi, evidenziarono che nei
canti tribali e nei rituali le liriche sono subordinate
alla musica.
Al contrario Richard Wagner, Pierre Bouleze e
Richard Strauss considerano entrambi gli aspetti
intrinsecamente legati.

Besson et al. 1998 Semantica e armonia nell’opera
Verifica
Besson et al. hanno messo in atto un esperimento basandosi sulle
componenti P600 e N400.
Hanno selezionato 200 estratti dall’opera francese dell’800 e del ‘900 e
li hanno fatti cantare ad una cantante.
Soggetti: ascoltatori, 16 musicisti d’opera, sottoposti alla registrazione
degli ERPs in 4 condizioni diverse:
a) ultima parola dell’estratto semanticamente congruente e cantata
nella giusta tonalità;
b) semanticamente incongruente, ma nella giusta tonalità;
c) semanticamente congruente, ma fuori tonalità;
d) semanticamente incongruente e fuori tonalità.

Risultati
Nelle condizioni a singola incongruenza:
• le parole incongruenti elicitano la componente N400
• le note incongruenti elicitano la P600
Nella condizione di doppia incongruenza vengono attivate entrambe le
componenti.
• i tempi di attivazione anche in questo esperimento sono diversi: la N400
viene prima della P600, a dimostrazione del fatto che le parole siano
processate più velocemente della musica.
• Gli effetti della condizione di doppia incongruenza non sono
significativamente diversi dalla somma degli effetti delle condizioni di
singola incongruenza.
• Indipendenza dell’elaborazione degli aspetti semantico-linguistici da quelli
armonico-musicali.
Probabilmente quando ascoltiamo l’opera elaboriamo le parole e la melodia
in modo indipendente e il linguaggio sembra essere processato più
velocemente.

Besson et al. 1998
Ipotizzano che se liriche e melodie vengono processate separatamente
allora gli ascoltatori possono focalizzare l’attenzione in modo separato
sull’uno o sull’altro aspetto, in base alle istruzioni.
• Il risultato interessante evidenzia che la componente N400 per le
parole incongruenti sparisce completamente quando i partecipanti
focalizzano l’attenzione sulla musica.
• Allo stesso modo la P600 viene drasticamente ridotta quando
l’attenzione è sul linguaggio.
• Tuttavia c’è un limite a questa indipendenza: i risultati nella doppia
incongruenza mostrano che la presenza di un tipo di incongruenza
influenza il processamento dell’altra.
• Nella condizione di doppia incongruenza i musicisti non sono in grado di
ignorare completamente l’incongruenza melodica.

Punti interessanti
Diverse aree mostrano un'interazione (= non indipendenza)
delle dimensioni linguistica e musicale
Queste aree non possono essere considerate come modulari
Potrebbe essere il caso che, a seconda di come le dimensioni
linguistica e musicale sono combinate, l'elaborazione potrebbe
risultarne facilitata o deficitaria

Apprendimento statistico
I confini fra le parole possono essere scoperte attraverso un
calcolo delle proprietà statistiche dei suoni
Quali statistiche? Probabilità condizionali
Se X è vero, qual è la probabilità che Y sia vero?
BELLABIMBA
La probabilità condizionale fra BEL e LA
è più grande di quella fra LA e BI

Bupadadutabapatubi…
Saffran, Newport & Aslin (1996)
Concatenazione casuale di 6 parole trisillabiche (11 sallabe)
…28 minuti di ascolto passivo
Compito di valutazione
36 item two-alternative forced choice test (Una parola/Una non-parola)
Qual è la più familiare?
Saffran, Johnson, Aslin & Newport. (1999)
Parole tradotte in sequenze di suoni, senza contenuto
fonetico ma con la stessa struttura statistica
11 sillabe 11 note

Risultati
'apprendimento ha luogo con entrambi i materiali linguistico e non
a performance è migliore con le « parole » che hanno delle
robabilità condizionali più elevate
Conclusione
a facilità con la quale una particolare sequenza è appresa
ipende dalla struttura statistica delle sequence piuttosto che dal
ominio nelle quali sono esemplificate
Domanda
E la combinazione di informazione linguistica e musicale?

Linguaggio & Musica
Canto
s i p y g y g i m y s y p y m i s o p o g y s i s y s i p i m i m o s i
Linguaggio cantato: ogni sillaba è cantata sulla stesa nota
L'informazione musicale porterà beneficio
all'apprendimento del linguaggio

Linguaggio cantato
Linguaggio parlato
%
c
o
r
r
e
t
t
e
7 minuti di ascolto passivo
prendimento testato di coppia di parole o pseudo parole parlate
100
50
0
100
50
0

Combinare l'informazione linguistica e musicale facilita la
egmentazione delle parole e l'emergenza delle rappresentazion
lessicali
Come spiegare un tale beneficio?
•Diversi livelli di arousal/attenzione?
•Informazione statistica ridondante alle frontiere delle parole?

Nuovo linguaggio cantato
Frontiere linguistiche e musicale non sono più in fase
s i p y g y g i m y s y p y m i s o p o g y s i s y s i p i m i m o s i
s i p y g y g i m y s y p y m i s o p o g y s i s y s i p i m i m o s i g i m y s y
Rispetto al linguaggio precedente il livello di arousal/attenzione è controllato

100
50
0
Parlato Cantato in fase Cantato “sfasato”
100
50
*** p

Riassunto
ovrapposizione delle regioni che elaborano stimoli linguistici,
usicali e cantati
laborazione lessico/fonologica e melodica non sono indipendent
ella percezione del canto
terazione ha luogo in regioni temporali e frontali
’apprendimento di un nuovo linguaggio, soprattutto nelle prime
si, durante le quali bisogna segmentare le parole, trae beneficio
alle proprietà motivanti e strutturanti della musica

Prosodia e melodia
Prosodia: la musica del linguaggio, accentuazione,
metrica intonazione …
Melodia : successione di note in una frase musicale
Parametrici acustici interessati:
F0, intensità durata, timbro

Quanti studi? 1
Patel, Peretz, Tramo et al. (Music Perception, 1998): studio neuropsicologico
Due pazienti amusici (lesione bilaterale) test di discriminazione prosodica e musicale
Discriminazione Prosodica : coppie di frasi con differenze ritmiche o intonative
Discriminazione Musicale: frasi musicali derivate dalle frasi linguistiche (filtraggio)
Risultati: un paziente con buona performance in entrambi i compiti
un paziente con pessima performance in entrambi
Conclusione: risorse neurali condivise
Problemi
Gli stimoli musicali non sono musicali
Conclusioni un po’ premature …

Obiettivi dello studio
1. Elaborazione prosodica e melodica: simile o diversa?
F0, intensity and duration
Manipolazione della F0
2. L’apprendimento della musica influisce
sull’elaborazione del contorno intonatico del linguaggio
3. Processi cognitivi generali o dominio specifici?
Musicians vs non-musicians

Besson e Faita 1995
Musicisti vs Non musicisti:
Nei musicisti la componente positiva ha un’ampiezza
maggiore e un tempo di latenza minore

Metodi
Soggetti: 18 destrimani (31 aa) di madrelingua francese
(9 musicisti e 9 non- musicisti) (pagati)
Stimoli
120 frasi estratte da libri per bambini, terminantisi con parole
bisillabiche
120 frasi musicale: - metà estratte dal repertorio infantile
-metà composte ex-novo
3 condizioni: congruenza, debole incongruenza, forte
incongruenza

Un loup se faufile entre les troncs de la grande
solitaire
F0 + 35%
F0 + 120%
forêt

Compito: congruente o incongruente?
premi veloce il bottone 1 o 2
+ 1/5 di tono +
+ 1/2 tono

Dati comportamentali
Errori (%)
Tempi di Reazione
(msec)
%
1400
1200
1000
800
600
400
200
0
70
60
50
40
30
20
10
0
Musica Linguaggio
congruity weak incongruity strong incongruity
congruity weak incongruity strong incongruity
%
1400
1200
1000
800
600
400
200
0
70
60
50
40
30
20
10
0
congruity weak incongruity strong incongruity
congruity weak incongruity strong incongruity

Electrophysiological data (Pz electrode)
y=ampiezza, x=t
Musica
Linguaggio
Non-musicisti
-5
10
0
2000 ms
z z
Musicisti
Congruente
Poco incongruente
Molto incongruente

Evoluzione dell’effetto di congruenza nel linguaggio
** = p

Prosodia congruente (50-150 ms). Musicisti
componente negativa distribuita bilateralmente, nei
non musicisti lateralizzata a sx.
Musicisti
50 75 100 125 150 ms
Non-musicisti
50 75 100 125 150 ms

Conclusioni
•I musicisti hanno una prestazione migliore in entrambi i compiti:
accurata rilevazione della violazione del pitch sia nella musica che
nel linguaggio.
•Nei non musicisti l’incongruenza lieve non ha effetto.
•Il materiale linguistico incongruente nei musicisti elicita prima la
componente positiva.
•Corrispondenza tra risultati comportamentali ed elettrofiosologici.
•Il training musicale facilita la detezione della violazione del pitch
sia nella musica che nel linguaggio.

Postludium I
Cultural artifacts Brain functions
Language
rthography
Phonology
Prosody
Syntax
Semantics
Pragmatics
Music
Musical notation
Rhythm
Metre
Melody
Harmony
Semiotics
● Sound analysis
● Sound Recognition/identification
● Building a temporal structure to “hold
on” sounds
● Extracting rules
● Memorizing rules
● Storing in a lexicon
● Directing attention
● Selecting relevant information
●…

Postludium II
Language and music as modular?
We have shown that «phonological» and «melodic»
processing are far from being processed independently
by the brain
Even early language learning steps (segmentation)
seem to rely on non-domain specific and nonencapsulated
mechanisms