Inferenza e test statistici - Dipartimento di Economia e Statistica

Esperimento deterministicoEsperimento casualeOvunque si attivi un processo di osservazione e/o misurazione di un fenomenosoggetto a variazione c’è un esperimentoL’esito di un esperimento deterministico è prevedibile con certezzaESEMPIO: area del quadrato:Y = X 2X=Latonoto il lato, l’area del quadrato è univocamentedeterminata: x=5-->y=25Negli esperimenti di laboratorio relativi a molte leggifisiche le relazioni sono “quasi-deterministiche” in cuigli errori sono imputabili a problemi di misurazione.Un esperimento casuale è una prova che può essere riproposta -fisicamente o virtualmente- una, due, infinite volte nelle medesimecondizioni senza che si possa stabilire quale sarà l’esito dellaprossima manifestazione.EsempioCi sono situazioni in cui l’incertezza è non è trascurabile ed altre in cui èdominanteEsperimento e variabili casualiL’esperimento casuale è una prova il cui esito è soggetto alla sorteIn genere non siamo interessati a tutto l’esperimento, ma a suoi aspettiparticolari: le variabili casuali.EsperimentoScelta casuale di una persona abbonata ad una pay-TVL’ora, il luogo e le modalità con cui si verifica un incidente automobilisticodipendono da innumerevoli fattori ed una modifica in qualcuno potrebbeevitare il sinistro.Non è possibile stabilire, tra tutti coloro che si metteranno in macchinadomani, chi subirà un incidente, ma è praticamente certo che aqualcuno capiterà (si spera con solo lievi danni al mezzo).Variabili casualiCanale su cui è sintonizzata la TV al momento del contatto (nominale)Numero di cambi di canale ogni 15 minuti (discreta)Tempo di accensione domenicale nella fascia oraria 14-18 (continua)Casuale è l’esperimento, casuali saranno i valori osservati.Le variabili casuali sono figlie dell’esperimento casuale.

Esperimento e variabili casualiL’esperimento casuale è una prova il cui esito è soggetto alla sorteIn genere non siamo interessati a tutto l’esperimento, ma a suoi aspettiparticolari: le variabili casuali.EsperimentoScelta casuale di una persona abbonata ad una pay-TVVariabili casualiCanale su cui è sintonizzata la TV al momento del contatto (nominale)Numero di cambi di canale ogni 15 minuti(discreta)Tempo di accensione domenicale nella fascia oraria 14-18 (continua)Casuale è l’esperimento, casuali saranno i valori osservati.Le variabili casuali sono figlie dell’esperimento casualeVariabili casuali e probabilitàAd ogni modalità della variabile nominale o discreta, l’esperimento casualefornisce in dote una probabilità: in forma tabellare o con una formulaEsperimentoScelta casuale di una persona iscritta nelle liste elettoralidel comune di SerranoVariabili casualiCoalizione per cui ha intenzione di votareCoalizione TendenzaDestra 0.3Centro 0.1Sinistra 0.2Altre 0.41.0Numero di votazioni a cui ha partecipato#%( 2i "1) 3p i= $ per i =1,2,…,20319600&% 0 altroveVOTEDEMOCRATVariabili casuali continuePer le variabili continue l’assegnazione può avvenire solo per classi dimodalità ovvero con una funzione di densitàEsperimentoCorso di chiusura di un titolo alla borsa valoriVariabile casualeTasso di rendimento in base al valore di chiusuraClassi di probabilitàTasso Probabilitàda -5.0 a -2.5 0.1da -2.5 a 0.0 0.1da 0.0 a +2.5 0.2da +2.5 a +5.0 0.5da +5.0 a +9.9 0.11.0!Modelli di variabili casualiLe probabilità (come tabella o come formula) derivano:Dalle condizioni sperimentaliDall’aspetto descritto dalla variabile casualeDa informazioni aggiuntiveLa statistica ha elaborato molti modelli sia per le variabili nominali e discreteche per le variabili continue.Molti possono essere studiati e approfonditi nel libro di testo(apprendimento libero)Funzione di densità( ) =h x2( x + 5)$&% 75& 2 10 " x'( )75" 5 < x # 00 < x #10-5 010Nel prosieguo analizzeremo un solo tipo di esperimento: estrazione di uncampione da una popolazione di unità.Attenzione! Le variabili casuali sono delle popolazioni.!

La funzione di ripartizioneCalcolo delle aree sottese alla curvaLe probabilità cumulate sono espresse daè sono calcolate con metodi di approssimazione numerica=DISTRIB.NORM.ST()Esprime la probabilità di osservare unvalore della normale tra “a” e “b”Importanza della normaleRisiede nel fatto che moltissimi fenomeni possono esservi rappresentati.La t di StudentQuesto modello è molto simile a quello gaussiano, maha code più ”pesanti” (ordinate estreme più alte)Infatti, la normale serve da efficace approssimazione di molte altrevariabili casuali continue e discrete.!"< t n < ", n > 2E( t n ) = 0, Var( t n ) =nn ! 2La varianza è superiore all'unità, masi avvicina ad uno all'aumentare di "n"L'elemento caratterizzante della t di Student sono "i gradi di libertà" nche è il parametro della t di Student.Già nel 17° secolo, Galileo discusse il comportamentodelle misurazioni delle distanze astronomiche avendoin mente il modello normale della compensazione traerrori di segno opposto.Per ogni grado di libertà esiste una t di Student, sebbene queste diventino pocodistinguibili per n!60.Questa v.c. è stata analizzata da W.S. Gosset, nel 1906, che firmò l'articolocon lo pseudonimo "STUDENT" ed è da allora nota come "La t di Student"

" 2 (chi-quadrato)Questo modello è definito per i soli non negativi e presenta una marcata asimmetriapositivaAnche in questo caso l'elementocaratterizzante sono "i gradi dilibertà" cioè “g”E (! 2 ) = g, Var (! 2 ) = 2gParametri delle distribuzioni1. Posizione: specificano la tendenza centrale dei valori nelmodello od anche il punto di massimo addensamentoPDF for NormalX ~ N(20, 5) X ~ N(50, f(x) 5)Per “g” superiore a 30 la distribuzione del " 2 si avvicina a quella normaleRANGE10. CM 6La distribuzione del " 2 si incontra nellostudio dell’adattamento e della variabilitàIND EXQuesta è importante nelle analisi clinichee nel controllo della qualitàA RTE RYADULT SIZE0 10 20 30 40 50 60 70xParametri delle distribuzioni/2Parametri delle distribuzioni/32. Scala: determinano l’unità di misura della variabile (espansione ocontrazione della scala delle ascisse)3. Forma: Controllo la forma che assume il modello di probabilità. Inparticolare, l’asimmetria, l’appuntimento al centro, la pesantezzadelle codePDF for NormalX ~ N(20, 3)f(x)f(x)PDF for BetaX ~ N(20, 5)X ~ Beta(3, 2) X ~ Beta(2, 3)0 5 10 15 20 25 30 35 40x0.0 0.2 0.4 0.6 0.8 1.0 1.2x

inferenza statisticaSe non si hanno dati attendibili su tutta la popolazione allora si devetrattare con un campione.Logica della Inferenza"statisticaLe situazioni in cui la statistica si è più affermata sono gliesperimenti replicabili.Il campione non interessa di per sé, ma in quanto consente di arrivare allapopolazione da cui è stto estratto.Il processo induttivo dal NOTO (campione) all’iNCOGNITO (popolazione)prende il nome di INFERENZA STATISTICA.Le esigenze conoscitive si limitano spesso a pochecaratteristiche dell’esperimento: valore atteso evarianza di una o più variabili.E S P E R I M E N T OM O D E L L OPer proseguire dobbiamo però ipotizzare che il meccanismo di selezionedelle unità sia soggetto alla sorteAd ogni campione deve essere possibile associare la probabilità diestrarlo (VEROSIMIGLIANZA)Tali caratteristiche sono spesso i parametri del modelloche descrive il comportamento delle variabili casuali.P A R A M E T R IC a m p i o n eCome sfruttare al meglio le informazioni del campione perdeterminare il valore dei parametri nella popolazione?Le procedure inferenzialiLa stima puntualeCiò che interessa questo corso è riconducibile ai seguenti casi:E' la procedura più semplice: in base alle osservazioni campionarie si ottieneil valore di una statistica da sostituire al parametro o alla caratteristica da stimareLA STIMA PUNTUALE DEI PARAMETRIquando propone un singolo valore come stima di un parametro o di unacaratteristica della v.c.C'è da aspettarsi un certo scarto trala stima puntuale ed il parametroincognito, ma noi non conosceremomai né l'entità né il segno.LA VERIFICA DI IPOTESIEssa dipende da molti fattori, alcunidei quali saranno studiati nelprosieguo del corso.Da esperienze precedenti o dalla logica delle indagini si può supporre che i parametriabbiano determinati valori.La stima puntuale nulla ci dice sulla sua attendibilità che deriva solo dallavalidità generale della procedura di stima

Gli stimatoriLo stimatore è una funzione NOTA dei valori inclusiin un campione casuale. Il suo valore è la STIMAE’ caratteristica quantitativa della popolazione dallaquale il campione è stato estratto.Esempi di stimatori:ESEMPIO:Stimatore e stimaQuale stipendio si può aspettare la manager di una USL?Si sceglie un campione casuale diciamo di n=3 manager già in servizio e sicalcola il valore atteso della loro retribuzione. Supponiamo che µ x =65il valore "65 mila euro" è una STIMA del salario ipotetico, la media campionaria èuno STIMATORE del salario.La stima è il valore assunto dallo stimatoreper un campione cioè in uno specifico puntodell’universo dei campioni=!^il valore può variare dacampione a campioneUno stimatore è detto naturale se ciò che si calcola nel campione è instretta analogia con ciò che si deve stimare nella popolazioneValori possibilidel parametro !StimaEsempioL'estrazione del campione produce la n-tuplasono le osservazioni campionarieOgni n-tupla, a sua volta, produce un valore dello stimatoreSi esamina un campione casuale di 10imprese e si rileva X il numero di dipendentiregolari.Il valore della X è casuale perché non ècerta quale azienda finirà nel campioneOsservazionicampionariei cui elementiLa distribuzione degli stimatoriLo stimatore è una variabile casuale connessa all’esperimento: estrazionecasuale di un campione.Conoscere la sua distribuzione ci serve per descrivere l’andamento deirisultati che si possono osservare replicando il campione.Dobbiamo ricordare che…Stimare significa dare un valore a qualcosaCalcoliamo alcuni stimatoriLa stima ottenuta da un campione può essere diversa da quellaottenuta con un altro campioneLa stima tende differire dal parametro da stimare, ma se conosciamola distribuzione campionaria dello stimatore possiamo quantificareprobabilisticamente l’errore

Degli stimatori ci interessa:Valore attesoUn altrfo aspetto essenziale èLa varianzakE( T ) = ! T i Pr T = T ii=1( )il valore atteso è il valore della media aritmetica di "T" calcolata su tutti ipossibili campioni di ampiezza “n”.k! 2 ( T ) = # T i " E( T)i=1[ ] 2 Pr( T = T i )k 2T= # ik " E( T)i =1[ ] 2Se la media E(T)=# cioè il parametro da stimare, allora T è uno stimatoreNON DISTORTOLo scarto E(T) - # è detto Bias (pron. baias)La varianza dello stimatore dà una indicazione delle fluttuazioni campionariecioè quantifica le differenze tra i suoi valori potenziali nei diversi campioni.illustrazioneCaratteristica importanteUno stimatore valido dovrebbe avere una varianza che tende a zeroBias elevato, moderata variabilitàBias moderato, elevatata variabilitàBias elevato, elevata variabilitàBias moderato, moderata variabilitàSe la varianza dello stimatore tende a zero all’aumentare dell’ampiezza delcampione, allora lo stimatore è considerato CONSISTENTE (COERENTE)

Legge dei grandi numeriDi solito si ignora la variabile casuale che può descrivere un dato aspettodella popolazione.Di conseguenza non è possibile costruire la distribuzione degli stimatori.Inoltre, uno stesso stimatore ha una distribuzione campionaria diversa indipendenza del tipo di variabile casuale che descrive la popolazione.C’è una via d’uscita? La legge dei grandi numeri!Quincux1) Le biglie entrano nell’imbuto dai vari fori2) Le biglie escono dall’imbuto una alla volta3) Le biglie rimbalzano a caso tra i vari pioli4) Ogni biglia imbocca una sola scanalaturaRisultato finaleSe la distribuzione non è nota, ma il campionecasuale è abbastanza numeroso e le estrazionisono indipendenti è possibile approssimare ladistribuzione degli stimatori con il MODELLONORMALESchema dell’inferenza statisticaTest delle ipotesiSi deve stabilire il grado di attendibilità di una ipotesi statisticaSe la decisione si potesse basare sullaconoscenza totale si avrebbe una conclusionedefinitiva: l'ipotesi è VERA o FALSA.Come in molte scienze sperimentali non potremodimostrare vera o falsa una affermazione.Potremo solo affermare: è più coerente o menocoerente con i nostri dati campionari.

Formalismo dei TestL'IPOTESI STATISTICA H 0è una asserzione verificabile su di una variabilecasuale. In genere riguarda i suoi parametri.Formalismo dei Test/2il valore # 0è scelto in base a varie considerazioni:Supponiamo di conoscere la funzione di densità della v.c.: f(X;#) di cuiperò ignoriamo il valore del parametro #.In genere, la H 0ipotizza un certo valore del parametro e ne valuta la suaconformità con i dati campionariH 0: " # " 0= 0Dalla logica dell'esperimentoDa esperienze precedenti o indagini pilotaE' un livello critico (baseline) da cui allontanarsiÈ detta “nulla” perché, di solito, niente cambia se è accettataE' un livello desiderato!Formalismo del Test/3Consideriamo L'UNIVERSO DEI CAMPIONI di ampiezza “n” cioè l'insiemedi tutte le possibili realizzazioni della n-tupla …Formalismo del test/4Le fluttuazioni campionarie fanno ritenere che ci siano differenze più o menograndi tra campione e popolazione da cui è estratto.n=3Dobbiamo dotarci di uno strumento che ci aiuti a giudicare se le differenzesono significative (rifiutiamo H 0) o poco significative (non rifiutiamo H 0)In tale spazio, il campione estratto èsolo un punto.Le differenze sono da considerarsi significative se è bassa la probabilità chesiano ascrivibili solo a mere variazioni campionarie.L'idea del test è di assegnare ad ogni campione una probabilità dettaLIVELLO OSSERVATO DI SIGNIFICATIVITA’ (p-Value)Quanto bassa?E’ soggettivo!e in base a questo decidere sull’ipotesi H 0.

La statistica testE’ l’anello di congiunzione tra universo dei campioni e valori del parametroLa distribuzione della statistica test T(X;#) è funzione:Del campione casuale ( X 1, X 2,…, X n )Del parametro da stimare: #Le statistiche test più in uso sono del tipo:( ) = T #"$ ( T)T X;"Applicazione/1Una docente sa che -storicamente- i risultati dei suoi esami scritti hannoµ=25, !=3.Però, nell’ultima prova, i risultati dei primi 10 compiti sono molto scadenti.Che si tratti un corso ad alta densità di ciucci?Come statistica test sembra ovvio scegliere la media campionaria.!Ipotesi nulla H 0: (µ " 25) = 0Ipotesi alternativa H 1: µ < 25La docente rifiuterà H 0se il voto medio osservato nel campione sarà moltopiù piccolo di 25.Il fatto che si rifiuti H 0non implica necessariamente che accetti H 1.Potrebbe anche decidere di rinviare la decisione in attesa di avere più dati.L’ipotesi alternativa è inserita soprattutto per stabilire la direzione del test!Applicazione/2N.B. si è sostituito l’evento puntoµ=23 con l’evento intervallo µ!23Applicazione/3Dopo aver corretto altri 25 compiti risulta che, su questi, si haA questo punto sorge un altro dubbio: che l’assistentedel corso, imbranato come una foca, abbia mischiato icompiti con quelli della classe “advanced” !ˆ µ = 27Ipotesi nulla H 0: (µ " 25) = 0Ipotesi alternativa H 1: µ > 25La direzione del test è ora verso i valorialti poiché i valori inferiori a 25 nonfanno sorgere questo tipo di dubbio!( ) " P&ˆP µ ˆ ! 27µ = 25$ µ # 25 27# 25'! ) = P( Z ! 1.2) =1 # 0.8849= 0.1151% 1.6667 1.6667(Lo scarto 25-27 è poco compatibile con l’ipotesiUn valore superiore maggiore o uguale di 27 lo si può trovare nell’11% deicampioni da popolazioni aventi media 25. L’assistente si salva.

P-Value/2Dipende sia dalla distribuzione della statistica test che dal tipo di alternativa.Se P -value # 1%.GuidaAldilà di ogni ragionevole dubbio si puòrifiutare H 0Nel caso della normale si ha:Se 1% # P -value # 5%. Ci sono buone ragioni per rifiutare H 0Se 5% # P -value # 10%.Ci sono ragioni per rifiutare H 0 , ma non sonodel tutto convincentiSe P -value > 10%. E’ consigliabile non rifiutare H 0I valori sono solo apparentemente bassi.Formule analoghe possono essere determinate per la t-Student e per le altredistribuzioni coinvolte nella verifica di ipotesi (chi-quadrato, F-Fisher, etc.)Le condizioni di applicabilità dei test (adesempio la distribuzione normale) sonovalide solo in parte).Di conseguenza, solo una forte evidenzapuò convincere a rifiutare l’ipotesi nulla(angolatura conservativa)EsempioUna compagnia controlla la situazione di magazzino in base alle vendite dell'annoprecedente. Si supponga che gli ordini dell'anno precedente abbiano dato luogoµ=36 miliardi e !=2 miliardiNel primo quadrimestre (n=225) si è riscontrato µ x=35.82. Ci sono cambiamenti?H 0 : µ = 36H 1 : µ ! 36" 35.82 ! 36%Z c = 225$' = !1.35# 2 &Poiché n è grande possiamo utilizzare la normale cioè la statistica testAmpiezza del campione e p-valueLa statistica test è uno stimatoreconsistente del parametro sottoipotesi.Quindi, all’aumentaredell’ampiezza del campione, lasua variabilità si riduce.Questo implica che le code delladistribuzione della statistica testdiventano più sottili.n!più!grandeA parità di p-value, la corrispondente statistica test è inferiore.n!più!piccoloT 1(X;!) T(X;!)Ovvero, la stessa statistica test può avere un p-value più piccolo perché ilcampione è più grande.Cioè circa 18 volte su 100, il campione di n=225 estratto dalla popolazione N(36;2)disterà più di 1.35 dalla media ipotizzata. Il valore 35.82 non è allora troppo strano.Non ci sono ragioni sufficienti per pensare ad un cambiamentoATTENZIONE!Campioni molto grandi possono rendere significative dei valori della statisticatest poco rilevanti dal punto di vista pratico.

EsercizioLa produzione media per ettaro è stata di 18Kg con !=7.12. L’uso di un nuovo fertilizzantesu n=30 ettari sperimentali, ha dato luogo aµ ˆ = 19.5Ipotesi nulla H 0 : (µ !18) = 0P( µ ˆ ! 19.5 µ = 18)" P$&&%µ ˆ # 187.12! 19.5#187.1230 30')) =(P( Z !1.15) = 1 # P( Z < 1.15) = 0.1251Il p-value è relativamente elevato. Non sembra ci sia sufficiente evidenza cheil nuovo fertilizzante incida significativamente sulla produttività.Importo42.62 Ampiezza 34 =Conta.Numeri(A2:A35)46.68 Campionaria51.7362.48 Media 48.84 =Media(A2:A35)50.28 Campionaria43.8652.47 Varianza nota 2540.99 Popolazione37.9746.00 H 0: != 5045.14 H 1: ! 018.7419.42 Statistica 2.28487638 =(D5-D11)/radq(D8/D2)16.15 Test11.0221.27 p-Value (coda superiore) 0.01116001 =1-Distr.Norm.St(D14)21.1128.1429.43 Si può rifiutare l'ipotesi che l'indice aziendale sia in equilibrio16.42 Affermando che è sbilanciato verso l'alto si sbaglia l'1%13.54 delle volte10.0316.4223.17Scarto-2.31-0.36-2.24-4.56-3.35-1.97-0.84-1.37-1.681.17-0.751.171.360.25-3.72-0.47-1.88-0.161.31-2.510.37-1.22-1.15-1.221.32-0.83-1.700.541.110.31-1.29-1.711.36-1.43-1.810.76-1.67-1.470.640.28-1.05-0.49AmpiezzaCampionariaMediaCampionariaVarianza nota 2.25PopolazioneH 0 : != 0.0H 1 : ! " 0StatisticaTest42 =Conta(A2:A43)-0.79 =Media(A2:A43)-3.41908683 =(D5-D11)/radq(D8/D2)p-Value (coda inferiore) 0.00031421 =Distr.Norm.St(D14)P-value (coda superiore) 0.99968579P-value (totale) 0.00062842 =2*Min(D17,D18)Si può senzaltro rifiutare l'ipotesi che il corso azionariosi stia stabilizzando intorno allo zero

Se ! è incognito...Il calcolo del p-value ha finora ipotizzato che ! fosse noto e questo è moltoirrealistico.In genere “!” è stimato cons =n"( X i ! µ ˆ ) 2i =1n ! 1EsempioUna società che produce mobili ha sempre saputo che percostruire un arredo completo sono necessarie µ=20 ore/lavoro.Di recente, si è anche assunta manodopera con contratto diformazione e si teme che questo faccia aumentare i tempi.Dalla rilevazione dei tempi su di un campione casuale di n=9arredi risulta:La statistica test in questo caso è basata sulla t-Studentt c= x "µsn#= n µ ˆ "µ &% ($ s 'P( t c" 4.748) =1# P( t c$ 4.748) = 0.0007TDIST(4.748;8;1)I tempi sono realmente aumentati, chi affermasse il contrario direbbe la veritàsolo 7 volte su 10’000.!!!EsempioL'Antitrust ha disposto un controllosulla compagnia aerea "Facta" chepropone un volo AZ tra due noti scali a110 minuti.In un campione di n=49 si trova:µ ˆ = 108, ! ˆ = 7Ipotesi nulla H 0: (µ "110) = 0Ipotesi alternativa H 1: µ #110$ 108 "110't c= 49&) = "2,% 7 (( ) =1" P( t c+ 2) =1" [ 1" P( t c* 2)] = P( t c* 2) = 0.0256( ) = 0.0512P t c* "2p " value = 2 0.0256La dichiarazione della compagnia non sembra infondata, almeno allaluce del campione analizzatoEsercizioLa biologia di molti laghi cambia in peggioa causa delle piogge acide. Un lago èconsiderato NON Acido se Ph!6Ecco il livello di Ph rilevati da due studiosiitaliani in n=15 laghi alpini5.5 5.7 5.8 6.1 6.36.3 6.5 6.6 6.7 6.96.9 7.2 7.3 7.3 7.9Cosa si può dire sui laghi della zona esaminata?Ipotesi nulla H 0 : (µ ! 6)= 0Ipotesi alternativa H 1 : (µ > 6)"t c = 15 6.6! 6 %$ ' = 3.4586# 0.6719&( ) = 1 ! P( t c ) !3.4586) = 1 ! 1 ! P( t c ) 3.4586)P t c ( 3.4586!ˆ µ = 6.6s = 0.6719L’ipotesi può tranquillamenteessere rifiutata con un erroreprobabile del 2 per mille[ ]= P t c ) 3.4586( ) = 0.0019

Test sulla differenza tra medie(Z-test cioè varianze note)Indichiamo con D la differenza ipotizzata tra le due medie (spesso èzero) abbiamoEsempioLa proprietà di un ristorante vuole sapere se lanuova campagna pubblicitaria ha aumentato gliincassi. Ecco i risultati per il periodo precedentela campagna e per il periodo seguentePrima Dopon 50 30µ ˆ 12.55 13.30! ˆ 215 238( µZ c =ˆ 1 ! µ ˆ 2 ) ! µ 1 ! µ 22" 1+ " 2 2n 1 n 2( )La stessa procedura si applica se le ampiezze dei campioni sonoentrambe molto grandi ed i campioni sono indipendentiBasterà sostituire alle varianze incognite le loro stime campionariePer verificare l'ipotesi che la campagna sia stata efficace si pone" H 0 : µ 1 = µ#2$ H 1 : µ 1 ! µ 2Z c =12.55 !13.30215 250 + 238230= ! 0.7553.03 = !1.41Poiché il p-value del test è del 7.9% non possiamo rifiutare l'ipotesi H 0datoche un errore dell’8% è troppo alto statisticamente.A questo punto non c'è evidenza della efficacia della campagnaEsercizioUn’indagine sulla spesamedia di trasporti tra operatied impiegati ha dato luogo aiseguenti risultatiLa differenza nelle spese èsignificativa all’uno per milleA B C D E F1TEST SULA DIFFERENZA TRA MEDIE - VARIANZE NOTE2 Operai Impiegati SRUMENTI-ANALISI DEI DATI-3 11.14 13.02 Test z: due campioni per medie4 16.51 19.775 15.07 17.96 Test z: due campioni per medie6 18.41 22.157 10.49 12.20 Variabile 1 Variabile 28 19.70 13.77 Media 15.9503 17.80729 14.56 17.32 Varianza nota 3.5 4.110 16.12 19.28 Osservazioni 35 1911 17.52 21.03 Differenza ipotizzata per le medie 012 21.60 22.67 z -3.304413 16.11 19.27 P(Z

!EsempioUna ditta produttrice di batterie vanta una duratamedia µ 1=75 ore con SQM di 7 ore (valori ricavatida un campione casuale semplice di n 1=20batterie)Un campione di n 2=15 batterie di una dittaconcorrente ha dato luogo ad una media di µ 2=70ore con SQM di 5 ore." H 0 : µ 1 = µ#2$ H 1 : µ 1 ! µ 2p " value =1" T 33(2.35) =1.25%La ditta potrebbe avere qualche ragione a sostenere che le sue batterie duranopiù a lungo rispetto a quelle dei concorrenti1234567891011121314151617181920212223EsercizioTempi medi di completamento di un compito distinti per sessoA B C D E F GTEST SULLA DIFFERENZA TRA MEDIE - PICCOLI CAMPIONI - VARIANZE INCOGNITE MA UGUALIMaschi Femmine118.38 118.38 Test t: due campioni assumendo uguale varianza118.38 105.74105.74 109.35 Variabile 1 Variabile 2109.35 117.19 Media 119.3386 120.3630117.19 113.26 Varianza 66.8361 65.5155113.26 126.59 Osservazioni 15 19126.59 125.65 Varianza complessiva 66.0933125.65 107.41 Differenza ipotizzata per le medie 0.0000107.41 121.63 gdl 32.0000121.63 124.45 Stat t -0.3648124.45 123.42 P(T

EsercizioConfronto dei guadagni iniziali traLaureati non laureati.Lo scarto di 300 euro non risultasignificativo123456789101112131415161718192021222324252627282930313233343536373839A B C D E FTEST T- DUE CAMPIONI ASSUMENDO VARIANZE DIVERSELaureati Non laureati2123.77 1885.65 Test t: due campioni assumendo varianze diverse1720.96 1281.441924.34 1586.50 Variabile 1 Variabile 21670.92 1206.38 Media 1783.5170 1356.08151559.65 1039.48 Varianza 55948.8161 140122.46051386.49 779.73 Osservazioni 36 251598.77 1098.16 Differenza ipotizzata per le medie 3001969.72 1654.58 gdl 371616.39 1124.58 Stat t 1.506131516.71 975.07 P(T

Test della differenza tra proporzioni(H0: $ 1 -$ 2 %0)e la verifica di potesi si basa sulla statistica:EsempioLa dott.ssa Velia Zupo sostiene che l'inserimento di specifiche immagini sullahome page dell'azienda aumenterà di almeno il 10% i contatti operativi con ilsito compensando i maggiori costi. Detto fatto.Nei tre mesi precedenti i contatti operativi furono 188 su 376 (0.50), nei tremesi successivi 260 su 400. Verifichiamo l'ipotesi della Zupo.Z c =(! ˆ 1 " ! ˆ 2 ) " ! 0! ˆ 1 ( 1 " ! ˆ 1 )+ ! ˆ 2 1" ˆn 1( )n 2! 2con#! ˆ 1 = x 1% n1$%! ˆ 2 = x 2& n2( ) = 0.1( ) > 0.1#%H 0: ! 1" ! 2$&%H 1: ! 1" ! 2Z c=( 0.65 ! 0.50) ! 0.10.65 * 0.35 0.50 * 0.50+400 376= 1.42P-value=1-NORMSDIST(1.42)=0.07780389Ed il p-value si ricava dalla normale standardizzataNon ci sono sufficienti evidenze che la Zupo abbia ragione.Trasferita in portineria!Test della differenza tra proporzioni(H0: $ 1 -$ 2 =0)E' la situazione più diffusa. Se è vera l'ipotesi non ci sono DUE popolazioni, masolo UNA e la stima della probabilità di successo è:! ˆ = x + x 1 2=n 1+ n 2n 1! ˆ 1+n 1+ n 2La verifica di ipotesi si basa sulla statistica:Z c =che tende alla normalità.(! ˆ 1 " ! ˆ 2 )# 1! ˆ ( 1 " ! ˆ ) + 1 &%$ n 1 n(2 'n 2n 1+ n 2ˆ ! 2EsempioUna delle applicazioni più eclatanti della statistica avvenne nel 1954 con ilvaccino di Salk per la poliomelite.Il vaccino fu somministrato ad un campione di n 2=200745 bambini trovandox 2=33 casi di polio e ad un altro campione di n 1=201229 bambini venne datoun placebo nella versione DOUBLE BLIND con X 1=110 casi." H 0: ! 1= ! 2#$ H 1: ! 1> ! 2Z c=0.00038226= 6.425! 10.00035574 *201229 + 1 $#&" 200745%P-value=1-NORMSDIST(6.425)=6.62455E-11La somministrazione del vaccino ha dimezzato i casi di poliomelite. Per casoquesto sarebbe potuto succedere solo una volta su 50 miliardi

P-Value per la correlazioneUna volta calcolato r(x,y) su di un campione di osservazioni cosa si può diresul coefficiente di correlazione che lega le due variabili nell’interapopolazione?H 0 : ! = 0 (assenza di un legame lineare)H 1 : ! " 0 (presenza di un legame lineare)p-Value per il rho di SpearmanUna volta calcolato rho su di un campione, cosa si può dire sul rho diSpearman che lega le variabili nell’intera popolazione?H 0: " = 0 (NON esiste una relazione monotona)H 1: " # 0 (Esiste una relazione monotona)La statistica test che si usa è"$t c = n ! 2$#r( y, x)1 ! r( y, x)[ ] 2%''&!La statistica test che si puo’ usare è la stessa del coefficiente di correlazione#t c = n ! 2%%$&" (1 ! " 2 ('Per n

Test del rapporto di verosimiglianzaQuesto tipo di test poggia su un risultato valido per grandi campioni eper un numero elevato di categorie di righe e di colonne.Il p-value è ottenuto dalla distribuzione del chi-quadrato con (r-1)(c-1)gradi di libertà.Test del " 2 (chi quadrato)Questa metodologia è richiamata in tre distinte occasioniAdattamento delle frequenze osservate ad un modelloAd esempioCHIDIST(37.5617;4)=0,00000014Omogeneità di due o più campioniChe induce a rifiutare l’ipotesi di assenza di legame. Il legame esiste ed èabbastanza dal puto di vista statistico:Con questa asserzione si rischia di sbagliare 7 volte su 5 milioniIndipendenza in una distribuzione doppiaL'analisi di dati categorialiOgni osservazione di un campione di ampiezza “n” è classificata in una eduna sola di “k” categorie fisse ed invariabili.Categ. fr.ass. fr.rel.X 1 n 1 f 1X 2 n 2 f 2M M MX k n k f kn 1Siamo convinti che dietro queste frequenze ci sia un meccanismoche determina il verificarsi di una modalità piuttosto che un’altraL'analisi di dati categoriali/2Supponiamo che l’acquisizione dei dati avvenga in forma di proveindipendenti svolte nelle stesse condizioni.Ricorrono allora le condizioni del modello multinomiale e la probabilitàdella configurazione ottenuta èCateg.P( X = X i )X 1 ! 1X 2 ! 2M MX k! k1P( n 1 , n 2 ,…, n k ) =n!n 1 !n 2 !…n k ! ! n 1 n1 ! 2 n2 …! kkNote le $ isarà possibile calcolare la probabilità di qualsiasi allocazione delcampione tra le varie categorie e poi decidere sull’entità della differenza

Classificazione di un gruppo di n=20persone per gruppo sanguigno:Categ. fr.ass. fr.rel.0 7 0.35A 4 0. 20B 3 0.15AB 6 0. 3020 1.00EsempioSupponiamo che i gruppisiano equiprobabili.# H 0 :! i = 0.25 per ogni i$% H 1 : ! i " 0.25 per almeno un iAlla luce della classificazione prodottasinel campione, c’è sufficiente evidenza ditale meccanismo?Sotto H 0la probabilità di20!osservare la configurazione è P( 7,4,3,6 ) =7! 4!3!6! 0. 2520 = 0. 0042il test del " 2il grande pregio della multinomiale è che la statistica( ) 2! 2 % k fc = n i " #$ i'& i=1# i( ) 2( n n* = i " n# i% n$ = $) i=1 n#'i &ha una distribuzione che, per “n” abbastanza grande, è ben approssimatadalla " 2 (k-1) ( è richiesto che n*$ i! 5 per ogni “i”)2Poiché ! c è la somma ponderata di scarti al quadrato sarà nullo se e solo selo sono tutti gli addenti (perfetto adattamento).Ogni discrepanza tra teoriche ed osservate aumenta ilp-value) allontanandoci da H 0"""per avvicinarci ad H 1n i2i=1 n# i(* " n)2! c ( e quindi riduce ilAl momento non riusciamo a dire se è bassa o è alta dato che le possibilialternative sono moltissime.2 ( 7 " 5)! c =52Esempio (continua)+ ( 4 " 5)25+ ( 3 " 5)25+ ( 6 " 5)25Per i gradi di libertà si tiene conto che frequenze teoriche ed osservatecoincidono e che la somma la loro somma deve essere pari ad uno(quindisolo (k-1) sono libere di variare)Poiché la decisione verrà presa in base all'adattamento delle frequenze amodelli precostituiti si parla di test di adattamento (Goodness-of-fit Test ).= 10 5 = 2; gdl = (4 "1) = 3 Test sull'adattamentoSi vuole confermare o sconfermare l'ipotesi che le frequenze nel campionescaturiscano da una particolare distribuzione:#%H 0 : ! i = ! 0 i , i = 1,2,…, k$&%H 1 : ! i " ! 0 i , per almeno un iP-ValueDISTRIB.CHI(2;3)=57.2%Si adopera la seguente statistica test:Non c’è quindi evidenza di una distribuzioneNON uniforme dei pazienti per gruppo sanguigno( ) 2% 02 ' k f i " # i! c = n ' $0' i =1 #& i(*** = % n 2n (' $ i *0&'i=1n#) i )* " n

L’esperimento di MendelLa teoria di Mendel nacque dall’incrocio di piselli gialli lisci e piselli verdicorrugati: gli ibridi presenteranno i due caratteri in proporzioni determinate.EsercizioUn cliente può scegliere una particolare marca di caffé fra le tre in vendita suuno scaffale sotto osservazione. I risultati su 300 acquisti sono i seguentiH 0 :G. L.= 9 16 ; V.L.= 3 16 ; G.C.= 3 16 ; V .C.= 1 16i dati su cui si basò Mendel furonoCategoria frequenzeGialli lisci 315Verdi lisci 108Gialli corrugati 101Verdi corrugati 32556! 2 ( 315" 312.75) 2= + ( 108 "106.25 )2c 312.75 106.25= 0. 47+ ( 101"104.25)2312.7532 " 34.75+ ( )234.75il P-value del test è circa del 95% per cui non possiamo rifiutare H 0nemmeno a questi livelli “assurdi” di significativitàC’è il sospetto che i dati siano troppo buoni per essere veriP-value:0.01849971Frequenze teoricheSe il modello è completamente specificato (ipotesi semplice) si ottengono dallefunzioni di distribuzioni o di densitàEsempioGli studenti di informatica affrontano questioni relative ai linguaggi: 1) BASIC,2)FORTRAN, 3)C++, 4)PASCAL.Il tutoraggio è organizzato nel presupposto che B=40%, F=25%, C=25%, P=10%I dati raccolti hanno fatto riscontrare:Si accetta o si rifiuta l'ipotesi che l'assistenza sia ben organizzata?Da notare che occorre si abbia sempre:P-value= 0.116Non c’è evidenza sufficiente per ritenereche ci sia cattiva organizzazione

Presenza di parametri incognitiSpesso è noto solo il tipo di modello,ma si ignora uno o più parametriEsempioil numero di clienti in arrivo ogni ora in un ufficio postale, rilevato sulla base diun campione casuale di 100 ore, è stato il seguente:I parametri debbono essere stimati dal campioneCi sono però conseguenze sul test " 2 dato che l’uso duplice del campione“trucca” l’adattamento facendolo sembrare migliore di quanto non sia.Ne consegue che il p-value debba essere operare con meno gradi di libertàInfatti, si dimostra che, se “n” è abbastanza grande, se si stimano “m” parametriil p-value adatto deriva dalla distribuzione chi-quadro con (k-1-m)gradi di libertàP-value=68.9%. Non si può rifiutareEsercizioUna lampada è venduta con accluse 4 batterie. Si esamina un campione din=150 item riscontrando il numero di batterie difettose.Test dell’omogeneità dei campioniil test del " 2 può essere utilizzato anche nella seguente situazione:Si osservano due (o più) classificazioni campionarie.Si sottoponga a verifica l'ipotesi seguente:Le ampiezze possono essere diverse, ma le categoriesono identiche.Ci si chiede se i campioni provengono dalla stessapopolazione.Ad esempio per due campioni abbiamoPossiamo stimare "p" come numero di difettose sul totale di batterie c:H 0 : ! 1i = ! 2i per ogni "i"H 1 :! 1i " ! 2i per almeno un " i"P-value=0.00130174. L’ipotesi è da rifiutareLa statistica test assume ora la forma" c 2 =k%i=1( ) 2# i1$ # i2# i2!

EsempioDue campioni di misurazioni del tempo precedente la primadisfunzione in due diversi macchinari hanno dato luogo alla tabellaTempi C_1 C_2 C_2/risc (f1i-f'2i) 2 /f'2i0 - 20 29 56 32.78 0.43620 - 40 27 41 24.00 0.37540 - 60 14 32 18.73 1.19560 - 70 11 19 11.12 0.00170 - 80 8 13 7.61 0.020>80 7 3 1.76 15.65996 164 96.00 17.686'Le “teoriche” sono ottenute come: n 2i= n 1 f 2iLa statistica test è " 2 =17.686 con 6-1=5 gradi di libertàEsercizioNumero di incidenti automobilistici lungo una strada a scorrimentoveloce. Frequenza per lato di percorrenzaVerso Sud Settimane Verso Nord Settimane0 39 0 821 28 1 602 19 2 403 13 3 274 8 4 185 4 5 8>5 2 >5 4113 239DISTRIB.CHI(17.686;5)=0.00336 (p-Value)Determinate il p-value dell’ipotesi di omogeneità dei due campioniL’ipotesi si deve rifiutare aldilà di ogni ragionevole dubbioTest sull'indipendenzaUn problema ricorrente in statistica riguarda l'indipendenza o meno di duecategorie di classificazioneEsempioUno studio su di un campione di mariti ha prodotto i seguenti risultatiL’ipotesi da sottoporre a verifica èH 0: " ij= " i." . jper ogni "i e j"H 1: " ij# " i." . jper almeno un "i e j"La moglie lavoraLa moglie lavoraFull-time Part-Time Casalinga Totale Full-time Part-Time Casalinga TotaleAccetto che lavori 148 51 49 248 Accetto che lavori 95.5055 68.3867 84.1078 248Non mi importa 34 16 7 57 Non mi importa 21.9509 15.7179 19.3312 57Non so/Non risponde 36 26 32 94 Non so/Non risponde 36.1997 25.9208 31.8796 94Non voglio che lavori 25 81 126 232 Non voglio che lavori 89.3439 63.9746 78.6815 232243 174 214 631 243 174 214 631Si adopera la seguente statistica test:&" 2 c= n(('!f ij# $ ijk( ) 2%i=1$ ij) n+ (+ = n ij# n$ ij ) 2&% = (n$* i=1 ij 'n%n ij2i=1n$ ij)+ # n*La moglie lavoraFull-time Part-Time Casalinga p-value= 1.2E-29Accetto che lavori 28.8535 4.4204 14.6545Non mi importa 6.6139 0.0051 7.8660Non so/Non risponde 0.0011 0.0002 0.0005Non voglio che lavori 46.3393 4.5309 28.457181.8079 8.9566 50.9780 141.7C’è fortissima evidenza CONTRO l’ipotesi di indipendenza come del resto erafacile da immaginare quardando la tabella!

Considerazioni sul "2Il test del "2 è del tipo DISTRIBUTION FREE cioè la sua impostazione nondipende da una particolare distribuzione.In questo senso è anche detto NON PARAMETRICO.E' un test di grande generalità e può essere applicato in una gamma moltogrande di situazioni.Modello lineare stocasticoLa variabile casuale Y ha distribuzione gaussiana con media che dipendelinearmente dal livello dell’esogena XM( Y X = x i ) = ! 0 + ! 1 x i = y i i = 1,2,…, nLa X può sia essere una variabile casuale che un blocco di costanti fisso edinvariabileSi eseguono “n” osservazioni indipendenti di coppe di valori (y,x)Ma proprio questa è la sua debolezza: perchè sia veramente informativo, ilrifiuto dell'ipotesi nulla deve avvenire a livelli moltoelevati di significatività(ovvero valori molto bassi del p-value)Il modello lineare stocastico parte day i = ! 0 + ! 1 x i + e ii =1,2,…, nTest nel modello di regressionePer espletare l'inferenza nel modello di regressione è necessaria una delle dueipotesi seguentiL’ipotesi di normalità implicaNormalitày i ~ N (! 0 + ! 1 x i ;" 2 ); i = 1,2,…, n"n" è abbastanza grande da attivare il teorema limite centralee i˜ N( 0,! 2 ), i = 1,2,…, ngli errori sono normali ( e quindi indipendentioltreché incorrelati)Ed anche)! ˆ 0 ~ N ! 0 , " 2 #n 1 + nx 2 &,)+ % (.; ˆ ! 1 ~ N ! 1 , "2 ,+ .* $ S xx '-* S xx -Queste condizioni permettono di stabilire quale sia la distribuzione deglistimatori in quanto funzioni di variabili casuali.Inoltre,2( n ! 2)s e" 2 ~ # 2 ( n ! 2)In particolare, si dimostra che ! ˆ 0 , ! ˆ 1 sono stimatori di massimaverosimiglianza con annesse proprietà e difetti.L’ipotesi di normalità (diretta delle y oppure ottenuta grazie ad “n” grande edal conseguente limite centrale) è indispensabile per la validità delleprocedure inferenziali relativamente ai parametri del modello di regressione.

Test sul coefficiente angolareLa statistica test necessaria per la verifica si ottiene come per i test sullamedia. In particolare si coinvolge la media e la varianza dello stimatoreContinua test su $ 1ESISTE O NON ESISTE UNA RELAZIONE TRA ENDOGENA ED ESOGENA?A questa domanda rispondiamo solo PARZIALMENTE: la "Y" varia o non variaLINEARMENTE con la "X"?E( ˆ ! 1 ) = ! 1 , Var( ˆ ! 1 ) = s e 2S xx# HQuesto si traduce nella verifica di ipotesi 0 : ! 1 = 0$% H 1 : ! 1 " 0% n' $ˆ # ' i=1Yt n"2 (# 1 ) = 1dove &s e=s e ' nSe H 0non potesse essere rifiutata laretta di regressione si presenterebbeycome parallela all'asse delle X e non= µ S xx' S xx= $x( i=1in grado di spiegare nulla della "Y"retta sotto H 0( ) 2y i" ˆ y in " 2( ) 2x i"µ xXIl p-value del test si ottiene applicando la distribuzione t-Student con (n-2)gradi di libertà!EsempioSi ritiene che il consumo di energia elettrica sia determinato da unmodello lineare nella temperatura media del giorno(in gradi F)SUMMARY OUTPUTRegression StatisticsMultiple R 0.95084638R Square 0.9041Adjusted R Square 0.8921Standard Error 15.1954Observations 10ANOVAdf SS MS F Significance FRegression 1 17'416.3911 17'416.3911 75.4279 0.0000Residual 8 1'847.2089 230.9011Total 9 19'263.6000Coefficients Standard Error t Stat P-value!0 -395.5861 68.1479 -5.8048 0.000403Temp.Med. 6.4735 0.7454 8.6849 0.000024Giorno T.M. C.E.1 95 2142 82 1523 90 1564 81 1295 99 2546 100 2667 93 2108 95 2049 93 21310 84 150La relazione è molto significativa. Si può ancora accettare l’ipotesi di $ 1=0,ma rischiando di sbagliare, nelle condizioni poste, 999’986 volte su di unmilione.Adattamento e testSe l'ipotesi H 0: $ 1=0, è respinta significa che la "Y" è, almeno in parte, spiegatada una relazione lineare nella "X". Quanta parte?Nel caso della regressione semplice è possibile stabilire un legame diretto tra lastatistica test di $ 1ed il coefficiente di determinazione R 2 .[ t( ˆ ! )] 2R 2 1=t ! ˆ[ ( )] 2 1 + n " 2( )Esiste perciò una relazione biunivoca traR 2 e la statistica test (al quadrato) per cuivalori significativi di questa danno luogoa valori elevati di quello e viceversa.Questo non è più vero nella regressionemultipla

Test sull'intercettaLa verifica dell'intercetta è poco interessante dato che non ha incidenza sullabontàdi adattamento.E ˆ ! 0# H 0 : ! 0 = 0$% H 1 : ! 0 " 0( ) = ! 0 , Var( ˆ ! 0 ) = s e 2 n 1 + nµ x 2$Se si accetta l’ipotesi si dicechela retta teorica ha equazioney i = ! 1 x icioè passa per l’origineIl p-value del test si ottiene dalla t-Student (n-2) per il valore dato dat cˆ(! 0 ) =s en"#! ˆ 0"1 + nµ x 2 %$# S' xx &S xx%'&EsempioSi ritiene che la frequenza dei trilli del grillo sia legata alla temperatura e chequesta si possa indovinare dall’intensità del canto.37353331292725232119Grillo Frequenza Temperatura1 20 352 16 213 20 384 18 315 17 296 16 247 15 208 17 309 15 1910 16 23Indovinala grillo1714 15 16 17 18 19 20La relazione non è contraddetta dai (pochi) daticonsiderati.L’intercetta comunque c’è. Chi dice ilcontrarioafferma il vero 6 volte su diecimilaRegression StatisticsMultiple R 0.9640R Square 0.9292Adjusted R Square 0.9204Standard Error 1.8529Observations 10ANOVAdf SS MS F p-valueRegression 1 360.5333 360.5333 105.0097 0.0000Residual 8 27.4667 3.4333Total 9 388CoefficientsStandard Error t Stat P-valueIntercept -31.9333 5.7808 -5.5240 0.0006X Variable 1 3.4667 0.3383 10.2474 0.0000