Estadística en Ensayos Clínicos - Web de Ferran Torres

Handling Multiplicity in Variables Scenario 1:One Primary Variable– Identify one primary variable -- othervariables are secondary– Trial is positive if and only if primaryvariable shows significant (p 0.05),positive results– Calculate sample size relative to primaryvariableMar-2005Ferran.Torres@uab.es 16Handling Multiplicity in Variables Scenario 2Divide Type I Error– Identify two (or more) co-primary variables– Divide the 0.05 experiment-wise Type I error overthese co-primary variables, e.g., 0.04 for the 1st,and 0.01 for the 2nd co-primary variable– Trial is positive if at least one of the co-primaryvariables shows significant, positive results– Calculate the sample size separately for both co-primary variables, using the specific comparison-wise Type I error, and take the largest of both.Mar-2005Ferran.Torres@uab.es 17Handling Multiplicity in Variables Scenario 3Sequentially RejectiveProcedure– Identify n co-primary variables, e.g., n = 3– Order obtained p-values pfrom large to small.Interpret the variable with the highest p-value patthe 0.05 level; if significant, then interpret thevariable with the 2nd highest p-value pat the0.05/2 level; if positive, then interpret thevariable with the smallest p-value pat the 0.05/3level. Test procedure stops when a test is notsignificant.Mar-2005Ferran.Torres@uab.es 186

Handling Multiplicity in Variables Scenario 3 (continued)– Trial is positive if first co-primary variableshows significant, positive result– Calculate the sample size separately foreach co-primary variable, using a 0.05/nType I errorMar-2005Ferran.Torres@uab.es 19Handling Multiplicity in Variables Scenario 4Hierarchy– Prespecify hierarchy among n co-primary variables,– Interpret 1st variable at 0.05 level; if significant,then interpret 2nd variable at 0.05 level; if positive,then interpret 3rd variable at 0.05 level. Testprocedure stops when a test is not significant.– Trial is positive if first co-primary variable showssignificant, positive result– Calculate the sample size separately for each co-primary variable, using a 0.05 Type I errorMar-2005Ferran.Torres@uab.es 20Torneo Roland Garros 19991ª RondaCarlos Moyá vs Markus HipflMoyáHipflJuegos Totales Ganados 22 24Puntos Totales Ganados 147 1461er Servicio 62% 69%Aces 5 3Doble Faltas 4 5% Ganadores con el 1er Servicio 63 de 95 = 66% 61 de 96 = 64%% Ganadores con el 2º Servicio 25 de 58 = 43% 20 de 44 = 45%Ganadores (incluyendo el Servicio) 30 56Errores No Forzados 62 75Puntos de Break Ganados 6 of 21 = 29% 6 of 27 = 22%Aproximaciones a la red 48 of 71 = 68% 29 of 41 = 71%Velocidad del Servicio más Rápido 200 KPH 193 KPHPromedio Velocidad 1er Servicio 157 KPH 141 KPHPromedio Velocidad 2º Servicio 132 KPH 126 KPHSet 1 2 3 4 5Carlos Moyá 3 1 6 6 6Markus Hipfl 6 6 4 4 4Mar-2005Ferran.Torres@uab.es 217

Justificación n AnálisisMultivarianteMultiplicidadRelaciones entre variablesEstudios de subgruposInteracciónFactores de confusiónMultiplesvariablesMultiplescomparacionesMar-2005Ferran.Torres@uab.es 22Interacción Presencia de un efecto modificador dela intensidad o sentido de la relaciónentre diferentes estratos de unavariable.– Ejemplos:Sexo Sexo con tratamiento.Centro Centro con tratamiento.Edad Edad con tratamiento.Mar-2005Ferran.Torres@uab.es 23InteracciónIMHábito de fumarNo SíSí 9 34NO 491 4661.8% 6.8% d=5%Edad < 45 añosIM Hábito de fumarNo SíSí 4 6NO 296 294Edad >= 45 añosIMHábito de fumarNo SíSí 5 28NO 195 1721.3% 2.0% d=0.7% 2.5% 14% d=11.5%Mar-2005Ferran.Torres@uab.es 248

Interacción% IM15105Edad >= 45 añosEdad < 45 añosNoFumadorFumadorMar-2005Ferran.Torres@uab.es 25Interacciones86420864208642086420Mar-2005Ferran.Torres@uab.es 26Factores de confusión Categoría a especial de sesgos quecumplen:– 1) Son factores de riesgo para laenfermedad (o la variable en estudio).– 2) Se asocian a la exposición n (o laintervención) n) en estudio.– 3) No son pasos o factores intermedios.Mar-2005Ferran.Torres@uab.es 279

Subgroups and Simpson’s s ParadoxExperimental Controln (%) n (%)ALL Succes 70 (70%) 60 (60%)Failure 30 (30%) 40 (40%)100 100Mar-2005Ferran.Torres@uab.es 31Simpson’s s Paradox continuedExperimental Controln (%) n (%)MALE Succes 10 (33%) 24 (40%)Failure 20 (67%) 36 (60%)30 60FEMALE Succes 60 (86%) 36 (90%)Failure 10 (14%) 4 (10%)70 40Mar-2005Ferran.Torres@uab.es 32Estudios de SubgruposEstudio ISIS-2: Muerte vascular por subgrupos de zodiacoGeminis/LibraAspirina PlaceboMuerte vascular 150 147Total 1357 144211.1% 10.2%Otros SignosAspirina PlaceboMuerte vascular 654 868Total 7228 71579.0% 12.1%p=0.42045d=0.9p

Subgrupos Recomendaciones: (Pocock,, Simon, Peto)– 1) Examinar el en subgrupos sólosi elefecto global es significativo– 2) Examinar subgrupos sólosi lainteracción n es significativa– 3) Plantearse ajustes de α en función n delos objetivos– 4) Aspectos que aumentan la credibilidad:Pre-especificación n en protocoloEvaluar Evaluar la plausibilidad biológicaMar-2005Ferran.Torres@uab.es 34Comparaciones MúltiplesM Recomendaciones:– Realizar un test únicomultivariante (si esposible)– Utilizar algún n método mde ajuste siempre paraanálisis con fines confirmatorios.– Intentar identificar a priori algún n contrasteclave o prioritario.– Definir a priori en el protocolo el tipo de ajusteque se realizará.Mar-2005Ferran.Torres@uab.es 35CPMP/EWP/482/99:PTC on Switching betweenSuperiority and Non-Inferiority&CPMP/EWP/2158/99:PtC on the Choice of DeltaMar-2005Ferran.Torres@uab.es 3612

ENSAYOS DE NO-INFERIORIDADNECESIDAD Implicaciones legales. Implicaciones metodológicas. Limitaciones éticas y prácticas al uso deplacebo. Limitaciones prácticas a la superioridadfrente a control activo. Necesidad de información n comparativa. Posibles valores añadidos. a adidos.Mar-2005Ferran.Torres@uab.es 37Mar-2005Ferran.Torres@uab.es 38ENSAYOS DE NO-INFERIORIDADNECESIDAD Implicaciones legales. Implicaciones metodológicas. Limitaciones éticas y prácticas al uso deplacebo. Limitaciones prácticas a la superioridadfrente a control activo. Necesidad de información n comparativa. Posibles valores añadidos. a adidos.Mar-2005Ferran.Torres@uab.es 3913

Pruebas de hipótesistesis… Igualdad?H 0 : θ T = θ CH 1 : θT ≠θC• P

ENSAYOS DE NO-INFERIORIDADNECESIDAD Implicaciones legales. Implicaciones metodológicas. Limitaciones éticas y prácticas al uso deplacebo. Limitaciones prácticas a la superioridadfrente a control activo. Necesidad de información n comparativa. Posibles valores añadidos. a adidos.Mar-2005Ferran.Torres@uab.es 43Lancet 2001,356: 1668-75Mar-2005Ferran.Torres@uab.es 44ENSAYOS DE NO-INFERIORIDADNECESIDAD Implicaciones legales. Implicaciones metodológicas. Limitaciones éticas y prácticas al uso deplacebo. Limitaciones prácticas a la superioridadfrente a control activo. Necesidad de información n comparativa. Posibles valores añadidos. a adidos.Mar-2005Ferran.Torres@uab.es 4515

Valores añadidosaadidos Posología: 1 vez al díad Vía: vía v a oral Seguridad: Acontecimientos adversos Poblaciones especiales: Ancianos,pediatría InteraccionesMar-2005Ferran.Torres@uab.es 46Ensayos de Equivalencia Ensayos de bioequivalencia (productogenéricovs comercializado) Nuestro producto no es peor y puedepresentar otras ventajas (seguridad,comodidad posológica…)– No-inferioridadMar-2005Ferran.Torres@uab.es 47ESTUDIO DE EQUIVALENCIARegión deequivalenciaclínicad < 0-efecto-d +dd = 0No hay diferenciad > 0+ efectoDelta: (δ,∆(δ,∆)• mayor diferencia sin relevancia clínicao• la menor diferencia con relevancia clínicaMar-2005Ferran.Torres@uab.es 4816

NO-INFERIORIDAD TERAPÉUTICAMejor ControlMejor Test-∆No-Inferioridad0No No-InferioridadMar-2005Ferran.Torres@uab.es 49ENSAYOS DE NO-INFERIORIDAD El control activo posee undeterminado efecto. Las diferencias entre elfármaco experimental y elcontrol activo no sonsuperiores a una magnitudprefijada. Si fueran superiores a esamagnitud, lasdetectaríamos.amos.Sensibilidad a los efectos delfármacoMargen de no-inferioridadSensibilidad del estudioMar-2005Ferran.Torres@uab.es 50ENSAYOS DE NO-INFERIORIDADDificultades en determinar la sensibilidad alos efectos del fármacof Efecto placebo muy marcado y variable. Enfermedades en las que el efecto deltratamiento es pequeño o y variable. Ausencia de estudios con las mismasvariables de eficacia. Ausencia de estudios comparativos conplacebo.Mar-2005Ferran.Torres@uab.es 5117

ENSAYOS DE NO-INFERIORIDADMargen de no-inferioridad Basado en los datos conocidos sobre el controlactivo. En principio menor que la menor de las diferenciasentre el control activo y placebo. Opción n más m s conservadora:– Más s segura– Más s cara– ¿Siempreéticamente aceptable?Mar-2005Ferran.Torres@uab.es 52Main efficacy End-Point100%90%80%1/2 ?1/3 ?70%60%50%40%30%20%BA40%δ30%10%P10%0%ActivePlaceboMar-2005Ferran.Torres@uab.es 53Main efficacy End-Point100%90%80%70%60%50%40%40%45%40%30%20%10%15%20%10%0%Active 1 Active 2 Active 3 Placebo 1 Placebo 2 Placebo 3Mar-2005Ferran.Torres@uab.es 5418

Main efficacy End-Point100%90%80%70%60%50%40%30%20%10%0%65%58%51%47%47%40%40%33%33%27%22%20%15%17%13%8%10%3%Active 1 Active 2 Active 3 Placebo 1 Placebo 2 Placebo 3Mar-2005Ferran.Torres@uab.es 55Main efficacy End-Point100%90%80%70%60%50%40%30%40%δ30%20%10%0%10%Active REF Placebo Active TestMar-2005Ferran.Torres@uab.es 56JAMA 2002; 287: 1807-1814Mar-2005Ferran.Torres@uab.es 5719

ENSAYOS DE NO-INFERIORIDADSensibilidad del ensayo Cumplimiento terapéutico pobre. Medicación n concomitante. Enfermedades con tendencia a la mejoríaespontánea.nea. Criterios de selección n muy laxos. Medición n del efecto poco sensible. Excesiva variabilidad en la medición. Evaluación n sesgada por el hecho de conocer queambos tratamientos son activos.Mar-2005Ferran.Torres@uab.es 58ENSAYOS DE NO-INFERIORIDADSesgos Sesgos que tienden a favorecer al tratamientoexperimental. Sesgos que tienden a favorecer al tratamientocontrol. Sesgos que tiendan a minimizar las diferencias. Sesgos que tiendan a maximizar las diferencias.Mar-2005Ferran.Torres@uab.es 59ENSAYOS DE NO-INFERIORIDADDiseño o (I) TRATAMIENTO CONTROL– Idealmente considerado como el estándar detratamiento.– Superioridad demostrada frente a placebo.– El simple hecho de que un fármaco festéregistrado no lo legitima como tratamientocontrol en un estudio de no-inferioridad.Mar-2005Ferran.Torres@uab.es 6020

AABBCCP????PDD EREGISTROMar-2005Ferran.Torres@uab.es 61ENSAYOS DE NO-INFERIORIDADDiseño o (II) VALIDACIÓN N EXTERNA– Criterios de inclusión/exclusin/exclusión. n.– Pauta de dosificación.– Variable principal de eficacia.– Seguimiento.Mar-2005Ferran.Torres@uab.es 62ENSAYOS DE NO-INFERIORIDADDiseño o (II) TIPO DE ANALISIS– Intención n de tratar.Incrementa el ruido de fondo.Estrecha los intervalos de confianza.– Por protocolo.Mar-2005Ferran.Torres@uab.es 6321

Interpretación de los resultados de un experimentoIC de la diferencia0Efecto no importante+δEfecto importanteMar-2005Ferran.Torres@uab.es 64EQUIVALENCIA VS DIFERENCIA¿Equivalente??NoNoSíSíSíNoNoNoRegión de equivalencia clínica¿Diferente??SíSíSíNoSíSíSíNod < 0-efecto-d +dd = 0No hay diferenciad > 0+ efectoMar-2005Ferran.Torres@uab.es 65ESTUDIO DE NO-INFERIORIDADLímite de inferioridadNo-Inferior?NoNoSíSíSíSíSíNod < 0-efecto-dd = 0No hay diferenciad > 0+ efectoMar-2005Ferran.Torres@uab.es 6622

¿ESTUDIO DE …SUPERIORIDAD?¿Superior a d??NoNoNoNoNoNoSíLímite de superioridadd < 0-efectod = 0No hay diferenciadd > 0+ efectoMar-2005Ferran.Torres@uab.es 67Effect Size & Sample SizeRelativeEffectAbsoluteSize Power* difference(%) (%) (mmHg)-----------------------------------0% 4.9% 0.010% 5.9% 0.220% 8.5% 0.430% 13.3% 0.640% 20.2% 0.850% 28.2% 1.060% 39.3% 1.270% 49.3% 1.480% 61.1% 1.690% 71.0% 1.8100% 80.4% 2.0-----------------------------------*Statistical power assuming constant variability (SD=20mmHg)Mar-2005Ferran.Torres@uab.es 68Replicando un estudio Probabilidad de observar diferencias significativas( p

CPMP/EWP/1776/99:PtC on Missing DataMar-2005Ferran.Torres@uab.es 70Evolución n de los sujetosPACVisitaSelecciónVisitaBasalRNDToma de 1a.Medicación Visita 1 Visita 2 Visita 3 Visita 41 X X A X X X X X2 X X A3 X X B X X X4 X X A X5 X X B X X X X/A @ X/A @6 X X B X X7 X X A X X X X8 X9 X X B X X X X X10 X X B X X/ERR. X X XMar-2005Ferran.Torres@uab.es 71Datos faltantes (missing(data)Por qué son un problema? Potencial fuente desesgos en el análisis– Tantomayor cuantomayor la proporciónde datosafectados– Tanto más sesgo cuanto menos aleatorios– Tanta más interferencia cuanto más relacionados con eltratamiento– Impide la ITTMar-2005Ferran.Torres@uab.es 7224

EJEMPLOSMar-2005Ferran.Torres@uab.es 73Ejemplo: Incorrecto uso de poblaciones (1)Diseño Cirugíavs Tratamiento Médico Men estenosiscarotidea bilateral (Sackket(et al., 1985) Variable principal: : Número Nde pacientes quepresenten TIA, ACV o muerte Distribución n de los pacientes: Pacientes randomizados: 167 Tratamiento quirúrgico:rgico: 94 Tratamiento médico: m73– Pacientes que no completaron el estudio debidoa ACV en las fases iniciales de hospitalización:Tratamiento quirúrgico:rgico: 15 pacientesTratamiento médico: m01 pacientesMar-2005Ferran.Torres@uab.es 74Ejemplo: Incorrecto uso de poblaciones (2)Primer análisis que se realiza :Población n Por Protocolo (PP):Pacientes que hayan completado el estudioAnálisis– Tratamiento quirúrgico:rgico: 43 / (94 - 15) = 43 / 79 = 54%– Tratamiento médico: m53 / (73 - 1) = 53 / 72 = 74%– Reducción n del riesgo: 27%, p = 0.02Mar-2005Ferran.Torres@uab.es 7525

Ejemplo: Incorrecto uso de poblaciones (3)El análisis definitivo queda de la siguiente forma :Población n Intención n de Tratar (ITT):Todos los pacientes randomizadosAnálisis– Tratamiento quirúrgico:rgico: 58 / 94 = 62%– Tratamiento médico: m54 / 73 = 74%– Reducción n del riesgo: 18%, p = 0.09 (PP:: 27%, p = 0.02)Conclusiones:• La población correcta de análisis es la ITT• El tratamiento quirúrgico no ha demostradoser significativamente superior al tratamiento médicoMar-2005Ferran.Torres@uab.es 76Relación n de los valoresfaltantes con1) Tratamiento2) ResultadoMar-2005Ferran.Torres@uab.es 77EfficacyA BX XX XX XX XX XX XX XX XX XX XEfficacyA BX XX XX XX XX XX XX X. .. .. .EfficacyA BX XX XX XX XX XX XX X. X. X. .14%12%10%8%6%4%2%0%ABObsMD14%12%10%8%6%4%2%ObsMD18%16%14%12%10%8%6%4%2%ObsMD60%50%40%30%20%10%ObsMD0%AB0%AB0%ABMar-2005Ferran.Torres@uab.es 7826

EfficacyA B14%12%ObsMDXXXX10%XX8%XXXX6%XXXX4%XX2%XXXX0%ABTrt Outc.Succes (Observed)Missing - -ABS = 5,0% S = 12,0%MissingnessSucces (M.D.)ABABS =- S =- S =- S =-ABn % N %S 5 5,0% 12 12,0%F 95 95,0% 88 88,0%100 100% 100 100%% dif -7,0%OR 0,386RR 0,417Mar-2005Ferran.Torres@uab.es 79Efficacy14%AB12%ObsXXXX10%MDXX8%XXXX6%ABX XX X. .. .. .4%2%0%ABn % N %S 3,5 5,0% 8,4 12,0%F 66,5 95,0% 61,6 88,0%70 100% 70 100%% dif -7,0%OR 0,386RR 0,417Trt Outc.Succes (Observed)ABMissing - -=12,0%S =5,0% SMissingnessSucces (M.D.)ABABS = 30,0% S = 30,0% S = 5,0% S = 12,0%ABn % N %S 5 5,0% 12 12,0%F 95 95,0% 88 88,0%100 100% 100 100%% dif -7,0%OR 0,386RR 0,417Mar-2005Ferran.Torres@uab.es 80Efficacy14%AB12%ObsXXXX10%MDXX8%XXXX6%X XX X. X. X4%2%ABn % n %S 3.5 5.0% 10.8 12.0%. .0%ABF 66.5 95.0% 79.2 88.0%70 100% 90 100%% dif -7.0%OR 0.386RR 0.417TrtOutc.Succes (Observed)Missing si _ABS = 5.0% S = 12.0%ABMissingnessSucces (M.D.)ABABS = 30.0% S = 10.0% S = 5.0% S = 12.0%n % N %S 5 5,0% 12 12,0%F 95 95,0% 88 88,0%100 100% 100 100%% dif -7,0%OR 0,386RR 0,417Mar-2005Ferran.Torres@uab.es 8127

AEfficacyB18%16%ObsMDXXXXXXXXXX14%12%10%8%X XX X. .. .. .6%4%2%0%ABABn % N %S 3,5 5,0% 8,4 12,0%F 66,5 95,0% 61,6 88,0%70 100% 70 100%% dif -7,0%OR 0,386RR 0,417Trt Outc.Succes (Observed)ABMissing - si12,0%S = 5,0% S =MissingnessSucces (M.D.)ABABS = 30,0% S = 30,0% S = 10,0% S = 17,0%ABn % N %S 6,5 6,5% 13,5 13,5%F 93,5 93,5% 86,5 86,5%100 100% 100 100%% dif -7,0%OR 0,445RR 0,481Mar-2005Ferran.Torres@uab.es 82EfficacyA BX X60%50%ObsMDXXXXXXXXXX40%30%20%XXAB. .10%n % N %. .S 3,5 5,0% 8,4 12,0%. .0%ABF 66,5 95,0% 61,6 88,0%70 100% 70 100%% dif -7,0%OR 0,386RR 0,417Trt Outc.Succes (Observed)ABMissing - si12,0%S = 5,0% S =MissingnessSucces (M.D.)A B A B= 30,0% = 50,0% S = 50,0%S S 30,0% S =ABn % N %S 18,5 18,5% 23,4 23,4%F 81,5 81,5% 76,6 76,6%100 100% 100 100%% dif -4,9%OR 0,743RR 0,791Mar-2005Ferran.Torres@uab.es 83EfficacyA BX X60%50%ObsMDXXXX40%XX30%XXABXX20%n % N %X X. X. X10%S 3.5 5.0% 10.8 12.0%F 66.5 95.0% 79.2 88.0%70 100% 90 100%. .0%AB% dif -7.0%OR 0.386RR 0.417Trt Outc.ObservedMissing si siAB12.0%S = 5.0% S =MissingnessSucces (M.D.)ABABS = 30.0% S = 10.0% S = 50.0% S = 50.0%ABn % N %S 18.5 18.5% 15.8 15.8%F 81.5 81.5% 84.2 84.2%100 100% 100 100%% dif 3%OR 1.210RR 1.171Mar-2005Ferran.Torres@uab.es 8428

Manejo de los valoresfaltantesMar-2005Ferran.Torres@uab.es 85General Strategies Complete-caseanalysis “Weigthingmethods” Imputation methods Analysing data as incomplete Other methodsMar-2005Ferran.Torres@uab.es 86Complete-caseanalysis Analyse only subjects with complete data– Restrict analysis to those subjects with nomissing data on variables of interest:– Also called ADO (Available Data Only)– Assumes in-complete cases are like completecases.– Gives unbiased estimates if the reducedsample resulting from list-wise deletion is arandom sub­samplesample of the original sample(MCAR).Mar-2005Ferran.Torres@uab.es 8729

Complete-caseanalysis Disadvantages:– Ignores possible systematic differencesbetween complete cases and in-completecases.– Loss of power. Standard Errors will generallybe larger in the reduced sample because lessinformation is utilized.– Get biased estimates if the reduced sampleis NOT a random sub-sample sample of the originalsample.– Against the ITT principleMar-2005Ferran.Torres@uab.es 88General Strategies Complete-caseanalysis “Weigthingmethods” Imputation methods Analysing data as incomplete Other methodsMar-2005Ferran.Torres@uab.es 89General Strategies Complete-caseanalysis “Weigthingmethods” Imputation methods Analysing data as incomplete Other methodsMar-2005Ferran.Torres@uab.es 9030

Datos faltantes : métodos mde tratamiento (2)Sujetos con valores missing en la variable de eficaciaPaciente Visita basal Visita 1 Visita 2 Visita 3 Visita 40010 75 72 60 550005 76 780101 80 70 660201 81 75 75 78 800060 78RandomizaciónInicio del tratamientoMar-2005Ferran.Torres@uab.es 91Datos faltantes : métodos mde tratamiento (3)Se aplica el método LOCF (Last Observation Carried Forward)Paciente Visita basal Visita 1 Visita 2 Visita 3 Visita 40010 75 72 72 60 550005 76 78 78 78 780101 80 70 660201 81 75 75 78 800060 78 Excluido de las poblaciones ITT y PPRandomizaciónInicio del tratamientoMar-2005Ferran.Torres@uab.es 92Datos faltantes : métodos mde tratamiento (4)Se aplica el método BOCF (Basal Observation Carried Forward)Paciente Visita basal Visita 1 Visita 2 Visita 3 Visita 40010 75 72 72 60 550005 76 78 78 78 780101 80 80 80 70 660201 81 75 75 78 800060 78 78 78 78 78RandomizaciónInicio del tratamientoMar-2005Ferran.Torres@uab.es 9331

Ex: LOCF & lineal extrapolation lineal> WorseAdas-Cog< BetterBiasMar-2005Ferran.Torres@uab.es 94Ex: Early drop-out due to AE> WorseAdas-Cog< BetterPlaceboActive0 2 4 6 8 10 12 14 16 18Time (months)Bias:FavoursActiveMar-2005Ferran.Torres@uab.es 95Ex: Early drop-out due to lack of Efficacy> WorseAdas-Cog< Better3632Lineal Regresion2824-2016LOCF12840 2 4 6 8 10 12 14 16 18Time (months)36322824-2016128436322824-20161284PlaceboActive0 2 4 6 8 10 12 14 16 18Time (months)Bias:FavoursPlaceboMar-2005Ferran.Torres@uab.es 9632

Mar-2005Ferran.Torres@uab.es 97Drop-outs outs and missing data≠ FrecuenciesBaselineVisit 1Visit 2Last VisitABA A A A A A B B AARNDMar-2005Ferran.Torres@uab.es 98Drop-outs outs and missing data≠ TimingBaselineVisit 1Visit 2Last VisitA A A A A B B B B BRNDMar-2005Ferran.Torres@uab.es 9933

Imputation methods LOCF and variants– Bias: depending on the amount and timing of drop-outsouts: Ej: The conditions under study has a worsening course– Conservative: Drop-outsouts beacuse of lack of efficacy in the controlgroup– Anticonservative: Drop-outsouts beacuse of intolerance in the test group– Otros: interpolación, n, extrapolaciónMar-2005Ferran.Torres@uab.es 100Ejemplo: falta el resultado de Adas-cog en alguno de lostiemposAdas-Cog 3632Imputación por regresión2824-201612840 2 4 6 8 10 12 14 16 18Time monthMar-2005Ferran.Torres@uab.es 101Imputation methods Worst case analysis:– Impute:TheThe worst response to the testTheThe best response to the control– Ultraconservative. Increases the variability.– Robustness of results: Second approach: “Sensitivityanalysis” Lower bound of efficacyMar-2005Ferran.Torres@uab.es 10234

Group Means Continuousvariable:– group mean derived from a groupingvariable Categorical– ordinal variable:– Mode– If no unique mode:– Nominal: a value will be randomly selected– Ordinal: the ‘middle’ category or a value is randomlychosen from the middle two (evencase)Mar-2005Ferran.Torres@uab.es 103Predicted Mean Continuousor ordinal variables:Least-squares squares multiple regression algorithm toimpute the most likely value Binaryor categorical variable:a discriminant method is applied to impute themost likely value.Mar-2005Ferran.Torres@uab.es 104Imputation Class methods Imputed values from responders that aresimilar with respect to a set of auxiliaryvariables.– Clinical experience– Statistical methods: Hot-Decking Respondentsand non-respondentsare sorted into a numberof imputation subsets according to a user-specified specified set ofcovariates. An imputation sub-set set comprises cases with the samevalues as those of the user-specified specified covariates. Missing values are then replaced with values taken frommatching respondents.– Options: The first respondent’s s value (similar in time) A respondent’s s randomly selected valueMar-2005Ferran.Torres@uab.es 10535

Some problems in SingleImputation Mean Estimation– Replace missing data with the mean of non-missingvalues.– Standard deviation and standard errors are underestimated (novariation in the imputed values). Hot-deckImputation– Stratify and sort by key covariates, replace missing data fromanother record in the same strata.– Underestimation of standard errors can be a problem. Predict missing values from Regression– Impute each independent variable on the basis of otherindependent variables in model.– Produces biased estimates. Disadvantage:– In general, Single Imputation results in the sample size beingover-estimatedestimated with the variance and standard errors beingunderestimated.Mar-2005Ferran.Torres@uab.es 106Mean imputationMar-2005Ferran.Torres@uab.es 107Mean imputationMar-2005Ferran.Torres@uab.es 10836

Multiple ImputationMar-2005Ferran.Torres@uab.es 109Multiple ImputationRubin 1970'sMar-2005Ferran.Torres@uab.es 110Multiple ImputationMar-2005Ferran.Torres@uab.es 11137

Multiple ImputationMar-2005Ferran.Torres@uab.es 112General Strategies Complete-caseanalysis “Weigthingmethods” Imputation methods Analysing data as incomplete Other methodsMar-2005Ferran.Torres@uab.es 113Analysing data as incomplete Time to event variables Mixed models (random-fixed)Mar-2005Ferran.Torres@uab.es 11438

General Strategies Complete-caseanalysis “Weigthingmethods” Imputation methods Analysing data as incomplete Other methodsMar-2005Ferran.Torres@uab.es 115 Gould 1980 Miscelanea:Other– Converts the variable into an ordinal score.– Impute according a pre-definedvalue (ej. percentile)and the time and cause of drop-out out (lack(of efficacy,cure, adverse effects...)MissingMissing data indicators, , pairwise deletion...Mar-2005Ferran.Torres@uab.es 11639