Meta-análisis - Web de Ferran Torres

Preguntas básicasb 

Meta-an 

análisis 

• ¿Qué es? 

• ¿Para qué sirve? 

• ¿Cómo se regula? 

• ¿Cómo se hace? 

• ¿Qué métodos? 

• ¿Cuándo? 

2007 Ferran.Torres@uab.es 1 


INDICE 

1. Definición 

2. Objetivos 

3. Antecedentes históricos 

4. Protocolo y desarrollo de un meta- 


5. Estimadores del tamaño o del efecto 

6. Ejemplo de meta-an 


Definición 

El meta-an 

análisis es una revisión n sistemática 

tica de un 

gran númeron 

de estudios que utiliza métodos 

estadísticos 

sticos para combinar, sintetizar e integrar 

la información n de varios estudios independientes 

que son considerados por el análista 

como 

“combinables” 

Adaptado de: 

- Glass GV. Primary and Meta-analysis of research. Educational Researcher 1976;5:3-8. 

- Huque MF. Experiences with meta-analysis in NDA submissions. Proc 

Biopharmaceutical Section of the American Statistical Association 1988;28-33. 

- Cook DJ, Sackett DL, Spitzer WO. Methodologic guidelines for systematic 

reviews of randomized control trials in health care from the Potsdam 

consultation meta-analysis. J Clin Epidemiol 1995;48:168-71. 

- D’Agostino RB, Weintraub M. Meta-analysis: a method for sythesizing research. 

Clin Pharmacol Ther 1995; 58:605-616. 



Objetivos (1) 

El meta-an 

análisis, cuando se realiza de forma 

adecuada, puede ser utilizado para los siguientes 

propósitos: 

• Incrementar la potencia estadística stica de los 

resultados procedentes de múltiples m 

estudios 

individuales y posibilitar el análisis estadístico 

stico 

de subgrupos 

• Mejorar las estimaciones de la magnitud 

del efecto 

• Resolver controversias cuando hay desacuerdo 

entre los estudios. 

Objetivos (2) 

• Contestar nuevas preguntas que no se habían 

an 

planteado en los estudios individuales 

• Confirmar hipótesis que no se habían an podido 

confirmar en los estudios individuales 

• Elaborar nuevas hipótesis que deben ser 

contrastadas en futuros estudios 

• Abrir nuevos caminos de investigación n o 

redirigir la investigación n en curso 

• Presentar el perfil de eficacia y seguridad 

de los fármacos. f 



1

Objetivos (3) 

• Obtención n de estimadores o parámetros para 

estudios de farmacoeconomía, , calidad de vida, 

etc. 

Adaptado de: 

- Fleiss JL, Gross A. Meta-analysis in epidemiology, with special 

reference to studies of association between exposure to 

environmental tobacco smoke and lung cancer: a critique. 

J Clin Epidemiol 1991; 127-139. 

OBJETIVOS 

Conclusión: 

n: 

– Ganancia en precisión 

– Comparación n crítica de los resultados 

– Diferencias en magnitud o sentido 

– Posibilidad de generalizar 



EVOLUCIÓN N DEL USO DEL MÉTODO M 

META-ANAL 

ANALÍTICO 

Período de tiempo Total Ratio articulos/mes 

EVOLUCIÓN N DEL USO DEL MÉTODO M 

META-ANAL 

ANALÍTICO 

Ratio articulos/mes 

1950-1959 1 0.008 

1960-1969 8 0.067 

1970-1979 18 0.150 

1980-1984 73 1.217 

1985-1989 333 5.550 

1990-1992 (Junio) 245 5.833 

1992 (Julio)-1995 1503 36.429 

40,000 

35,000 

30,000 

25,000 

20,000 

15,000 

10,000 

5,000 

0,000 

1950- 

1959 

1960- 

1969 

1970- 

1979 

1980- 

1984 

1985- 

1989 

Ratio articulos/mes 

1990- 

1992 

(Junio) 

1992 

(Julio)- 

1995 



CARACTERÍSTICAS 

Areas de aplicación 

Ciencias de la educación 

Psicología 

Biología 

Medicina 

Ciencias medio-ambientales 

Química 

Física 

Economía 

Etc... 


Problemas preliminares 

– Selección n de material 

Bibliografía 

– Búsqueda informatizada (Medline( 

Medline, Science Citacion Index, , ...) 

– Búsqueda manual (Citas referenciadas, conferencias) 

– Lenguas extranjeras 

– Estudios presentados a conferencias y congresos 

– Calidad de los estudios 

– Diseños distintos (estudios de cohortes, caso-control, control, ...) 



2


Datos: 

– Tipos de medida de los efectos 

– Escalas de medida 

– Extensión n de la información 

Datos originales 

Estadísticos sticos de resumen 

Estimación n del efecto y errores estándar 

Valores de significación 


Datos: 

– Toda la información, n, a excepción n de los 

datos originales, complica enormemente el 

ajuste por distinto factores de confusión 

potenciales 

Disponibilidad de los estudios: Sesgo 

de publicación 




No independencia de los estudios 

– Tiempo: momento en que se realiza el 

estudio 

– Centro o investigador 

– Múltiple publicación n de los resultados 

– Mismos sujetos (en distintos estudios) 

Ventajas y limitaciones 

Ventajas 

Consideración n sistemática tica (evaluación n no 

sesgada) 

Cuantificación n de los resultados 

Aumento de precisión n de los resultados 

Mayor Mayor capacidad de estudiar efectos en 

subgrupos 

Mayor Mayor facilidad para evaluar las discrepancias 

entre estudios 

Mayor Mayor generalización n de las conclusiones 



Ventajas y limitaciones 

Limitaciones: 

La La calidad está limitada por los estudios 

individuales 

Dificultad para establecer los criterios de inclusión 

Sesgo Sesgo de selección n (publicación, lengua, calidad ...) 

Protocolo 

• Como en cualquier otro estudio, antes de iniciar un 

meta-an 

análisis se debe elaborar un protocolo completo 

y detallado 

• El protocolo debería a incluir como mínimo: m 

- Una descripción n detallada de los objetivos e hipótesis que 

se van a probar 

- Los criterios de inclusión n y exclusión n de los estudios 

- Los procedimientos que se utilizarán n para probar la 

homogeneidad de los tamaños de los efectos entre 

estudios 

- Los métodos m 

estadísticos sticos que se utilizarán n para estimar el 

tamaño o del efecto global 

- Los métodos m 

que se utilizarán n para presentar y resumir 

los resultados 



3

Análisis de la heterogeneidad 

• Respuesta a la siguiente pregunta: 

¿SON COMBINABLES LOS ESTUDIOS? 

• Pruebas de homogeneidad de los resultados de los 

estudios individuales: 

- Prueba ji-cadrado 

Q de Cochran 

- Prueba ji-cuadrado de Breslow-Day 

• Las pruebas de homogeneidad tienen baja potencia 

para detectar la heterogeneidad 

• Un valor p de la prueba de homogeneidad 0.10, 

sugiere heterogeneidad entre estudios y, por tanto, 

podría a no ser válido v 

combinar los estudios 


Egger et al. Systematic reviews in health care. London: BMJ books, 2001. 


Magnitud del efecto (1) 

• Los métodos m 

estadísticos sticos utilizados para estimar 

el tamaño o del efecto global de diferentes estudios 

se basan en Modelos de Efectos Fijos y Efectos 

Aleatorios 

• Los Modelos de Efectos Fijos asumen un efecto 

constante del tratamiento entre estudios, es decir, 

los tamaños de los efectos entre estudios son 

homogéneos o similares. 

- Los diferentes estudios pertenecen a una misma 

población 

- Consideran la variabilidad intra-estudio 


• Los Modelos de Efectos Aleatorios consideran que 

existe una variación n entre estudios 

- Los estudios provienen de poblaciones diferentes 

- Consideran la variabilidad intra e inter-estudio 

estudio 




• Ninguno de los dos modelos se puede considerar 

“correcto”: 

- Si los estudios son homogéneos 

La elección n entre un modelo de efectos fijos 

y efectos aleatorios no es importante, ya que los 

resultados serán n idénticos 

- Si los estudios no son homogéneos 

Es más m s apropiado elegir un modelo de efectos 

aleatorios 

• Los modelos de efectos fijos y efectos aleatorios 

utilizan diferentes métodos m 

estadísticos sticos para 

combinarlos resultados 



Efectos fijos Efectos aleatorios 

Método Efecto Método Efecto 

V. Cualit. Mantel-Haenszel OR, RR DerSimonian- 

Laird 

Ratios y 

Diferencias 

Peto 

OR 

Basado en la 

varianza general 

Ratios y 

diferencias 

V. Cuantit. Diferencias 

tipificadas entre 

medias 

Cuantitativas 

Diferencias 

tipificadas 

entre medias 

Cuantitativas 


4

Unbiased Hedges’ g estimate 

Corrections for small sample size will be made. 

3 

= 1− 

4m 

−1 

μe − μc 

δ = 

σ 

m = n c 

+ ne 

− 2 

Effect size interpretation 

Since effect sizes are non-dimensional 

measurements (no units), some 

conventions have been proposed [1],[2] [2]: 

– small≈0.20, 

– medium≈0.50 

– large≈0.80 

J m 

⎛ 3 ⎞ ⎛ 3 

( ) ⎟ ⎞ 

d = g⎜1− 

⎟ = g 

⎜1− 

⎝ 4m 

−1⎠ 

⎝ 4 n e 

+ n e 

− 9 ⎠ 


– [1] Cohen, J. (1988). Statistical power analysis for the behavioral 

sciences (2nd ed.). 

Hillsdale, , NJ: Erlbaum. 

– [2] Cohen, J. (1992). A power primer. Psychological Bulletin, 112, 

155-159. 

159. 


Análisis de sensibilidad (resumen) 

• Un análisis de sensibilidad evalúa a la 

estabilidad de las conclusiones de un análisis 

según n las asunciones (supuestos) que se han 

realizado en el análisis 

• Cuando una conclusión n permanece invariante 

al variar las asunciones del análisis, se 

refuerza la confianza en la validez de las 

conclusiones del análisis 


Análisis de sensibilidad (1) 

• Un análisis de sensibilidad evalúa a la estabilidad de 

las conclusiones de un análisis según n las asunciones 

(supuestos) que se han realizado en el análisis 

• Cuando una conclusión n permanece invariante al variar 

las asunciones del análisis, se refuerza la confianza 

en la validez de las conclusiones del análisis 

• El análisis de sensibilidad permite identificar las 

asunciones más m s críticas del análisis 

• Conocer las asunciones críticas de un análisis puede 

ser utilizado para formular las prioridades para una 

futura investigación n enfocada a resolver el problema 

planteado en el análisis 


Análisis de sensibilidad (2) 

ANÁLISIS ASUNCIONES 

ANÁLISIS DE 

SENSIBILIDAD 

- Estim a c ió n d e la 

magnitud del 

efecto global 

mediante un 

- La s m a g nitud e s 

d e lo s e fe c t o s d e 

lo s e st u d io s so n 

homogéneos o 

- Estimar la magnitud 

del efecto global 

mediante un modelo 

de efectos aleatorios 

modelo de efectos 

fijos 

sim ila re s 

Si lo s re su lta d o s d e lo s d o s a n á lisis so n sim ila re s, la a su n c ió n d e l 

análisis es correcta 

La magnitud del efecto global estimado es valido 

Si lo s re su lta d o s d e lo s d o s a n á lisis so n d ife re n te s, la a su n c ió n 

d e l a n á lisis n o e s c o rre c ta , e s d e c ir, la s m a g n itu d e s d e lo s 

e fe c t o s d e lo s e st u d io s n o so n h o m o g é n e o s 

La magnitud del efecto global estimado podría no ser valido 

RELATIVE LIVE-BIRTH RATIO 

Análisis se sensibilidad (3) 

2.0 

1.8 

1.6 

1.4 

1.2 

1.0 

0.8 

0.6 

0.4 

0.2 

0.0 

FAVOURS CONTROL FAVOURS TREATMENT 

Homogeneity test 

P = 0.06 (0.10) 



5

Análisis de la correlación 

• Una correlación n significativa entre la magnitud 

del efecto y el tamaño o de la muestra de los estudios 

indica que el tamaño o del efecto depende del tamaño 

del estudio 

• Esta correlación n puede indicar una verdadera 

heterogeneidad entre estudios, fundamentalmente 

debida a un diferente esfuerzo experimental entre 

estudios, es decir, la rigurosidad del estudio estaría 

en función n de su tamaño 

• En este caso podría a no ser valido el meta-an 


Análisis de la correlación 

ODDS RATIO 

2.4 

2.2 

2.0 

1.8 

1.6 

1.4 

1.2 

1.0 

0.8 

0.6 

0.4 

0.2 

CORRELATION BETWEEN THE EFFECT SIZE AND SAMPLE SIZE 

0.0 

100 140 180 220 260 300 340 380 420 

SAMPLE SIZE 

r 2 = 0.01 

b = 0.0009 

p = 0.70 



Análisis de la robustez 

Análisis del sesgo de publicación n y/o 

inclusión n selectiva de estudios positivos (1) 

• Análisis del sesgo de publicación n y/o inclusión 

selectiva de estudios positivos 

• Correlación n entre la magnitud del efecto y 

el tamaño o muestral de los estudios. 


• La introducción n del sesgo de publicación n y/o 

inclusión n selectiva de estudios positivos en un 

meta-an 

análisis se debe fundamentalmente a que: 

- La mayoría a de estudios publicados presentan 

resultados positivos significativos y una minoría 

muestran resultados negativos o no significativos 

- Hay una tendencia a seleccionar y, por tanto, 

incluir en el meta-an 

análisis los estudios o datos no 

publicados con resultados positivos significativos 

y a guardar los que muestran resultados 

negativos o no significativos 


Análisis del sesgo de publicación n y/o inclusión 

selectiva de estudios positivos (2) 

RELATIVE LIVE-BIRTH RATIO 

PUBLISHED STUDIES VS UNPUBLISHED STUDIES 

1.8 

FAVOURS TREATMENT 

1.6 

1.4 

1.2 

1.0 

0.8 

0.6 

FAVOURS CONTROL 

0.4 

PUBLISHED UNPUBLISHED PUBLISHED PUBLISHED 

+ UNPUBLISHED + UNPUBLISHED 

Data from Jeng GT et al. JAMA 1995; 274:830-836 

DATA 

Análisis del sesgo de publicación n y/o 

inclusión n selectiva de estudios positivos (3) 

Los métodos m 

utilizados para detectar la introducción 

del sesgo de publicación n en un meta-an 

análisis son: 

– Funnel plot 

– El análisis de la asimetria del funnel plot 

Si el número n 

de estudios incluidos en el meta-an 


es pequeño, el funnel plot es poco útil. En este caso, el 

mejor método m 

es comparar el tamaño o del efecto 

global entre los estudios publicados y no publicados 

En un meta-an 

análisis basado en todos los estudios 

originales, no es necesario analizar el sesgo de 

publicación 



6

Funnel plot 

Funnel plot 

SAMPLE SIZE 

DEMONSTRATION OF FUNNEL PLOT 

220 

200 

180 

160 

140 

120 

100 

80 

60 

40 

20 

0 

0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0 

ODDS RATIO 

Published 

Unpublished 

Overall OR 

SAMPLE SIZE 

DEMONSTRATION OF FUNNEL PLOT 

220 

200 

180 

160 

140 

120 

100 

80 

60 

40 

20 

0 

0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0 2.2 

ODDS RATIO 

Published 

Overall OR 



Presentación n gráfica 


Conclusiones (1) 

1. El meta-an 

análisis es un herramienta valida y 

poderosa para la síntesis s 

de la investigación 

siempre y cuando se aplique de forma adecuada 

(justificación, protocolo, etc.) 

2. La utilización n no crítica del meta-an 

análisis puede 

llevar a conclusiones erróneas. Las principales 

críticas que se realizan a un meta-an 

análisis son: 

- Sesgo de publicación n y/o inclusión n selectiva de 

estudios positivos 

- Heterogeneidad entre estudios 

- Correlación n entre el tamaño o del efecto y el 

tamaño o de la muestra 


Conclusiones (2) 

3. Únicamente cuando estos problemas son 

debidamente considerados y analizados por 

medio de: 

- Análisis de la asimetría a del funnel plot 

- Pruebas de homogeneidad 

- Análisis de la correlación n entre el 

tamaño o del efecto y el tamaño o de la 

muestra de los estudios 

Es posible aplicar esta técnica t 

estadística 

stica 

para combinar los estudios de forma que los 

resultados globales sean científicamente 

validos 



Ejemplo 

Ferran Torres 

Ferran.Torres@uab.es 



7

Selection of studies 

Effects of plantago ovata 

husk on lipid metabolism. 

A meta-analysis 

analysis 

 

 

Identified 26 studies =>18 were valid 

according to the predefined criteria 

Excluded studies. 

– Most of them (7 of 8) insufficient information 

on descriptive statistics to calculate the 

meta-analysis analysis estimates from those studies; 

– the other one was erroneously pre-selected 

since only insoluble fiber was used in that 

trial. 



 

 

Statistical issues on the results (1) 

Poor quality of information 

withdrawals and descriptive results: 

Complete available descriptive data, n, mean and 

dispersion (SD or SE), for the baseline subtracted effect 

was found only for one study (Williams 1995). 

– SD (or SE to derive the SD): 

Estimated from baseline and final values by using 

correlation coefficients from other published data. 

If baseline or final SD not available: SD for the baseline 

difference was directly imputed from other published data. 

cross-over over design 

– Intrasubject correlation for the estimation of the SD of the 

treatment differences has been ignored for the cross-over 

over 

design because of (a) it was not available and (b) this is 

conservative since it leads to less significant results. 

 


Treatment arms 

2 per study except 1: 

– (MacMahon 

1998): The mentioned study was a 

three arm trial with a control group (n=74) and 

2 active doses of 7 G/d (n=101), and 10.5G/d 

(n=91). 

– Half the sample size of the control group (n=37; 

74/2) was used for the comparison between 

each active group. 



2007 Ferran.Torres@uab.es 47 2007 Ferran.Torres@uab.es 48 

8



 

Potential Publication Bias 

 

Heterogeneity and sensibility analysis 

– (a) The biggest studies have the lowest magnitude 

effect for Total Cholesterol, although the direction of 

the effect is positive for all of them. 

– (b) There are probably some unpublished small 

studies with negative results, although the bigger 

studies are positive. 

– (a) The biggest studies have the lowest magnitude effect 

for Total Cholesterol, although the direction of the effect is 

positive for all of them. 

– (b) There are probably some unpublished small studies 

with negative results, although the bigger studies are 

positive. 

=> 

– Pooled results too heterogeneous 

very cautious with the conclusions 

fixed effects not valid 



Meta-analysis analysis estimations 

Significant effect for 

– Total Cholesterol (p

Fiber vs Placebo effect in lipid reduction. HDL 

Hedges unbiased g, Random effects 

Fiber vs Placebo effect in lipid reduction. LDL 


Estimates with 95% confidence intervals 


Fiber 

Study 

n: mean(SD) 

ANDERSON 1988 13: -0.090(0.042) 

BELL 1989 40: 0.050(0.066) 

BELL 1990 19: -0.020(0.080) 

LEVIN 1990 30: 0.026(0.168) 

NEAL 1990 27: 0.060(0.168) 

ANDERSON 1991 27: -0.020(0.099) 

ANDERSON 1992 21: -0.020(0.057) 

EVERSON 1992 20: 0.026(0.100) 

SPRECHER 1993 59: -0.026(0.055) 

SPRECHERON 1993 20: -0.020(0.224) 

MACIEJKO 1994 18: 0.130(0.154) 

SUMMERBELL 1994 19: -0.010(0.070) 

WOLEVER 1994 18: -0.040(0.030) 

WILLIAMS 1995 26: 0.106(0.094) 

WEINGAND 1997 23: 0.055(0.168) 

RODRIGUEZ-MORAN 1998 62: 0.440(0.454) 

ANDERSON 1999 14: 0.005(0.168) 

Control 

n: mean(SD) 

13: -0.090(0.141) 

35: 0.030(0.058) 

19: -0.020(0.072) 

28: 0.078(0.168) 

27: 0.140(0.168) 

25: 0.000(0.072) 

23: -0.010(0.024) 

20: 0.000(0.094) 

59: -0.013(0.059) 

20: -0.040(0.134) 

18: 0.130(0.120) 

18: 0.070(0.085) 

18: 0.040(0.030) 

24: 0.039(0.031) 

23: -0.185(0.168) 

63: 0.078(0.044) 

15: 0.017(0.168) 

Fiber 

Study 

n: mean(SD) 

ANDERSON 1988 13: -0.840(0.264) 

BELL 1989 40: -0.310(0.081) 

BELL 1990 19: -0.160(0.100) 

LEVIN 1990 30: -0.337(0.224) 

NEAL 1990 27: -0.480(0.448) 

ANDERSON 1991 27: -0.590(0.283) 

ANDERSON 1992 21: -0.560(0.385) 

EVERSON 1992 20: -0.389(0.372) 

SPRECHER 1993 59: -0.332(0.096) 

SPRECHERON 1993 20: 0.040(0.358) 

MACIEJKO 1994 18: -1.090(0.216) 

SUMMERBELL 1994 19: -0.440(0.194) 

WOLEVER 1994 18: -0.260(0.016) 

WILLIAMS 1995 26: -0.613(0.093) 

WEINGAND 1997 23: -0.320(0.427) 

MACMAHON 1998 101: -0.630(0.427) 

MACMAHON 1998 91: -0.710(0.427) 

RODRIGUEZ-MORAN 1998 62: -0.725(0.427) 

ANDERSON 1999 14: -0.179(0.427) 

Control 

n: mean(SD) 

13: -0.110(0.321) 

35: 0.000(0.232) 

19: -0.140(0.252) 

28: -0.104(0.144) 

27: -0.140(0.523) 

25: -0.200(0.147) 

23: -0.130(0.211) 

20: -0.130(0.099) 

59: -0.057(0.200) 

20: -0.060(0.358) 

18: -0.850(0.941) 

18: -0.250(0.261) 

18: 0.280(0.316) 

24: -0.221(0.238) 

23: -0.020(0.427) 

37: -0.580(0.427) 

37: -0.580(0.427) 

63: -0.440(0.427) 

15: 0.281(0.427) 

Pooled(random effects) 

n=448 

n=456 

-0.03 ( -0.39 , 0.33 ) 


n=522 

n=648 

-1.02 ( -1.36 , -0.69 ) 

-5 -4 -3 -2 -1 0 1 2 3 4 5 

-5 -4 -3 -2 -1 0 1 2 3 4 5 

Absolute Baseline Reduction 


Control better 

Fiber better 


Fiber better 




Hedges unbiased g, Fixed effects 


Difference of means (mmol/L), Random effects 



Fiber 

Study 

n: mean(SD) 

ANDERSON 1988 13: -0.840(0.264) 

BELL 1989 40: -0.310(0.081) 

BELL 1990 19: -0.160(0.100) 

LEVIN 1990 30: -0.337(0.224) 

NEAL 1990 27: -0.480(0.448) 

ANDERSON 1991 27: -0.590(0.283) 

ANDERSON 1992 21: -0.560(0.385) 

EVERSON 1992 20: -0.389(0.372) 

SPRECHER 1993 59: -0.332(0.096) 

SPRECHERON 1993 20: 0.040(0.358) 

MACIEJKO 1994 18: -1.090(0.216) 

SUMMERBELL 1994 19: -0.440(0.194) 

WOLEVER 1994 18: -0.260(0.016) 

WILLIAMS 1995 26: -0.613(0.093) 

WEINGAND 1997 23: -0.320(0.427) 

MACMAHON 1998 101: -0.630(0.427) 

MACMAHON 1998 91: -0.710(0.427) 


ANDERSON 1999 14: -0.179(0.427) 

Control 

n: mean(SD) 

13: -0.110(0.321) 

35: 0.000(0.232) 

19: -0.140(0.252) 

28: -0.104(0.144) 

27: -0.140(0.523) 

25: -0.200(0.147) 

23: -0.130(0.211) 

20: -0.130(0.099) 

59: -0.057(0.200) 

20: -0.060(0.358) 

18: -0.850(0.941) 

18: -0.250(0.261) 

18: 0.280(0.316) 

24: -0.221(0.238) 

23: -0.020(0.427) 

37: -0.580(0.427) 

37: -0.580(0.427) 

63: -0.440(0.427) 

15: 0.281(0.427) 

Fiber 

Study 

n: mean(SD) 

ANDERSON 1988 13: -0.840(0.264) 

BELL 1989 40: -0.310(0.081) 

BELL 1990 19: -0.160(0.100) 

LEVIN 1990 30: -0.337(0.224) 

NEAL 1990 27: -0.480(0.448) 

ANDERSON 1991 27: -0.590(0.283) 

ANDERSON 1992 21: -0.560(0.385) 

EVERSON 1992 20: -0.389(0.372) 

SPRECHER 1993 59: -0.332(0.096) 

SPRECHERON 1993 20: 0.040(0.358) 

MACIEJKO 1994 18: -1.090(0.216) 

SUMMERBELL 1994 19: -0.440(0.194) 

WOLEVER 1994 18: -0.260(0.016) 

WILLIAMS 1995 26: -0.613(0.093) 

WEINGAND 1997 23: -0.320(0.427) 

MACMAHON 1998 101: -0.630(0.427) 

MACMAHON 1998 91: -0.710(0.427) 


ANDERSON 1999 14: -0.179(0.427) 

Control 

n: mean(SD) 

13: -0.110(0.321) 

35: 0.000(0.232) 

19: -0.140(0.252) 

28: -0.104(0.144) 

27: -0.140(0.523) 

25: -0.200(0.147) 

23: -0.130(0.211) 

20: -0.130(0.099) 

59: -0.057(0.200) 

20: -0.060(0.358) 

18: -0.850(0.941) 

18: -0.250(0.261) 

18: 0.280(0.316) 

24: -0.221(0.238) 

23: -0.020(0.427) 

37: -0.580(0.427) 

37: -0.580(0.427) 

63: -0.440(0.427) 

15: 0.281(0.427) 

Pooled(fixed effects) 

n=522 

n=648 

-0.88 ( -1.01 , -0.75 ) 


n=522 

n=648 

-0.28 ( -0.35 , -0.21 ) 

-5 -4 -3 -2 -1 0 1 2 3 4 5 

-1.0 -0.7 -0.4 -0.1 0.1 0.3 0.5 0.7 0.9 



Fiber better 



Fiber better 



Fiber vs Placebo effect in lipid reduction. Triglycerides 



Hedges unbiased g, Fixed effects 



Study 

ANDERSON 1988 

Fiber 

n: mean(SD) 

13: -0.210(0.058) 

Control 

n: mean(SD) 

13: 0.190(0.479) 

Study 

ANDERSON 1988 

Fiber 

n: mean(SD) 

13: -0.210(0.058) 

Control 

n: mean(SD) 

13: 0.190(0.479) 

BELL 1989 

40: 0.030(0.302) 

35: -0.050(0.102) 

BELL 1989 

40: 0.030(0.302) 

35: -0.050(0.102) 

BELL 1990 

19: -0.135(0.214) 

19: 0.030(0.201) 

BELL 1990 

19: -0.135(0.214) 

19: 0.030(0.201) 

LEVIN 1990 

30: -0.011(0.320) 

28: 0.000(0.088) 

LEVIN 1990 

30: -0.011(0.320) 

28: 0.000(0.088) 

NEAL 1990 

27: -0.240(0.293) 

27: -0.140(0.313) 

NEAL 1990 

27: -0.240(0.293) 

27: -0.140(0.313) 

ANDERSON 1991 

27: 0.200(0.516) 

25: -0.120(0.185) 

ANDERSON 1991 

27: 0.200(0.516) 

25: -0.120(0.185) 

ANDERSON 1992 

21: 0.080(0.455) 

23: 0.300(0.791) 

ANDERSON 1992 

21: 0.080(0.455) 

23: 0.300(0.791) 

EVERSON 1992 

20: 0.102(0.630) 

20: 0.000(0.224) 

EVERSON 1992 

20: 0.102(0.630) 

20: 0.000(0.224) 

SPRECHER 1993 

59: 0.006(0.308) 

59: 0.150(0.345) 

SPRECHER 1993 

59: 0.006(0.308) 

59: 0.150(0.345) 

SPRECHERON 1993 

20: 0.240(0.805) 

20: 0.920(1.163) 


20: 0.240(0.805) 

20: 0.920(1.163) 

MACIEJKO 1994 

18: 0.450(1.008) 

18: 0.410(0.351) 

MACIEJKO 1994 

18: 0.450(1.008) 

18: 0.410(0.351) 

WILLIAMS 1995 

26: -0.142(0.249) 

24: -0.232(0.137) 

WILLIAMS 1995 

26: -0.142(0.249) 

24: -0.232(0.137) 

WEINGAND 1997 

23: 0.002(0.781) 

23: 0.002(0.781) 

WEINGAND 1997 

23: 0.002(0.781) 

23: 0.002(0.781) 

RODRIGUEZ-MORAN 1998 

62: -0.554(0.781) 

63: -0.181(0.781) 


62: -0.554(0.781) 

63: -0.181(0.781) 

ANDERSON 1999 

14: 0.165(0.781) 

15: 0.342(0.781) 

ANDERSON 1999 

14: 0.165(0.781) 

15: 0.342(0.781) 


n=412 

n=419 

-0.15 ( -0.39 , 0.09 ) 

Pooled(fixed effects) 

n=412 

n=419 

-0.16 ( -0.30 , -0.02 ) 

-5 -4 -3 -2 -1 0 1 2 3 4 5 

-5 -4 -3 -2 -1 0 1 2 3 4 5 



Fiber better 



Fiber better 



10

Study 

ANDERSON 1988 

BELL 1989 

BELL 1990 

LEVIN 1990 

NEAL 1990 

ANDERSON 1991 

ANDERSON 1992 

EVERSON 1992 

SPRECHER 1993 


MACIEJKO 1994 

WILLIAMS 1995 

WEINGAND 1997 


ANDERSON 1999 


Difference of means (mmol/L), Random effects 

Fiber 

n: mean(SD) 

13: -0.210(0.058) 

40: 0.030(0.302) 

19: -0.135(0.214) 

30: -0.011(0.320) 

27: -0.240(0.293) 

27: 0.200(0.516) 

21: 0.080(0.455) 

20: 0.102(0.630) 

59: 0.006(0.308) 

20: 0.240(0.805) 

18: 0.450(1.008) 

26: -0.142(0.249) 

23: 0.002(0.781) 

62: -0.554(0.781) 

14: 0.165(0.781) 

Control 

n: mean(SD) 

13: 0.190(0.479) 

35: -0.050(0.102) 

19: 0.030(0.201) 

28: 0.000(0.088) 

27: -0.140(0.313) 

25: -0.120(0.185) 

23: 0.300(0.791) 

20: 0.000(0.224) 

59: 0.150(0.345) 

20: 0.920(1.163) 

18: 0.410(0.351) 

24: -0.232(0.137) 

23: 0.002(0.781) 

63: -0.181(0.781) 

15: 0.342(0.781) 


Subgroups 

SS with ES>1 

– Cholesterol and LDL 

fiber food supplement compound 

intake duration between 4 and 8 weeks 

daily doses >10G/d 

Moderate SS ES 

– >8 weeks regimens 

-0.7 cholesterol and -0.8 LDL 

SS with ES≈1 

– periods of study publication: no clear trend 


n=412 

n=419 

-0.07 ( -0.16 , 0.03 ) 

-1.0 -0.7 -0.4 -0.1 0.1 0.3 0.5 0.7 0.9 


Adult population: replication of the main pooled 

effect because only 2 studies on childhood. 

Fiber better 




Group 

Cholesterol 

Hedges’ g 

estimator 

(random) 

95% 

Lower 

Limit 

95% 

Upper 

Limit 

P value 

Main pooled effect 0.000 -1.007 -1.311 -0.703 

Type of fiber 

Fiber food supplement compound 0.000 -1.134 -1.561 -0.707 

Diet or Cereals supplements 0.000 -0.869 -1.313 -0.426 

Duration of fiber Intake 

4 to 8 weeks 0.024 -0.672 -1.255 -0.088 

Daily dose 

< 5 G/d 0.939 -0.024 -0.644 0.596 

>= 5 to 10 G/d 0.005 -0.908 -1.542 -0.275 

>10 G/d 0.000 -1.123 -1.477 -0.769 

Population 

Non Adults 0.303 -0.786 -2.282 0.711 

Adults 0.000 -1.032 -1.350 -0.714 

Year of publication 

1988-1990 0.000 -1.807 -2.418 -1.196 

1991-1993 0.001 -0.786 -1.234 -0.338 

1994-1997 0.000 -0.971 -1.456 -0.486 

>=1998 0.016 -0.370 -0.673 -0.068 

Group 

LDL 

Hedges’ g 

estimator 

(random) 

95% 

Lower 

Limit 

95% 

Upper 

Limit 

P value 

Main pooled effect 0.000 -1.023 -1.356 -0.690 

Type of fiber 

Fiber food supplement compound 0.000 -1.191 -1.569 -0.813 

Diet or Cereals supplements 0.002 -0.833 -1.360 -0.306 

Duration of fiber Intake 

4 to 8 weeks 0.036 -0.765 -1.480 -0.051 

Daily dose 

< 5 G/d 0.389 0.274 -0.349 0.897 

>= 5 to 10 G/d 0.022 -0.950 -1.761 -0.139 

>10 G/d 0.000 -1.154 -1.457 -0.851 

Population 

Non Adults 0.441 -0.942 -3.338 1.454 

Adults 0.000 -1.029 -1.354 -0.704 

Year of publication 

1988-1990 0.001 -1.192 -1.891 -0.493 

1991-1993 0.003 -1.102 -1.834 -0.370 

1994-1997 0.001 -1.245 -2.008 -0.481 

>=1998 0.008 -0.453 -0.788 -0.118 





Ejemplo 



Example 

Fleiss JL The statistical basis of meta-analysis. 

analysis. 

Statistical Methods in Medical research 1993; 2: 

121-145. 

145. 

Results of seven placebo-controlled controlled randomised 

studies of the effect of aspirin in preventing 

death after myocardial infarction 



11

Studies of aspirin in myocardial 

infarction 

Study 

deaths 

Total patients 

AAS Placebo AAS Placebo 

MRC-1 49 67 615 624 

CDP 44 64 758 771 

MRC-2 102 126 832 850 

GASP 32 38 317 309 

PARIS 85 104 810 812 

AMIS 246 219 2267 2257 

ISIS-2 1570 1720 8587 8600 

Meta-analysis of Aspirin trials 

Study OR 95% CI y=ln(OR) se{lnOR} w Prop weight 

MRC-1 0.72 0.49 1.06 -0.33 0.19 26.3 2.9% 

CDP 0.68 0.46 1.01 -0.38 0.20 25.1 2.8% 

MRC-2 0.80 0.61 1.06 -0.22 0.14 49.3 5.4% 

GASP 0.80 0.49 1.32 -0.22 0.25 15.6 1.7% 

PARIS 0.79 0.54 1.16 -0.23 0.19 27.1 3.0% 

AMIS 1.13 0.94 1.37 0.12 0.10 104.3 11.4% 

ISIS-2 0.90 0.83 0.97 -0.11 0.04 665.1 72.9% 

∑ w i 

y i 

= −99.3 

∑ wi 

= 910.8 

Pooled estimate of ln(OR) = 

− 99.3 

= −0.11 

910.8 

OR = 0.90 (0.84 0.96) 



Graphical representation 

Fixed OR = 0.90 (0.84 0.96) 

Study OR 95% CI y=ln(OR) se{lnOR} w Prop weight 

MRC-1 0.72 0.49 1.06 -0.33 0.19 26.3 2.9% 

CDP 0.68 0.46 1.01 -0.38 0.20 25.1 2.8% 

MRC-2 0.80 0.61 1.06 -0.22 0.14 49.3 5.4% 

GASP 0.80 0.49 1.32 -0.22 0.25 15.6 1.7% 

PARIS 0.79 0.54 1.16 -0.23 0.19 27.1 3.0% 

AMIS 1.13 0.94 1.37 0.12 0.10 104.3 11.4% 

ISIS-2 0.90 0.83 0.97 -0.11 0.04 665.1 72.9% 

Random OR= 0.88 95%CI : (0.77 ; 0.99) 


Study OR 95% CI y=ln(OR) var Prop weight 

MRC-1 0.72 0.46 1.10 -0.33 0.05 8.0% 

CDP 0.68 0.43 1.05 -0.38 0.05 8.0% 

MRC-2 0.80 0.57 1.12 -0.22 0.03 13.0% 

GASP 0.80 0.46 1.36 -0.22 0.07 5.0% 

PARIS 0.79 0.52 1.20 -0.23 0.05 9.0% 

AMIS 1.13 0.86 1.48 0.12 0.02 21.0% 

ISIS-2 0.90 0.72 1.10 -0.11 0.01 36.0% 



12

10.4%-14.2% = 3.8% 




Normativas 




Guias y Normativas 

ICH - E9: Statistical Principles for Clinical 

Trials Note for Guidance on Statistical 

Principles for Clinical Trials. 

CMP/ICH/363/96. September 1998 

CPMP/EWP/2330/99: Validity and 

Interpretation of Pooled Analyses, and one 

Pivotal study 

The Potsdam International Consultation on 

Meta-analysis analysis Potsdam, Germany, March 1994 

QUORUM. Statement. Lancet 1999; 354: 

1896-1900. 

1900. 


Potsdam International 

Cosultation 

• Journal of Clinical Epidemiology 1995; 48: 1-711 

• Cook DJ, Sackett DL, Spitzer WO. Methodologic 

guidelines for systematic reviews of randomized 

control trials in health care from the Potsdam 

consultation meta-analysis 

analysis. . J Clin Epidemiol 1995; 

48:168-71. 

Describen los pasos que se deben seguir en el 

desarrollo de un meta-an 

análisis riguroso 



13

ICH Biostatistical guideline 

”Individual clinical trials should always be large 

enough to satisfy their objectives.” 

”The 

use of meta-analytic analytic techniques to 

combine these estimates is often useful, 

because it allows a more precise estimate of 

the size of the treatment effects.” 

ICH Biostatistical guideline 

”Under 

exceptional circumstances a meta- 

analytic approach may be the most 

appropriate way to, or the only way, , of 

providing sufficient overall evidence of 

efficacy ...” 



PtC on Meta-analyses 

analyses 

Acceptable regulatory purposes for meta analysis 

”… not to encourage applicants to rely on a 

submission where stand alone studies 

have been substituted by a meta- 

analysis of trials of inadequate size.” 

To improve the precision of the estimate of 

efficacy 

To evaluate whether overall positive results 

are also seen in pre-specified subgroups 

To evaluate apparently conflicting results. 



Acceptable regulatory purposes for meta 

analysis 

To evaluate an additional efficacy outcome 

that requires more power than the individual 

trials can provide. 

To evaluate safety in a subgroup, , or a rare 

event in all patients. 

Pre-specification 

specification: : Meta-analysis analysis protocol 

The objective of the analyis. 

Criteria for inclusion and exclusion of studies 

(study 

populations, study design, dosage, 

duration etc). 

Strategy for indentification of studies. 

Endpoints. . The definitions set up for the 

individual studies should be followed. 



14

Pre-specification 

specification: : Meta-analysis analysis protocol 

Statistical methods. . P-value P 

more extreme 

than the conventional 0.05. Evaluation of 

hetreogeneity. 

Plan for evaluation of robustness. 

Demonstration of consistency in alternative 

analyses. 

Timing of the meta-analysis analysis protocol 

A retrospective specification should be 

avoided if possible. 

In retrospectively specified protocols the 

primary specifications and definitions set up 

in the indivi-dual dual studies should be followed. 



Retrospective meta-analysis 

analysis 

May be acceptable if 

some studies clearly positive 

no major numerical interactions 

positive trend in inconclusive studies 

pooled CI well away from zero (or unity) 

selection bias unlikely 

robustness of the findings 


Obligation to submit all studies relevant to 

the claims made. 

Selection bias normally not a problem for new 

chemical entities. 

Selection bias in drug applications not specific 

to applications with a meta-analysis 

analysis 




Clinical relevance of pooled results 

Substantial risk for selection bias in 

applications wholly or partly relying on 

bibliographical data. 

The strategy for indentifying relevant 

studies should be presented together with a 

thorough discussion of a potential selection 

bias. 

Statistical significance vs clinical relevance. 

Emphasis on clinical judgement. 

Significant effects might be to small to 

result in a positive overall risk/benefit 

benefit. 



15

Heterogeneity and external validity 

Are the study populations sufficiently 

representative of a common target population 

(dosage, duration, severity etc)? 

Are there any reason to suspect a clinically 

relevant interaction? 

Suspected interactions and major clinical 

differences among the individual studies should be 

evaluated in alternative analyses. 


Pooled analyses of safety endpoints 

Less sophisticated pooling of data from 

variable sources. 

Strigent meta-analysis 

analysis for in depth evaluation 

of safety signals from less reliable analyses. 

Special attention to the inclusion of studies 

that are likely to dilute potential negative 

effect. 

Intra-study comparisons a minimum 

requirement. 


ICH E9 Statistical principles for Clinical 

Trials, , 1998 

What is the crucial question? 

”The 

results of the confirmatory trial(s) 

should be robust.” 

”In 

some circumstances the weight of 

evidence from a single confirmatory 

trial may be sufficient.” 

Do we have enough studies? 

or 

Do we have enough data? 



Arguments for replication 

More than one study provides a broader basis 

for generalisation of the results. 

Protection against fraud 

Reduced risk for some hidden systematic bias 

The general demand for replication of 

scientific results 

Fundamental requirement on the phase 

III documentation 

Adequate and well-controlled 

data of good quality 

A sufficient number of patients, 

with a sufficient variety and disease conditions, 

collected by a sufficent number of investigators, 

demonstrating a positive risk/benefit 

in the intended 

population at the intended dose and manner of use. 

Minimum requirement: One controlled study with 

sta-tistically tistically compelling and clinically relevant 

results. 



16

Reasons to plan for more than one study 

Lack of pharmacological rationale 

A new pharmocological principle 

Phase I and phase II data limited or 

unconvincing 

A therapeutic area with a history of failed 

studies or failures to confirm seemingly 

convincing results 

Any other need to address additional 

questions in the phase III program 

Crucial issues in the one pivotal study situation 

Internal and external validity. 

Clinical relevance. . The treatment benefit 

must be large enough to be clinically 

relevant. 

Statistical significance. Passing the 

conventional 5% significance level is usually 

not sufficient. 



Crucial issues in the one pivotal study situation 

Data quality 

Internal consistency. Similar findings in 

pre-specified sub-populations and for 

different endpoints. 

Center effects. 

Plausibility of the hypothesis tested. 

Scientific advice on One confirmatory study 

Sponsors’ argument 

New/extended extended indication, pediatric indication 

New formulation 

Effects on survival 

Serious disease (e.g. cancer) 

Life-long disease without cure 

No therapy currently available 

Rare disease (orphan drug) 

One study in each of two indications 

Placebo controlled dose-finding 

study positive 



Conclusion on One Pivotal study 

There is no formal requirement to include two 

or more pivotal studies in the phase III 

program. 

In most cases several studies is the most 

feasible way to provide the data needed. 

In the exceptional event of a one pivotal 

study application, theis study has to be 

particularly compelling. 


17

Meta-análisis - Web de Ferran Torres

Create successful ePaper yourself

Delete template?

Save as template?