La méta-analyse

La méta-analyse
Un guide de survie
Stéphane Potvin, PhD
Charles-Édouard Giguère, MSc
Centre de recherche
Institut Universitaire en Santé Mentale de Montréal
Département de psychiatrie
Université de Montréal

La science nous protège-t-elle du dogme ?
‣ Nature humaine
• Tendance à retenir les informations conformes à nos idées
et à mettre de côté les informations qui sont contraires à
nos opinions
‣ Les forces de la science
• La méthodologie
• Les statistiques
‣ Les points de vulnérabilité
• Rejet des résultats négatifs, et sur-évaluation des résultats
positifs
• L’influence politique (recherche appliquée au Canada)
• L’influence financière (le Big Pharma)
• Les effets de mode (les boissons énergisantes)
• La littérature “grise”

La revue de littérature narrative
‣ Le potentiel de biais peut être élevé
• Revue de littérature non-exhaustive
• Sur-estimation de l’importance des études favorables à l’hypothèse
• Sous-estimation de l’importance des études défavorables à
l’hypothèse
‣ Exemples
• La perception de la douleur dans la dépression majeure (Campbell,
2003)
‣ Revue de littérature systématique
• Sur-estimation de l’importance des études favorables à l’hypothèse
• Sous-estimation de l’importance des études défavorables à
l’hypothèse
‣ Méta-analyse
• Revue de littérature systématique
• Analyse quantitative

Les étapes de la méta-analyse
‣ 1) Identifier une question de recherche
‣ 2) Critères d’inclusion / exclusion des articles
‣ 3) Cueillette des articles (PubMed, PsycInfo, etc.)
‣ 4) Quality assessment
‣ 5) Entrée des données
‣ 6) Analyses statistiques (taille de l’effet)
‣ 7) Vérification de l’hétérogénéité
‣ 8) Analyses secondaires
‣ 9) Rédaction de l’article

Les forces de la méta-analyse I
‣ 1) Puissance statistique
• Exemple: Antipsychotiques
• α=0.05 ; β=0.85
• Différence de 20% entre les 2 groupes (d=0.35)
• 150 patients par groupe
• 1% des 2000 premières études répondent à ces
critères (Thornley & Adams, 1998)
‣ 2) Identification de la taille des effets
• Il s’agit d’une information que le p-value ne nous donne
pas directement
‣ 4) Facilité des comparaisons
• Multitude des stats
• Multitudes d’échelles

Les forces de la méta-analyse II
‣ 5) Déterminer si les résultats de études publiées sont homogènes ou
hétérogènes
‣ 6) Identification de variables modératrices
• Exemple1: Antidépresseurs & suicide
• Temps 1: No problem
• Temps 2: Antidépresseurs suicide
• Temps 3: Antidépresseurs ↑ suicide… chez les ados,
• Mais ↓ suicide chez les adultes (Barbui et al., 2009)
• Exemple 2: Les antidépresseurs sont-ils efficaces ?
• Temps1: C’est évident
• Temps2: Inclusion des études non-publiées (Kirsch et al., 2008)
Ce n’est plus évident du tout
• Temps3: Efficacité ssi dépression = relativement sévère (Khin, 2011)

Les forces de la méta-analyse III
Identification de variables modératrices
‣ 7) Identification de guides méthodologiques pour les études futures
‣ 8) Scepticisme par rapport aux idées reçues
• Exemple: Affect plat et schizophrénie
‣ 9) Confirmation d’hypothèses reçues avec scepticisme
• Exemple: L’indifférence à la douleur dans la schizophrénie
o
o
o
o
15 études expérimentales
Sitmuli thermiques, électriques, etc.
Seuils de douleur et de tolérance plus élevés dans la SCZ
Valable pour les patients drug-free

Les étapes de la méta-analyse
‣ 1) Identifier une question de recherche
• Publication du protocole de la méta-analyse
• Pas seulement pour les méta-analyses Cochrane
‣ 2) Critères d’inclusion / exclusion des articles
• Étape cruciale
‣ Critères d’inclusion/exclusion
Impact sur la qualité des études
Impact sur l’hétérogénéité
Impact sur les résultats !
‣ Exemple (Leucht, 2016); 40 études
• La clozapine n’est pas plus efficace que les autrres antipsychotiques
pour les patients qui sont “treatment-resistant”
• Olanzapine: UNE mauvaise réponse pharmacologique préalable
• Clozapine: DEUX mauvaises résponses, incluant une mauvaise
réponse évaluée de façon prospective

‣ 3) Cueillette des articles
Les étapes de la méta-analyse
• Medline, PsycInfo, Embase, Current Contents, Cochrane,
etc.
• Medline ne suffit pas: 60% des articles seulement…
• Keywords: “restreints” versus “larges”
• Lecture des articles > abstracts
• “cross-referencing”
• Rapports gouvernementaux
• Thèses
• Problème de la langue étrangère (cytokines)
• Entreprise pharmaceutique
• Culture des résultats positifs
‣ La psychose et l’attribution d’une signification émotionnelle à des
stimuli... neutres
• PubMed: 15 articles
• Google scholar: 40 articles

Les étapes de
la méta-analyse
‣ NE PAS oublier de
noter les raisons
pour lesquelles vous
excluez des études
‣ Raisons
macroscopiques
o Revue de
littérature, etc.
‣ Raisons
microscopiques
o Données
manquantes
‣ Refaire cette étape à
la toute fine est
clairement néfaste
pour la santé
mentale

Les étapes de la méta-analyse
‣ 4) Évaluation de la qualité des études / risque de biais
‣ Essais randomisés contrôlés
• Randomisation: Oui ou non; si oui, quelle procédure ?
• Insu: Simple ou double ?
• Perte au suivi: Analyses “intention to treat” ?
• Outcomes: Le choix des outcomes est-il bon ?
Les outcomes sont-ils tous rapportés ?
‣ Études observationnelles
• Le choix des critères d’inclusion et d’exclusion
• Le choix des mesures d’outcomes
• Les facteurs confondants
• Le devis de l’étude: Transversal ou longitudinal ?

Les étapes de la méta-analyse
‣ 5) Entrée des données
• À deux...
• À l’insu de l’autre
• Données manquantes contacter les auteurs
‣ 6) Analyses statistiques (taille de l’effet)
‣ 7) Vérification de l’hétérogénéité
‣ 8) Analyses secondaires
• Étape cruciale
‣ 9) Rédaction de l’article: Recommandations de PRISMA
• PRISMA = Preferred Reporting Items for Systematic Reviews
and Meta-Analysis
• Récapitulation de tout ce que nous aurons vu aujourd’hui

Les stats méta-analytiques I
‣ Calcul de la taille de l’effet
– –
• Cohen’s d = ( X 1 – X 2 )
σ (pooled SD)
‣ Taile de l’effet ≈ score-z
‣ Score-z = (score de l’individu x – moyenne du groupe)
écart-type du groupe
‣ Taille de l’effet = une mesure d’écart-type
souplesse
• Exemple: Aggrégation de différentes échelles de
dépression

Les stats méta-analytiques II
‣ Facteurs influençant la taille de l’effet
• Écart entre les moyennes
• La variabilité
‣ L’influence de la variabilité
• Score-z et QI
• > écart-type < taille de l’effet
‣ Niveau de signification
• Taille de l’échantillon
‣ Par convention
• Cohen’s d = 0.2 (effet faible)
• Cohen’s d = 0.5 (effet modéré)
• Cohen’s d = 0.8 (effet fort)
‣ Prière de faire preuve de
jugement

Une grande flexibilité statistique
‣ La taille de l’effet peut être calculée à partir de
• Moyenne & écart-type
• Test-t (gr indép, mesures répétées)
• ANOVA (gr indép, mesures répétées)
‣ Souplesse des devis expérimentaux
• Comparaison entre groupes
• Suivi dans le temps
• Plans mixtes
‣ Les amalgames sont aussi possibles
• Corrélation, chi-carré, odds ratios, etc.
• Attention: Source d’hétérogénéité
‣ Exception: Les statistiques non-paramétriques
• Problématique dans le cas des variables biologiques

Les fréquences: le choix de l’outcome
comparaisons
relatives
‣ Odds ratio
• (événement / non-événement ds Groupe 1)
(événement / non-événement ds Groupe 2)
‣ Relative risk (risk ratio)
• Événement / n ds Groupe 1
Événement / n ds Groupe 2
‣ Choix
• Si événement = rare, alors relative risk = odds ratio
• Si événement = commun, alors odds ratio > risque relatif
‣ Données nécessaire
• Odds ratio + intervalle de confiance ou erreur type
• Événement + N dans chaque groupe

Aggrégation des tailles de l’effet
‣ Pondération des études en fonction de la taille de leur échantillon
• Méthode de la variance inverse
• On cherche à éviter à donner autant de poids à une petite étude qu’à la
grande étude multi-centrique
‣ Cohen’s d versus odds ratios
• Les formules varient, mais les principes sont les mêmes
‣ Modèle à effet fixe
‣ Postulat implicite
• Les différentes études réunies dans la méta-analyse sont comparables
• Elles représentent différents d’une même population théorique
• Confiance taille de l’échantillon
√
‣ Poids = 1 / variance (SE 2 ); ou SE = 1 + 1 + d 2
( )
N 1 N 2 2 x (N 1 + N 2 )

Aggrégation des tailles de l’effet
‣ Aggrégation 2 problèmes principaux
• Les petits échantillons
• L’hétérogénéité des “effect size”
‣ 1) Les petits échantillons
• Solution: g de Hedges versus d de Cohen
‣ 2) L’hétérogénéité
• Test Q de Cochrane
‣ Que faire s’il y a de l’hétérogénéité ?
• A. Repenser à la pertinence de la méta-analyse
g = d x 1 –
(
3
)
4 x ( dl -1 )
• B. Cochrane: Rapporter les tailles de l’effet pour les études individuelles,
sans faire d’agrégation
• Exemple: Imagerie fonctionnelle et individus à haut risque (Fusar-Poli,
2007)
• C. Identification d’études outliers
• D. Application d’un modèle qui tient compte de l’hétérogénéité
• E. Réalisation de sous-analyses en vue d’expliquer l’hétérogénéité

Hétérogénéité
‣ Cochran’s Q = mesure de la variation typique de chaque effect
size par rapport au composite effect size
• Calcul: Somme des carrés (effets de l’étude individuelle vs effet
composé), pondérée en fonction de la taille de l’échantillon
‣ Cochran’s Q ≠ puissant si nombre d’études est faible
‣ Cochran’s Q = trop sensible si nombre d’études est élevé
‣ I 2 = “correction” du Q-test en fct du n d’études
• Pourcentage de la variance totale de la méta-analyse qui est due à
l’hétérogénéité inter-études
‣ Convention (Higgins, 2006)
• I 2 = 25% faible hétérogénéité
• I 2 = 50% modérée
• I 2 = 75% forte (inter > intra)
I 2 = Q – (n d’études -1)
Q

Solutions au problème de l’hétérogénéité
‣ 1. Identification des sources d’hétérogénéité
• A) Les types d’études
• Exemple: Contrôlée ou non; transversale vs longitudinale
• B) Les populations à l’étude
• Exemple: Scz seulement vs scz et autres
• C) Les types de statistiques
• Attention à la poutine statistique
• En particulier: Gr indép & mesures répétées
• D) L’outcome et sa mesure
• Exemple: La cognition dans la schizophrénie !
‣ Solution = analyses de sous-groupes

Le casse-tête cognitif
‣ Quel domaine cognitif est mesuré
par la tâche de Stroop ?
• Attention sélective
• Flexibilité cognitive
(fonctions exécutives)
• Vitesse psychomotrice
‣ Solution: Experts & analyses
factorielles
o
o
MATRICS
Stroop vitesse psychomotrice

Standard Error
Solutions au problème de l’hétérogénéité
‣ 2. Identification d’études “outliers”
• Méthodes?
• Funnel plot
• 2 écarts-type
• Absence de recoupement
entre les intervalles de
confiance
• Analyses de sensibilité
(one study removed)
‣ 3. Random- versus fixed-effect model
• “fixed-effect” (Hedges-Olkin):
variabilité intra
• “random-effect” (DerSimonian &
Laird): variabilité intra & inter
0,0
Funnel Plot of Standard Error by Std diff in means
• Raison stat + raison métho
• Exemple: Psychol Med
• Cannabis et symptômes
dans la SCZ
0,1
0,2
0,3
0,4
0,5
-3 -2 -1 0 1 2 3
Std diff in means

Axis Title
4. Sous-analyses
‣ Variables modératrices catégorielles
• Regroupement des études en fonction de certaines
caractéristiques catégorielles
• Taux d’abandon dans la SCZ (13%); interventions psy
• 74 RCTs; 4374 patients; 26 semaines
• Avec Kathe Villeneuve & Dr Alain Lesage
• Exemple: Hommes SCZ > taux d’abandon
‣ Variables modératrices continues
‣ Analyses de méta-régression
• Relation linéaire entre les effect size
et les variables modératrices
100.0
50.0
0.0
-50.0
-100.0
0 5 10 15 20 25
-150.0
Axis Title

Hedges's g
‣ Antipsychotiques & leptine
• Hormone inhibant l’appétit
Méta-régression I
‣ 28 études, 39 bras, 819 patients; 14 semaines; avec Dr Stip
• Principaux antipsychotiques: Olanzapine (17) >>> autres
‣ Composite effect size: g=0.53
• Hétérogénéité
• Clozapine, olanzapine, quetiapine > rispéridone & halopéridol
• Drug-naive + drug-free > antipsychotique
‣ Méta-régression
• Relation avec IMC
• Cholest, trigly
2,00
1,78
1,56
1,34
Regression of BMI on Hedges's g
‣ Interprétation ?
• Leptine ↓ appétit
1,12
0,90
0,68
0,46
0,24
0,02
-0,20
-1,30 -0,65 -0,01 0,64 1,28 1,93 2,58 3,22 3,87 4,51 5,16
BMI

Méta-régression II
‣ Méta-analyse de Geddes, 2000
• Efficacité de typiques versus atypiques
‣ 52 essais randomisés
• Efficacité: Atypiques = typiques
• Atypiques moins de SEP (akathisie, park, dystonie, dysk)
‣ Problème
• Antipsychotique comparateur = halopéridol
• SEP = dépendants de l’occupation des récepteurs D 2 ,
donc, dépendants de la dose utilisée
‣ Analyse de méta-régression
• Effect size & dose de l’halopéridol
• SEP: Absence de différence entre typiques et atypiques,
une fois la dose d’halopéridol contrôlée

Sous-analyses catégorielles:
Les règles du pouce
‣ 1) Limiter le nombre de sous-analyses catégorielles
• Si vous avez d’excellentes raisons a priori de réaliser
plusieurs sous-analyses, appliquer alors une correction de
Bonferonni
‣ 2) La taille de l’effet est-elle différente entre les différents
sous-groupes?
• Réponse: Test d’hétérogénéité pour la comparaison entre les
sous-groupes (between)
‣ 3) Si oui, est-ce que ces effets sont homogènes ?
• Réponse: Test d’hétérogénéité pour chacun des
sous-groupes

Méta-régression: Les règles du pouce
‣ 1) La méta-régression est une analyse de régression en contexte métaanalytique
• Modèle à effets fixes (pondération en fct de la taille de l’échantillon)
• Modèle à effets aléatoires (variabilité intra- et inter-études)
‣ 2) Limiter le nombre d’analyses de méta-régression
• Si vous avez d’excellentes raisons a priori de réaliser plusieurs analyses de
méta-régression, appliquer alors une correction de Bonferroni
‣ 3) Au moins une dizaine d’études
‣ 4) Deux éléments à considérer sur le plan statistique
• Y a-t-il une relation linéaire entre votre co-variable d’intérêt et la taille des
effets des études individuelles ?
• L’hétérogénéité résiduelle demeure-t-elle significative ?
‣ 5) Possibilté de régression multiple !!! (dans CMA-v3)
‣ 6) Ce qui vaut à l’échelle du groupe ne vaut pas forcément à l’échelle de
l’individu
• La co-variable est-elle une moyenne ou une variable fixe ?
‣ 7) NE PAS interpréter les résultats en termes de causalité

Quelques pièges communs
1. les devis mixtes
2. stats non-ajustées

1. Les devis mixtes
Temps Rx Placebo
Baseline 40 40
Fin d’étude 20 30
Changement 50% 25%
‣ IDÉAL
o
o
Grand échantillon
Les 4 quadrants
Temps Rx Placebo
Baseline 40
Fin d’étude 20
Changement 50%
Temps Rx Placebo
Baseline
Fin d’étude 20 30
Changement
‣ RÉALITÉ
o
o
o
Petit échantillon
Deux quadrants
Nouvelles interventions

1. Les devis mixtes (suite)
Temps Rx Placebo
Baseline 40 40
Fin d’étude 20 30
Changement 50% 25%
‣ Si mesures répétées, alors
corrélation pré-post peut
être nécessaire… Or, c’est
rarement rapporté…
‣ Convention: r=0.7
‣ Des biais potentiels ?
Temps Rx Placebo
Baseline 40
Fin d’étude 20
Changement 50%
Temps Rx Placebo
Baseline 40 40
Fin d’étude 20 20
Changement 50% 50%
Temps Rx Placebo
Baseline
Fin d’étude 20 30
Changement
Temps Rx Placebo
Baseline 40 60
Fin d’étude 20 30
Changement 50% 50%

Selective serotonin reuptake inhibitor (SSRI) add-on therapy
for the negative symptoms of schizophrenia: a meta-analysis.
Sepehry AA, Potvin S, Élie R, Stip E.
Journal of Clinical Psychiatry 2007; 68 (4): 604-10.
‣ Identification de 11 études évaluants les ISRS dans le traitement
des symptômes négatifs de la schizophrénie
• N=393
‣ Calcul de la taille de l’effet “composé”
• Endpoint data
• Résultat? g= 0.178 (NS)
‣ Par précaution, calcul du “composite effect size” à partir des
données “baseline”
• Résultat? g= -0.179 (p=0.072)
‣ Statistiques ajustées en fonction de ce biais
• Résultat: effet = nul ou presque

‣ Étude pionnière
2. Les statistiques ajustées
• Andreasson et al., 1987
‣ Critiques
• Traits psychotiques préalables
• Autres drogues d’abus
• Consommation de cannabis durant follow-up
• Dx établi à partir de dossiers médicaux
‣ Études subséquentes
• RÉFÉRENCES: van Os, 2002; Zammit, 2002; Arsenault, 2002;
Fergusson, 2003; Fergusson, 2005
‣ Facteurs confondants
• Âge du début de la consommation
• Traits psychotiques préalables
• Autres drogues
• Quantités de cannabis consommées

Cannabis as a risk factor for psychosis:
systematic review. Semple DM, McIntosh Am, Lawrie SM.
Journal of Psychopharmacology 2005; 19 (2): 187-94
‣ Études / échantillon
• 7 études transversales / longitudinales
• N total = des miliers et des miliers de patients
‣ Résultats
• Unadjusted odds ratio = 2.9
Cannabis use and risk of psychotic
or affective mental health outcomes: a systematic review.
Moore THM, et al. The Lancet 2007; 370: 319-28.
‣ Études / échantillon
• 7 études transversales / longitudinales
• N total = des miliers et des miliers de patients
‣ Résultats
• Adjusted odds ratio = 1.4

Le biais de publication
‣ Problème de la non-publication des résultats négatifs (file
drawer problem)
‣ Danger = sur-estimation des effets
• Exemple des entreprises pharmaceutiques
‣ Solution = fail-safe
• Le nombre d’études supplémentaires pour invalider un
résultat significatif
‣ Exemple:
• Analyse portant sur 4 études (IL-8)
• Fail-safe: 25 études
• Nous: 1 étude…
‣ Conclusion: Fail-safe fails to be safe ?
• P-value > taille de l’effet

‣ Fail-safe
• Classique (Rosenthal)
Le biais de publication
• Orwin: La moyenne des ES des études supplémentaires est
déterminée par l’auteur
‣ Egger’s Test (para)
• d précision
‣ Begg’s Test (non-para)
• d (rang) précision

Le biais de publication
‣ Méthode “Trim and Fill” de Duval and Tweedie (2000)
‣ Processus itératif
• Élimination des études (une à la fois) contribuant
à l’asymmétrie des tailles de l’effet
• Re-calcul (à chaque fois de la nouvelle taille de l’effet composé)
• But: Atteinte de la symétrie des tailles de l’effet
• Ré-introduction des études contribuant à l’asymmétrie
• Introduction des études “miroir” imputées
• Re-calcul de la nouvelle taille de l’effet composée
‣ Intérêt: Seule méthode qui permet de
calculer la taille de l’effet composée...
s’il n’y avait pas eu de biais de publication
‣ Limite: Postulat relatif à la symmétrie des
tailles de l’effet

Biais de publication: L’empire du doute
‣ Les estimés signalent-ils forcément un biais de publication ?
‣ Exemple 1
• Postulons une relation entre la taille de l’effet et la taille de
l’échantillon dans les essais pharmacologiques sur l’efficacité
des antipsychotiques
• Or: On sait que les essais plus récents produisent des effets
thérapeutiques plus petits... parce que les effets placbo sont plus
prononcés !
• Raison: Meilleure prise en charge (exigence éthique)
• Or: Les essais plus récents sont généralement plus larges
‣ Exemple2
• Vous observez une relation entre la prévalence de l’utilisation de
l’ECT et la taille de la population de référence
• Or: Dans votre pool , les petites études proviennent de petits
pays offrant beaucoup de services (comme la Suède), alors que
les grandes études proviennent de pays en développement...

N=50
N=500
Le modèle à effets aléatoires règle tout...
Model Study name Std diff in means and 95% CI Weight (Fixed)
Std diff
Relativ e Relativ e Relativ e Relativ e
in means weight weight weight weight
Bob 2.500 0.28 3.41
Jack 2.000 0.66 4.31
Jim 1.500 1.16 4.70
Steve 1.500 1.54 4.84
Dan 1.000 2.20 4.98
John 1.000 2.64 5.04
Mike 1.000 3.08 5.08
Greg 1.000 3.52 5.11
Ray 0.500 4.32 5.15
Rick 0.500 4.80 5.17
Mitch 0.500 5.28 5.18
Ben 0.500 5.76 5.19
Rob 0.300 6.36 5.21
Sean 0.300 6.85 5.22
James 0.300 7.34 5.22
Ken 0.300 7.83 5.23
Mick 0.200 8.37 5.24
Nat 0.200 8.86 5.24
Marc 0.200 9.35 5.25
Dave 0.200 9.84 5.25
Fixed 0.434
-2.00 -1.00 0.00 1.00 2.00
Fav ours A
Meta Analysis
Fav ours B
Fixe
Aléatoire
Fixe: d=0.43
Meta Analysis
Aléatoire: d=0.73

Les solutions au biais de publication
‣ Les revues Open Access
• Évaluation de la méthodologie, PAS de la pertinence de la
problématique
• Qualité scientifique parfois douteuse
• Montée de la Chine et de l’Inde
‣ En psychopharmacologie
• Permet de retracer les études non-publiées
• De plus en plus impossible de publier sans enregistrement
• Ça ne règle pas forcément tous les problèmes
• Interventions psychosociales: Un retard qui est en train de se
rattraper

La frilosité du Big Pharma
‣ Le problème: La peur des comparaisons peu
flatteuses
• Solution: Multiple-treatments meta-analysis
• Comparaisons directes et indirectes
• Les principes de base sont similaires (taille de
l’effet, hétérogénéité, biais de publication,
etc.)
‣ Deux postulats
• 1) Les études impliquées dans les
comparaisons indirectes sont comparables
• 2) Cohérence: Il y a concordance entre les
estimés directs et indirects
‣ Exemple: Leucht et al., 2011
o 212 RCTs; 15
anti-psychotiques; phase
aigue
‣ Outcomes: Symptômes, effets
secondaires neurologiques,
prolactine, gain de poids
‣ Résultats similaires aux
méta-analyses traditionnelles
‣ Agrégation des effets = complexe
• Statistiques bayésiennes estimation de la
probabilité qu’une intervention soit la
meilleure rang

La question qui tue…
‣ Quel domaine de la recherche psychiatrique est la plus biaisée ?
o
1) La génétique
o
2) La psychopharmacologie
o
3) La recherche sur les interventions psychosociales
o
4) L’imagerie cérébrale
o 5) La recherche sur les outils de dépistage ?

La neuro-imagerie
‣ Fusar-Poli, 2014; Hum Brain Mapp
‣ 324 études en “voxel-based morphometry”
• Troubles neurologiques et psychiatriques
• Taille moyenne de l’échantillon=47
‣ Normalement, les études avec de plus grands échantillons devraient
permettre de détecter davantage de différences entre les groupes
• Plus de puissance statistique
‣ Observation: Le contraire !
• Plus les échantillons sont petits, et plus les études détectent un nombre
grand de régions où il ya des différences entre les groupes
‣ BREF: Les résultats des petites études négatives n’ont probablement
pas été rapportées

Les interventions psychosociales
‣ Driessen, 2015; PLoS One
o
o
o
Interventions psychosociales, dépression majeure
“Any intervention in which verbal communication between
therapist and client“
Outcome unique: Symptômes dépressifs
‣ 55 études financées par la National Institute of Health (NIH)
o
13 études non-publiées
‣ Résultats (versus treatment as usual)
o
o
Études publiées: g=0.5
Études non-publiées: g=0.2
o
Versus pharmacothérapie
o Études publiées: g=0
o Études non-publiées: g= -0.15

Les instruments d’évaluation
du risque de violence ???
‣ Les instruments (9) d’évaluation du risque de violence
‣ Exemples
o
o
Psychopathy Checklist – Revised (PCL-R)
Historical, Clinical, Risk Management-20 (HCR-20; Hare)
‣ Méta-analyse (Fazel, 2013; Plos One)
o 83 études (prospectives et rétrospecitives), comprenant 104
échantillons et 30 165 patients
o
o
o
o
Suivi moyen de 54 mois
Notion de validité prédictive
Si créateur / traducteur de l’instrument = co-auteur: OR=6
Si créateur de l’instrument ≠ co-auteur: OR=3
‣ Interprétation: Meilleure formation ? Biais d’authorship ? File drawer
problem ?

Les faiblesses de la méta-analyse
‣ 1) Cueillette des articles
• ≠ toujours exhaustive
‣ 2) Statistiques trop simples
• Stats non-paramétriques = out
• Variables confondantes ≠ bien contrôlées
• Pooled analysis (données brutes) >>> meta-analysis
‣ 3) Hétérogénéité
• Méthodologique, statistique, etc.
‣ 4) Biais de publication
• Les résultats négatifs sont plus difficilement publiés

Qualité de la méta-analyse ≠ qualité de l’évidence
‣ GRADE = Grading of Recommendations Assessment, Development
and Evaluation
‣ Deux composantes: Taille de l’effet & qualité de l’évidence
‣ Qualité de l’étude
• Devis expérimental: Étude longitudinale > transversale
(si RCT, alors: critères d’évaluation déjà discutés)
• Hétérogénéité des résultats
• Précision (taille de l’échantillon)
• Évidence directe ou indirecte: Symptômes d’allure psychotique versus
schizophrénie;
• Biais de publication
‣ Évaluation globale: Qualité élevée, modérée, faible, très faible

Les effets cognitifs de l’alcool
‣ Stavro (Addiction Biology, 2013)
‣ Contexte méta-analytique
o Effets cognitifs du cannabis (d=0.2) (Grant, 2003)
o Effets cognitifs de la cocaïne (jours, années) (Jovanovski, 2005)
(fonctions exécutives, attention, MdT, mémoire explicite)
‣ Problème: La durée d’abstinence
o
o
Cannabis: quelques heures…
Cocaïne: forte variabilité, mais pas considérée dans les
analyses…
‣ Alcool = facteur de risque dans le développement de la démence
o Quelles fonctions sont les plus atteintes ?
o
Controverse par rapport aux effets cognitifs résiduels

Les modèles théoriques
‣ Modèles théoriques
o Effets frontaux (Uekermann, 2003)
o Effets latéralisés (Ratti, 2002)
o Effets diffus (Parsons, 1998)
‣ Fouille
o
o
o
Mots clés les plus larges possible
Logiciels: PubMed, Embase, Ovid & revues de littérature
En anglais seulement
‣ Critères d’inclusion / exclusion
o
o
o
o
o
o
Abus ou dépendance à l’alcool
Pas de binge drinking, pas de heavy drinking
Pas d’autres substances psychoactives (sauf tabac)
Pas de trouble psychiatrique
Pas de démence
Tests cognitifs validés

La méta-analyse (suite)
‣ Le défi des domaines cognitifs
o
4 méthodes
o
o
o
o
Lezack
Les analyses factorielles
(alcool)
Les autres méta-analyse
Consensus
‣ 12 domaines cognitifs retenus
‣ Classification des tests (et des sousscores)
selon un accord inter-juge
entre KS, JP & SP
Domain cognitif
Attention
Apprentissage
verbal
Apprentissage
visuel
Fluidité verbale
Fonctions
exécutives
Habiletés visuospatiales
Impulsivité
Mémoire de travail
Mémoire verbale
Mémoire visuelle
Quotient
intellectuel
Vitesse
psychomotrice
Exemple de test
Continuous
Performance Test
CVLT, immédiat
Weschler, immédiat
COWAT
WCST, Tour de Londres
Block Design, WAIS
Go/No-Go
Letter-number
sequencing
CVLT, différé
Weschler, différé
WAIS
TMT-A / TMT-B

La durée de l’abstinence
‣ Autre défi
o
o
Comment regroupe-t-on les études en fonction de leur durée
d’abstinence ?
Premier constant visible à l’œil nu: 1 an
o Pour les autres études: « mean split »
‣ 3 groupes d’études:

Les résultats
‣ 62 études, 5032 participants
‣ Abstinence de moins d’1 mois
o Les effets cognitifs oscillent entre 0.4 et 0.6
o À l’exception du QI (0.3)
o Homogénéité des résultats !
‣ Abstinence entre 1 mois et 1 an (moyenne=3 mois)
o Les effets cognitifs oscillent entre 0.4 et 0.6
o À l’exception du QI (0.25)
o Homogénéité des résultats !
‣ Abstinence de plus d’1 an
o Les effets oscillent autour de 0.2
o Homogénéité des résultats !

Conclusions
‣ 1) Les effets cognitifs de l’alcool sont diffus
‣ 2) Après 1 an d’abstinence, le fonctionnement cognitif des alcooliques est
redevenu à la normale
‣ GRADE
o
‣ Forces
o
Taille l’effet = modérée
Nombre d’études & taille de l’échantillon
o Homogénéité (+++)
o
Critères d’exclusions = serrés
‣ Limites
o
o
o
Biais de survie: Sous-estimation probable des effets cognitifs de
l’alcool
L’effet « dose-réponse » n’a pas été analysé
Pas d’analyse du biais de publication…

Récapitulation
‣ Forces
• Puissance statistique
• Appel à la modestie
‣ Faiblesses
• Simplicité des statistiques
• Problème d’hétérogénéité
• File-drawer effect
Cochrane
Handbook
for Systematic
Reviews
of Interventions
Editors: Julian PT
Higgins and Sally Green

SLIDES
SUPPLÉMENTAIRES

Statistiques I
‣ Corrélation de Pearson Cohen’s d
• d = 2r
√1-r 2
‣ Chi-carré Cohen’s d
• d = 2 √ X 2
(n – X 2 )
‣ Number needed to treat (NNT)
• Nombre de participants nécessaires pour réduire l’occurrence de
l’événement X chez 1 seul sujet
• 1 / “risk difference”
‣ Pooled SD (sigma) = racine carrée de ((N 1 -1) x SD 2 )+ ((N 2 -1) x SD 2 )
N 1 + N 2 – 2
‣ Random effect model: poids = 1/variance + T 2
‣ T 2 = (Q – dl) / facteur C (variance intra)

Statistiques III
‣ L’aggrégation des tailles de l’effet dans le cas des variables
dichotomiques: Les recommendations du groupe Cochrane
‣ Effet fixe traditionnel: Méthode de la variance inverse
• Odds ratio, risk ratio ou risk difference
‣ Méthode de Mantel-Haenszel
• Similaire au modèle à effet fixe traditionnel
• Mais supérieur quand il y a peu d’études et/ou quand les
études retenues ont de petits échantillons
• Odds ratio, risk ratio ou risk difference
‣ Méthode de Peto
• Supérieur dans les cas des événements rares, voire, absents
• Odds ratio seulement
‣ Modèle à effet aléatoire: Variance intra- et inter-études
‣ Règle générale: Les différents modèles à effet fixe donnent des
résultats passablement similaires

‣ Méta-régression
Statistiques IV
• Methods of moment (Der Simonian & Laird) = default mode
• Si distribution des données ≠ normales
• Unrestricted maximum likelihood
• Si distribution des données = normales
‣ Régression mutliple (CMA v3)
• Z-value: Le prédicteur individuel
• Q-value: Le modèle
• Note: Si 1 prédicteur, alors Z x Z = Q
• R 2 = Pourcentage de la variance des tailles de l’effet expliquée par la
covariable
‣ Notes concernant les odds ratios et les risk ratios
• Méta-régression: Log OR
• Biais de publication: Log OR
‣ Biais de publication: Kendall’s tau
• (Nombre de paires concordantes – nombre de paires discordantes)
n (n-1) / 2