du contrôle à l'évaluation - Gerontoforum

gerontoforum.eu

du contrôle à l'évaluation - Gerontoforum

Organismes assureurs et

contrôles : d’hier d hier à aujourd’hui aujourd hui

Prof. Freddy Falez

UNMS.

ULB


10/03/2009 Wépion W pion

Introduction

Questions pour un contrôle intelligent:

– Est-il Est il nécessaire n cessaire de contrôler?

– Que faut-il faut il contrôler?

– Quel est l’objectif l objectif du contrôle?

– Qui faut-il faut il contrôler?

– Comment faut-il faut il contrôler?

Prof F. Falez: contrôle ou

évaluation? valuation? 2


Première Premi re question

Est-il Est il nécessaire n cessaire de contrôler?


10/03/2009 Wépion W pion

Première Premi re question

L’exemple exemple des institutions pour personnes

âgées. âg es.

– Création Cr ation des MRS: objectif d’é d’économie

conomie

budgétaire budg taire

– Création Cr ation du Collège Coll ge National des médecins m decins

Conseils.

– Premiers contrôles par les médecins m decins conseils

– Extension du financement aux MRPA.

Prof F. Falez: contrôle ou

évaluation? valuation? 4


1.600.000.000

1.400.000.000

1.200.000.000

1.000.000.000

800.000.000

600.000.000

400.000.000

200.000.000

0

10/03/2009 Wépion W pion

Première Premi re question

Dépenses en institutions

337.353.000 €

781.536.000 €

1.585.644.000


1991 1999 2007

Prof F. Falez: contrôle ou

évaluation? valuation? 5


500

450

400

350

300

250

200

150

100

50

0

100

10/03/2009 Wépion W pion

Première Premi re question

1991 2007

470

Prof F. Falez: contrôle ou

évaluation? valuation? 6


10/03/2009 Wépion W pion

Introduction

Part relative des dépenses d penses en institution par

rapport aux dépenses d penses globales de

l’assurance: assurance:

– 1999: 7,1%

– 2007 8,4%

Prof F. Falez: contrôle ou

évaluation? valuation? 7


10/03/2009 Wépion W pion

Première Premi re question

Causes multifactorielles de l’é l’évolution

volution de

ces dépenses d penses :

– Augmentation du nombre de résidents r sidents

– Augmentation du degré degr de dépendance d pendance des

résidents sidents

– Reconversion de lits MRPA en lits MRS

– Revalorisation salariale des personnels

– Modification de normes d’encadrement

d encadrement

– Etc.

Prof F. Falez: contrôle ou

évaluation? valuation? 8


10/03/2009 Wépion W pion

Première Premi re question

Tentatives de contrôler l’augmentation l augmentation des

dépenses. penses.

– Contingentement du nombre de lits

– Manipulation de l’é l’échelle

chelle de Katz

– lutte contre une fraude suspectée suspect e

Résultats sultats des contrôles des médecins m decins conseils

Méconnaissance connaissance des théories th ories de validité validit des

échelles chelles d’é d’évaluation

valuation

Conclusions hâtives de fraude

Prof F. Falez: contrôle ou

évaluation? valuation? 9


Première Premi re question

La réponse r ponse à la première premi re question

est donc:

Oui il faut contrôler


Deuxième Deuxi me question

Que faut-il faut il contrôler?


10/03/2009 Wépion W pion

Deuxième Deuxi me question

Exemple des institutions

– Contrôle du bon usage de l’é l’échelle

chelle de Katz

– Conséquences:

Cons quences:

nécessit cessité de définir d finir ce qu’est qu est le bon usage.

Nécessit cessité de connaissances scientifiques suffisantes

pour permettre la définition d finition du bon usage.

Prof F. Falez: contrôle ou

évaluation? valuation? 12


10/03/2009 Wépion W pion

Deuxième Deuxi me question

Évaluation valuation de la dépendance d pendance en Belgique

– 6 items dits physiques

Se laver

S’habiller habiller

Se transférer transf rer et se déplacer d placer

Aller à la toilette

Incontinence

manger

Prof F. Falez: contrôle ou

évaluation? valuation? 13


10/03/2009 Wépion W pion

Deuxième Deuxi me question

Évaluation valuation de la dépendance d pendance en Belgique

– 2 items dits « psychiques »

Désorientation sorientation dans le temps

Désorientation sorientation dans l’espace l espace

– 5 catégories cat gories de dépendance

d pendance

O

A (et Ad)

B (et Bd)

C

Cd

Prof F. Falez: contrôle ou

évaluation? valuation? 14


Évaluation valuation de la dépendance

d pendance

L’é ’échelle chelle de Katz belge est un système syst me

d’é ’évaluation valuation inachevé. inachev

– Basé Bas sur les travaux de Croes et Delesie dans

les années ann es 80.

10/03/2009 Wépion W pion

Classification en catégories cat gories sur des taux seuils qui

n’ont ont pas pu être définis d finis de manière mani re pertinente

Devait évoluer voluer vers une analyse RIDIT

Pas de travaux de validation scientifique

Prof F. Falez: contrôle ou

évaluation? valuation? 15


Évaluation valuation de la dépendance

d pendance

Décision cision arbitraire de fixer les seuils de

dépendance pendance au score « 3 » de chaque item.

Étude tude inachevée inachev e des items de

désorientation.

sorientation.

Conséquence: Cons quence: absences de directives

d’interpr interprétation. tation.

– Problèmes Probl mes de fidélit fid lité des décisions d cisions

– « arbitraire » du contrôle.

10/03/2009 Wépion W pion

Prof F. Falez: contrôle ou

évaluation? valuation? 16


10/03/2009 Wépion W pion

Lignes directrices

Des lignes directrices sont toujours

nécessaires cessaires pour utiliser une échelle chelle

d’é ’évaluation. valuation.

Lignes directrices élabor laborées es en consensus

entre le CNMC et les CC infirmières infirmi res et

MRS-MRPA MRS MRPA en 1997: uniquement les items

« physiques ».

Prof F. Falez: contrôle ou

évaluation? valuation? 17


10/03/2009 Wépion W pion

Lignes directrices

Depuis de nombreuses années: ann es: demande

des autorités autorit s d’é d’élaborer

laborer un système syst me de

sanction.

Difficultés: Difficult s: définir d finir ce qu’est qu est un abus dans

l’utilisation utilisation de l’é l’échelle

chelle de Katz.

Première Premi re approche: >10% d’é d’échelles

chelles

surévalu sur valuées. es.

Prof F. Falez: contrôle ou

évaluation? valuation? 18


10/03/2009 Wépion W pion

Lignes directrices

Problème: Probl me: la fidélit fid lité d’un un instrument de

mesure ne permet quasi jamais d’obtenir d obtenir

90% d’accords d accords entre deux juges.

Absence de lignes directrices: fidélit fid lité faible

Lignes directrices améliorent am liorent la fidélit fid lité.

Lignes directrices « oubliées oubli es »

Prof F. Falez: contrôle ou

évaluation? valuation? 19


10/03/2009 Wépion W pion

Désorientation

sorientation

Pas de lignes directrices.

En cas de doute pour le score 3, utilisation

du MMS.

– Si score MMS< 18: désorientation d sorientation confirmée. confirm e.

– Si score MMS > 18: la clinique prédomine.

pr domine.

Prof F. Falez: contrôle ou

évaluation? valuation? 20


10/03/2009 Wépion W pion

Lignes directrices

Le premier système syst me de sanctions n’a n a jamais

pu être appliqué. appliqu

Nécessit cessité de revoir des lignes directrices

vieillies pour obtenir un référentiel r rentiel commun.

Prof F. Falez: contrôle ou

évaluation? valuation? 21


10/03/2009 Wépion W pion

Le coefficient kappa

Base scientifique de la définition d finition du bon

usage.

– Mesure de la concordance entre les

évaluateurs. valuateurs.

– Fidélit Fid lité de l’é l’échelle

chelle de Katz belge prouvée prouv e par

des recherches scientifiques (Falez, Gillain, Gillain,

Lucas, Swine et al. 2003; Falez 2006; Falez

2007.)

Prof F. Falez: contrôle ou

évaluation? valuation? 22


10/03/2009 Wépion W pion

Le coefficient κ

Fidélit Fid lité d’un un instrument:

– Interjuges

– Test- Test retest.

Deux coefficients:

ο κ: concordance entre examinateurs et test

retest

ο γ: évaluation valuation entre deux examinateurs dans le

même sens.

Prof F. Falez: contrôle ou

évaluation? valuation? 23


ex1/ex

2

O

A

B

C

Cd

total

10/03/2009 Wépion W pion

O

15

Le coefficient κ

3

9

3

A

26

2

28

B

3

45

3

1

52

C

7

63

70

Cd

61

66

68

62

231

Prof F. Falez: contrôle ou

évaluation? valuation? 24

3

2

total

3

38

60


10/03/2009 Wépion W pion

Le coefficient κ

Concordance observée observ e P o :

– = nombre d’accords d accords (diagonale) divisé divis par la

population totale.

– Ici: 85,7

Concordance attendue: Pe – Somme de total ligne x total colonne

correspondante divisé divis par N 2

Prof F. Falez: contrôle ou

évaluation? valuation? 25


Le coefficient κ est

obtenu par la formule:

10/03/2009 Wépion W pion

κ

Le coefficient κ

P − P 0

=

1−

Pe

e

Prof F. Falez: contrôle ou

évaluation? valuation? 26


10/03/2009 Wépion W pion

Le coefficient kappa

Interprétation: Interpr tation: (Landis ( Landis et Koch

– 0,00 -0,19: 0,19: absence de concordance

– 0,20-0,39: 0,20 0,39: concordance faible

– 0,40-0,59: 0,40 0,59: concordance bonne

– 0,60-0,79: 0,60 0,79: concordance très tr s bonne

– 0,80-1,00: 0,80 1,00: concordance excellente)

Prof F. Falez: contrôle ou

évaluation? valuation? 27


10/03/2009 Wépion W pion

Le coefficient κ

Item κ γ

Se laver 0,880 0,997

S’habiller 0,818 0,997

Transferts 0,935 1,000

Aller toilette 0,881 0,996

Continence 0,873 0,997

Manger 0,795 0,993

Catégorie 0,838 0,947

Prof F. Falez: contrôle ou

évaluation? valuation? 28


Troisième Troisi me question

Objectifs du contrôle


10/03/2009 Wépion W pion

Troisième Troisi me question

Contrôler ou évaluer? valuer?

– Objectifs de sanctions? (suspicion érig rigée e en

tant que système?) syst me?)

– Objectifs d’é d’évaluation?

valuation?

Prévention Pr vention du mauvais usage:

– Y-a-t-il il réellement r ellement fraudes?

– Quelle en est l’importance

l importance éventuelle? ventuelle?

– Validation des informations issues des institutions?

Prof F. Falez: contrôle ou

évaluation? valuation? 30


10/03/2009 Wépion W pion

Troisième Troisi me question

L’é ’évaluation valuation permet de vérifier v rifier qu’un qu un

système syst me donné donn est fonctionnel

– Principes:

Applicable

Efficient

Ne poussant pas à la fraude mais incitant à la

« vertu »

L’é ’évaluation valuation permet de valider un système syst me

donné donn et d’ainsi d ainsi sanctionner ceux qui

effectivement en abusent.

Prof F. Falez: contrôle ou

évaluation? valuation? 31


Quatrième Quatri me question

Qui faut-il faut il contrôler?


10/03/2009 Wépion W pion

Quatrième Quatri me question

En principe tout le monde doit être

susceptible d’être être contrôlé.( contrôl .(égalit galité devant

le contrôle.

– Objectif de dépistage d pistage et de prévention. pr vention.

– Problèmes Probl mes des contrôles exhaustifs

Rapport efficacité/co

efficacit /coûts ts

Problème Probl me de l’approche l approche paranoïaque parano aque de l’é l’évaluation

valuation

Prof F. Falez: contrôle ou

évaluation? valuation? 33


Cinquième Cinqui me question

Comment faut-il faut il contrôler:

exemple du contrôle des

institutions


10/03/2009 Wépion W pion

Principes

Égalit galité devant le contrôle.

Prévention Pr vention

Progressivité Progressivit des sanctions éventuelles. ventuelles.

Prof F. Falez: contrôle ou

évaluation? valuation? 35


10/03/2009 Wépion W pion

Égalit galité devant le contrôle

Même chance d’être d être contrôlé: contrôl

– Échantillonnage chantillonnage aléatoire. al atoire.

– Tirage au sort deux fois consécutives cons cutives possible!

Prof F. Falez: contrôle ou

évaluation? valuation? 36


10/03/2009 Wépion W pion

Égalit galité devant le contrôle

Même chance raisonnable d’avoir d avoir la même

décision cision quel que soit le contrôleur

– Augmentation de la fidélit fid lité des décisions: d cisions:

Lignes directrices

Évaluation valuation par des « collèges coll ges locaux »

Évaluation valuation à l’aveugle aveugle (évite ( vite les biais de sympathie

ou d’antipathie)

d antipathie)

Évaluation valuation contradictoire

Élaboration laboration d’un d un code de bonne conduite du contrôle

Analyse de la concordance.

Prof F. Falez: contrôle ou

évaluation? valuation? 37


10/03/2009 Wépion W pion

Prévention Pr vention

Annonce du contrôle

Contrôle contradictoire

Possibilités Possibilit s de recours « interne » (2008)

Prof F. Falez: contrôle ou

évaluation? valuation? 38


Premiers résultats r sultats du contrôle

Février vrier-mars mars 2004


10/03/2009 Wépion W pion

Institutions

Nombre: 67

Nombre total de patients examinés: examin s: 2.792

Nombre de patients examinés examin s par

institution:

– Min 6

– Médiane diane 49

– Maximum: 74

Prof F. Falez: contrôle ou

évaluation? valuation? 40


10/03/2009 Wépion W pion

y

c

n

e

u

q

r

e

F

1 4

1 2

1 0

8

6

4

2

0

Distribution des κ

1 1

2

5 5

8

1 4 1 4

0,2 000 0,4000 0,600 0 0,8000 1,00 00

kap pa1

9

2

3 3 M ean = 0,64 806 3

Std. De v . = 0,1616 458

N = 67

Prof F. Falez: contrôle ou

évaluation? valuation? 41


50

75

90

95

10/03/2009 Wépion W pion

Distribution des κ

Percentiles

5

10

25

κ

0,38

0,44

0,56

0,65

0,73

0,84

0,96

Prof F. Falez: contrôle ou

évaluation? valuation? 42


10/03/2009 Wépion W pion

Av/

Av/a

p

O

A

B

C

Cd

Tota

l

O

525

121

13

2

1

662

κ global

A

51

308

94

10

8

471

B

10

73

267

62

27

439

C

2

15

53

271

46

387

Cd

73

53

702

833

522

500

398

784

279

2

Prof F. Falez: contrôle ou

évaluation? valuation? 43

0

5

Tot. Tot

588


10/03/2009 Wépion W pion

κ global

κ= = 0,673, donc très tr s bon (IC: 0,65-0,69) 0,65 0,69)

Reclassements: 12%

Déclassements: classements: 13,8%

Prof F. Falez: contrôle ou

évaluation? valuation? 44


95,00%

90,00%

85,00%

80,00%

75,00%

70,00%

65,00%

60,00%

55,00%

50,00%

10/03/2009 Wépion W pion

89,30%

59%

Fidélit Fid lité

53,40%

68,09%

O A B C Cd

89,54%

% accords

Prof F. Falez: contrôle ou

évaluation? valuation? 45


10/03/2009 Wépion W pion

Le coefficient κ

Interprétation Interpr tation pour le contrôle (AR ( AR du

21/08/2008)

– Si plus grand ou égal gal que 0,55: OK

– Si compris entre 0,40 et 0,54: utilisation

« problématique

probl matique » de l’é l’échelle

chelle de Katz

– Si < 0,40: application significativement erronée erron e

de l’é l’échelle

chelle de Katz

Prof F. Falez: contrôle ou

évaluation? valuation? 46


10/03/2009 Wépion W pion

Sanctions proportionnelles

Suivant la mauvaise utilisation de l’é l’échelle

chelle

Suivant la gravité gravit du surcoût surco t pour l’INAMI l INAMI

Suivant la gravité gravit du non respect des

normes de personnel.

Prof F. Falez: contrôle ou

évaluation? valuation? 47


10/03/2009 Wépion W pion

Sanctions proportionnelles

Différence Diff rence entre coût co t avant contrôle (F1) et coût co t

après apr s contrôle (F2)

κ>0,54: >0,54: pas de sanction

0,40F2 (F2 (>5%): différence diff rence récup r cupérée e pendant six mois.

κ


Et aujourd’hui aujourd hui…


Année

Ann

2006

2007

2008 (juin)

10/03/2009 Wépion W pion

Résultats sultats du contrôle

% institution κ


2006:

10/03/2009 Wépion W pion

Résultats sultats du contrôle

– 2.019.665€ 2.019.665

– soit 0,14% des dépenses d penses globales

2007:

– 1.224.801€ 1.224.801

– soit 0,08% des dépenses d penses globales

Prof F. Falez: contrôle ou

évaluation? valuation? 51


10/03/2009 Wépion W pion

Résultats sultats du contrôle

Inconnue: l’effet l effet de l’annonce l annonce des visites.

Prof F. Falez: contrôle ou

évaluation? valuation? 52


10/03/2009 Wépion W pion

Conclusions

Hypothèse Hypoth se de départ: d part: pas de fraude

massive dans le secteur.

Hypothèse Hypoth se vérifi v rifiée

Faible incidence financière financi re en %

Dépenses penses du secteur justifiées justifi es dans le

cadre de ce système syst me de financement!

Prof F. Falez: contrôle ou

évaluation? valuation? 53


10/03/2009 Wépion W pion

Conclusions

Valeur de modèle mod le expérimental exp rimental de

l’é ’évaluation valuation des institutions

– vérification rification d’hypoth d hypothèse se de validité validit d’un un

système syst me

Extension en cours dans l’é l’évaluation

valuation des

soins à domicile

Extension à d’autres autres secteurs d’é d’évaluation.

valuation.

Prof F. Falez: contrôle ou

évaluation? valuation? 54


10/03/2009 Wépion W pion

Conclusions

Rôle des mutualités: mutualit s: le conseil

– Aux assurés assur s sociaux: accessibilité accessibilit aux soins

– Aux prestataires

Solvabilisation des soins

Évaluation valuation de la bonne application des règles r gles nécessaires n cessaires au

fonctionnement de l’assurance

l assurance

– Vers l’INAMI l INAMI

Validation des règles r gles mises en place

Propositions d’adaptation d adaptation des règles r gles qui ne fonctionnent pas

Expert dans l’é l’élaboration

laboration des règles r gles

Prof F. Falez: contrôle ou

évaluation? valuation? 55

Similar magazines