Mélanges de GLMs et nombre de composantes : application ... - Scor

1.3. Illustration : application sur des contrats mixtes
Table 1.5 – Matrice de confusion (LR).
observé Y = 0 observé Y = 1
prédit Y = 0 #correct rejections #misses
4153 637
prédit Y = 1 #false risky policyholder #success
1113 5735
Table 1.6 – Critères de performance.
T max T pruned T RandomF orest LR
Se 84.9% 84.1% 84.3% 90%
Sp 85.4% 86.3% 86.7% 78.9%
(1-Se) 15.1% 15.9% 15.7% 10%
tiques descriptives). Par exemple, le modèle prévoit qu’une personne âgée de 70 ans ait moins
de chance de racheter qu’un jeune assuré de moins de 20 ans, toutes caractéristiques égales
par ailleurs. L’expérience montre qu’ils sont en fait 3,28 fois plus susceptibles de racheter !
Par contre, les OR estimés varient très souvent dans la même direction que les OR observés,
au sens qu’ils ont la même tendance. C’est le cas si l’on considère le facteur d’ancienneté :
la figure 1.1 expose le profil des rachats en fonction de l’ancienneté (pourcentage des rachats
pour chaque tranche d’ancienneté) et confirme les estimations des OR (tableau 1.4) liés à ce
facteur : effectivement le risque est important à partir de la première date anniversaire et
décroît dans le temps.
Le modèle a globalement une mauvaise qualité d’ajustement au regard de la significativité
des estimations des coefficients de régression, c’est d’ailleurs ce qui explique que les OR empiriques
et modélisés soient si éloignés. Toutefois, il faut garder en tête que notre problématique
initiale est de segmenter notre population d’assuré et de faire des prévisions de profil de risque.
Nous préférons donc privilégier le pouvoir prédictif à la qualité d’ajustement dans l’arbitrage
naturel entre ces deux notions. La matrice de confusion du tableau 1.5 fournit le nombre d’assurés
mal classés et représente le pouvoir prédictif de cette méthode, la lecture de cette table
se faisant de la même manière qu’avec les CART. Une hypothèse supplémentaire est utilisée
ici, à savoir que nous attribuons une réponse de rachat lorsque la probabilité de rachat modélisée
excède 0,5 et inversement. Les bonnes prévisions représentent 84.96% de l’échantillon de
validation ; ce qui donne une erreur de prévision de 15.04%, un résultat quasi-similaire à celui
obtenu par l’algorithme CART (14,97% pour mémoire).
D’autres critères, couramment appelés critères de performance, servent à comparer les
classifieurs : il s’agit de la sensibilité (Se) et de la spécificité (Sp). Appelons success la case
correspondante à une réponse observée et prédite de rachat dans la matrice de confusion.
Les misses correspondent à une réponse prédite de non-rachat tandis que l’observation était
un rachat. Les correct rejections correspondent à une réponse observée et prédite de nonrachat,
enfin les false risky policyholder désignent une réponse prédite de rachat alors qu’il
n’y en pas eu dans la réalité. La sensibilité est définie comme le nombre de success sur le
nombre de contrats rachetés observés, et la spécificité est le nombre de correct rejections sur le
nombre de contrats non-rachetés observés. Le tableau 1.6 résume les critères de performance
des différentes méthodes de classification ; sachant que ce qui nous intéresse avant tout dans
ce contexte est de minimiser les misses. Les prévisions par la LR présentent moins de misses
et plus de false risky policyholders, les résultats étant comparables et les erreurs équilibrées
entre les trois applications de CART. Le compromis entre sensibilité et spécificité est meilleur
avec CART mais le nombre de misses est plus élevé, ce qui nous conduirait ici à choisir le
modèle LR ici (10%) pour plus de prudence.
39