Exemple appliqué — Détection de drift sur un modèle de scoring crédit

Une banque retail surveille en continu son modèle de scoring crédit (déployé en production depuis 18 mois) avec un système de détection de drift à plusieurs couches.

Couche 1 — Surveillance des features d’entrée (data drift)

Les 23 features du modèle sont surveillées individuellement par test de Kolmogorov-Smirnov hebdomadaire, comparant la distribution de la semaine écoulée à la distribution d’entraînement.

Sur 18 mois d’exploitation, 12 alertes de drift de features ont été remontées : - 4 alertes sur la feature « taux d’intérêt de référence » : évolution attendue suite aux changements de politique monétaire BNS. Pas d’action, drift catalogué comme attendu. - 3 alertes sur « ratio dette/revenus » : évolution structurelle des profils de demande post-Covid. Investigation conduisant à une mise à jour de la baseline de référence. - 2 alertes sur « profession » : apparition de nouvelles catégories non présentes à l’entraînement (créateurs de contenu, freelances numériques). Action : enrichissement de la mapping des professions. - 2 alertes sur « zone géographique » : élargissement du périmètre commercial. Action : retraining ciblé. - 1 alerte sur « historique de crédit » : qualité de la donnée dégradée par un changement de système amont. Action : correction du flux de données.

Couche 2 — Surveillance de la performance (concept drift)

Mesure mensuelle de la performance du modèle sur les nouvelles décisions, comparée à la performance d’entraînement.

Indicateurs surveillés : AUC sur le nouveau jeu de données, précision et rappel par seuil, calibration (correspondance entre score prédit et taux réel observé).

Sur 18 mois, l’AUC a évolué de 0,84 à 0,79. Le drift de performance est progressif et sans rupture marquée. Cause investiguée : évolution du contexte économique modifiant les profils de défaut. Action engagée : retraining trimestriel programmé avec les données les plus récentes.

Couche 3 — Surveillance par sous-population

Mesure trimestrielle de la performance par sous-groupes (genre, âge, région, profession, niveau de revenu).

Sur 18 mois, deux dérives par sous-population ont été identifiées : - Performance dégradée sur la sous-population des indépendants (rappel passé de 0,72 à 0,58). Investigation : évolution structurelle de cette population (digitalisation de l’économie). Action : retraining avec sur-pondération de cette sous-population. - Performance améliorée mais avec biais sur la sous-population des seniors (taux d’acceptation supérieur de 8% à la moyenne, sans justification dans les variables financières). Investigation : possible biais introduit par une feature corrélée à l’âge. Action : audit de biais conduit par le data scientist, recommandation d’écarter une feature spécifique.

Couche 4 — Surveillance qualitative

Mesure qualitative trimestrielle par échantillonnage : 50 dossiers par trimestre revus manuellement par un comité (chargé de crédit senior, AIBS, data scientist) pour valider la cohérence du score avec l’analyse experte.

Cette surveillance qualitative a permis d’identifier deux types de cas problématiques difficilement détectables par les statistiques : - Cas 1 : profils atypiques systématiquement sur-scorés (profils académiques avec revenus modestes mais patrimoine familial important). Action : enrichissement des features avec données patrimoniales sur ces profils. - Cas 2 : cas concentrés sur une zone géographique récemment intégrée. Action : campagne ciblée d’amélioration de la qualité des données pour cette zone.

Bilan global à 18 mois : - 2 retrainings complets effectués (à 6 mois et à 12 mois) - 3 ajustements ciblés (corrections de pipeline, mises à jour de mappings) - 1 audit de biais ayant conduit à une révision du modèle - 0 incident critique en production lié à du drift non détecté - Performance maintenue dans les seuils acceptables sur l’ensemble de la période

Le coût annuel de cette surveillance représente environ 18% du budget d’exploitation du modèle, mais a évité au moins deux incidents potentiellement graves (sur-acceptation sur des profils à risque suite à un drift non corrigé) qui auraient eu un coût direct plusieurs ordres de grandeur supérieur.