Run Phases : P8 Compétences : E2
Tableau de bord monitoring IA
Définition
Le tableau de bord de monitoring IA est l’instrument permanent de surveillance d’une solution IA en exploitation. Il agrège plusieurs couches d’indicateurs : technique (latence, débit, disponibilité), modèle (performance, drift, biais), métier (KPIs d’usage et de valeur), conformité (incidents LPD, audit). Sa lecture régulière permet la détection précoce d’anomalies et l’ajustement opportun des solutions.
Pour l’AIBS, le tableau de bord constitue un livrable structurant de la phase P8. Il alimente les compétences E1 (surveiller l’utilisation des solutions IA en exploitation) et E2 (assurer la qualité des solutions IA). Sa conception et son interprétation sont au cœur du métier d’AIBS en exploitation, distinguant la pratique d’un AIBS confirmé de celle d’un AIBS débutant.
L’architecture du tableau de bord doit refléter la hiérarchie des préoccupations : indicateurs critiques visibles en permanence, indicateurs importants accessibles en deux clics, indicateurs de détail accessibles à la demande. Un tableau de bord noyant la surveillance critique dans une multitude d’indicateurs équivalents est inopérant.
Quand l’utiliser
À concevoir en phase P7 (préparation du run) et à utiliser en continu en phase P8. Lecture quotidienne des indicateurs critiques, hebdomadaire des indicateurs importants, mensuelle des indicateurs de tendance.
Exemple visuel
Architecture multi-couches d’un tableau de bord IA
| Couche | Indicateurs typiques | Fréquence | Public | Seuils d’alerte |
|---|---|---|---|---|
| Technique | Latence p95, débit, taux d’erreur, disponibilité | Temps réel | IT, AIBS | Latence p95 > 500ms |
| Modèle | Performance ML, drift features, drift cible | Quotidien | Data scientist, AIBS | Drift KS > 0,15 |
| Métier | KPIs d’usage, KPIs de valeur, NPS | Hebdomadaire | Métier, AIBS, sponsor | Adoption < 60% cible |
| Conformité | Incidents LPD, audit logs, exigences spécifiques | Mensuel | DPO, AIBS, conformité | Incident critique |
Exemple concret rempli
Exemple appliqué — Tableau de bord d’un assistant IA en banque
Une banque retail surveille en continu son assistant IA pour les conseillers (déployé sur 280 conseillers en agence) via un tableau de bord à 4 couches.
Couche technique (lecture temps réel par l’équipe IT) - Latence p50 / p95 / p99 : 0,3 / 0,8 / 1,4 secondes (cibles : <0,5 / <1,0 / <2,0). Alerte si p95 > 1,2s pendant 10 minutes. - Débit : 18 000 requêtes/heure en pointe, 6 000 en moyenne (capacité 50 000/h). Alerte si > 35 000/h soutenu. - Disponibilité service : 99,87% mensuel (cible 99,5%). Alerte sur indisponibilité > 5 minutes. - Taux d’erreur technique : 0,12% (cible <0,5%). Alerte si > 1% sur 1 heure. - Coût d’inférence : CHF 0,008 par requête (cible 0,012 sur 1 jour.
Couche modèle (lecture quotidienne par le data scientist + AIBS) - Score de confiance moyen des réponses : 0,82 (cible >0,75). Tendance stable. - Distribution des thèmes interrogés : 38% produits, 28% procédures, 22% réglementation, 12% divers. Alerte si évolution >15% sur une catégorie. - Drift sur features d’entrée (test KS) : 0,07 (seuil alerte 0,15). Stable. - Taux de fallback vers humain : 8% (cible <12%). En diminution lente sur 3 mois. - Précision sur échantillon évalué humainement : 87% (cible >80%). Mesure mensuelle sur 200 cas tirés au sort.
Couche métier (lecture hebdomadaire par AIBS + sponsor) - Taux d’adoption hebdomadaire : 91% des conseillers ont utilisé au moins une fois (cible >80%). - Intensité d’usage : 18 interactions/conseiller/jour en moyenne (cible 12-25). - Satisfaction utilisateur (5 étoiles) : 4,2/5 (cible >3,8). - Pertinence ressentie : 76% des réponses jugées « directement utiles » (cible >70%). - Gain de temps mesuré (mesure par échantillonnage) : 22% sur les tâches couvertes (cible >15%). - NPS interne conseillers : +28 (cible >+15). Tendance positive.
Couche conformité (lecture mensuelle par DPO + AIBS) - Nombre d’incidents LPD : 0 sur le mois (cible 0). - Nombre de demandes d’accès / rectification : 3 sur le mois, toutes traitées dans les délais. - Audit logs : 100% des interactions tracées correctement. - Tests de cloisonnement : conformité maintenue (vérification trimestrielle par cabinet externe). - Exigences sectorielles FINMA : aucune non-conformité identifiée.
Tableau de bord synthétique pour le comité de direction (1 page, mensuel) : KPIs principaux (5) : adoption (91%), satisfaction (4,2/5), gain de temps (22%), NPS (+28), incidents (0). Alertes du mois : aucune alerte critique. Signaux d’attention : légère hausse de la latence p95 (de 0,8 à 0,95s), à surveiller. Décisions du mois : validation de l’extension à 50 nouveaux conseillers en succursale, lancement du module « gestion patrimoine » en pilote.
Le tableau de bord est intégré dans le SI de pilotage de la banque et accessible aux différents publics avec niveaux de droits distincts. Il a contribué à la détection précoce de deux incidents naissants (drift sur les questions de réglementation suite à une nouvelle loi, baisse de satisfaction sur une catégorie de questions) qui ont pu être traités avant impact significatif.
Variantes
Tableau de bord allégé pour PME (10-15 indicateurs principaux). Tableau de bord enrichi avec analytics avancés pour grand compte. Approche par contrats SLA pour les solutions externalisées. Dashboards temps réel avec alertes automatiques pour les solutions critiques.
⚠ Piège classique
Multiplication des indicateurs sans hiérarchisation, noyant la surveillance critique dans une multitude d’indicateurs équivalents. La règle : 5 indicateurs critiques visibles en permanence, 15 importants accessibles en deux clics, le détail à la demande. Un tableau de bord avec 80 indicateurs au même niveau est inopérant pour la prise de décision.
Clé de succès : Définir les seuils d’alerte et les actions associées.
Boussole AIBS — Manuel méthodologique non officiel pour le brevet fédéral d’AI Business Specialist.
Sources : Profil de qualification AIBS v15.04.2025 · Annexe directives FAAIB v1.01 · Document modules FAAIB v2.0 · Règlement examen v3.0 (mars 2026)