Exemple appliqué — Boucle de feedback pour un assistant juridique IA

Un cabinet d’avocats (45 avocats, 22 collaborateurs) déploie un assistant IA juridique pour la recherche dans la jurisprudence et l’aide à la rédaction. La boucle de feedback est structurée sur 6 canaux complémentaires.

Canal 1 — Notation immédiate après chaque interaction Mécanisme : à la fin de chaque interaction, l’utilisateur peut noter la pertinence de la réponse (1 à 5 étoiles) et signaler des problèmes spécifiques (informations imprécises, périmètre dépassé, jurisprudence obsolète). Volume sur 6 mois : 8 400 notations sur 12 600 interactions (taux de réponse 67%). Distribution : 5 étoiles 28%, 4 étoiles 41%, 3 étoiles 18%, 2 étoiles 8%, 1 étoile 5%. Score moyen : 3,79/5. Signalements : 540 signalements de problèmes (4,3% des interactions), répartis : informations imprécises 38%, jurisprudence obsolète 27%, périmètre dépassé 19%, autre 16%. Action : analyse mensuelle des signalements, intégration prioritaire dans les correctifs trimestriels.

Canal 2 — Signalement structuré d’erreurs critiques Mécanisme : formulaire dédié pour les erreurs jugées graves (information juridiquement incorrecte, risque déontologique). Engagement de traitement sous 48h ouvrées. Volume sur 6 mois : 28 signalements critiques. Traitement : 22 confirmés comme erreurs (correction du modèle ou de la base de connaissance), 6 jugés non-erreurs après analyse (utilisateur ayant mal interprété la réponse, généralement par manque de contexte fourni). Action : sur les 22 erreurs confirmées, 18 ont fait l’objet d’une correction technique (mise à jour de la base, ajustement des prompts), 4 ont conduit à des restrictions du périmètre.

Canal 3 — Enquête trimestrielle structurée Mécanisme : enquête en ligne de 12 questions (5 minutes), envoyée à l’ensemble des utilisateurs, taux de réponse cible 60%. Volume sur 6 mois : 2 enquêtes, 38 et 42 répondants (taux 57% et 63%). Indicateurs principaux : satisfaction globale 4,1/5 (T1) et 4,3/5 (T2), recommandation à un confrère 78% puis 85%, gain de temps perçu 28% puis 32%. Insights qualitatifs : 3 thèmes récurrents identifiés : besoin de meilleure intégration au logiciel métier, besoin d’extension à la jurisprudence cantonale, demande d’export structuré des résultats. Action : 2 des 3 thèmes intégrés dans la roadmap des 6 prochains mois.

Canal 4 — Focus groups semestriels Mécanisme : focus group de 8 participants (panel diversifié : juniors, seniors, partners, paralegals) animé par un consultant externe sur 2 heures. Volume : 1 focus group à 4 mois, 1 prévu à 10 mois. Insights : compréhension fine des contextes d’usage, identification de cas d’usage non anticipés (utilisation pour la formation des juniors, utilisation pour la préparation de plaidoiries). Action : ajustement de la roadmap, communication renforcée sur les cas d’usage émergents.

Canal 5 — Helpdesk et support Mécanisme : support de niveau 1 par l’IT interne, escalade vers fournisseur pour les questions techniques. Suivi des motifs de sollicitation. Volume sur 6 mois : 180 sollicitations. Distribution : problèmes techniques 35%, demandes de formation/clarification 28%, signalements de bugs 22%, questions sur les limites du système 15%. Action : enrichissement de la FAQ et de la documentation, sessions de formation complémentaire pour les profils ayant le plus de difficultés.

Canal 6 — Ambassadeurs internes Mécanisme : 6 ambassadeurs identifiés (1 partner, 2 seniors, 2 juniors, 1 paralegal) ayant un échange direct mensuel d’une heure avec l’AIBS. Volume sur 6 mois : 36 entretiens individuels, 6 réunions collectives. Insights : remontées qualitatives sur la dynamique d’adoption dans chaque équipe, identification précoce des résistances et des leviers, propositions d’évolution. Action : décisions stratégiques adaptées aux retours du terrain, ajustements de la communication.

Canal 7 — Analytics d’usage Mécanisme : tableau de bord automatisé surveillant les patterns d’usage anonymisés (fréquence, types de requêtes, parcours utilisateur). Insights : identification des fonctionnalités sous-utilisées, des moments de pic d’usage, des séquences typiques. Action : optimisation de l’interface (regroupement des fonctionnalités les plus utilisées), ajustement des capacités d’infrastructure aux pics.

Synthèse à 6 mois : - Volume total de retours : environ 9 500 points de feedback sur la période - Décisions concrètes prises sur la base des retours : 47 (correctifs, évolutions, communications) - Communication aux utilisateurs : newsletter mensuelle avec section « Vous avez dit, nous avons fait » présentant 3 à 5 améliorations directement issues de leurs retours - Évolution de la satisfaction : de 3,8/5 (T0) à 4,3/5 (T6) — progression significative - Évolution de l’adoption : de 65% (T0) à 91% (T6) — au-delà des objectifs

La fermeture visible de la boucle (communiquer ce qui a été fait suite aux retours) est identifiée par le cabinet comme le facteur le plus structurant. Sans ce retour visible, les utilisateurs auraient cessé de fournir des retours après quelques mois. La newsletter « Vous avez dit, nous avons fait » est devenue un rendez-vous attendu.