P5 DCO C ★ obligatoire examen

Vérification de la faisabilité (PoC)

La phase P5 correspond à la vérification de la faisabilité, compétence C4 du profil de qualification et l’une des quatre compétences obligatoires à l’examen partie 1. À ce stade du projet, l’esquisse de solution conçue en P4 doit être confrontée aux conditions réelles de réalisation : la solution est-elle techniquement réalisable, les données nécessaires sont-elles disponibles et de qualité suffisante, l’organisation est-elle prête, le cadre juridique le permet-il, les enjeux éthiques sont-ils maîtrisables ?

Cette phase mobilise une posture spécifique de l’AIBS. Selon les clarifications officielles de l’autorité d’examen, l’AIBS n’est pas chargé de mener lui-même les analyses techniques approfondies (entraînement de modèles, mesures de performance détaillées, audits de sécurité). Sa contribution consiste à définir les critères de faisabilité avec les spécialistes, à orchestrer leurs interventions, à intégrer leurs conclusions et à formuler les conditions et les risques résiduels. La compréhension conceptuelle des biais et des architectures techniques est suffisante ; la capacité à dialoguer avec les spécialistes sur ces sujets est essentielle.

La vérification de faisabilité couvre cinq dimensions complémentaires : faisabilité technique (la solution peut-elle fonctionner), faisabilité des données (les données nécessaires sont-elles disponibles, accessibles, de qualité suffisante), faisabilité organisationnelle (l’organisation peut-elle absorber le changement), faisabilité juridique (le cadre réglementaire le permet-il, à quelles conditions), faisabilité éthique (les enjeux de biais, de transparence, de supervision humaine sont-ils maîtrisés). Une faisabilité partielle sur l’une de ces dimensions ne disqualifie pas nécessairement le projet, mais doit être documentée et tracée vers les conditions ou les mesures d’atténuation.

Le livrable typique de la phase est un rapport de faisabilité structurant les conclusions par dimension, identifiant les conditions à remplir et les risques résiduels acceptés ou à atténuer. Ce rapport alimente directement le business case de la phase P6 et constitue une pièce essentielle des bases de décision présentées en C6. Les seuils de performance technique et les KPIs ML, lorsqu’ils sont applicables, doivent être définis avant l’évaluation et non a posteriori, afin de préserver la rigueur du processus.

Méthode pas-à-pas

Voici le déroulé concret de la phase, étape par étape :

1. Définir les critères de faisabilité par dimension

• Conduire un atelier de cadrage avec les spécialistes concernés : data scientist, architecte, DPO, juriste, expert métier, sponsor
• Établir pour chaque dimension les critères d’évaluation et les seuils d’acceptabilité
• Faisabilité technique : seuils de performance (précision, rappel, latence), exigences de scalabilité, contraintes d’infrastructure
• Faisabilité des données : volumes minimum, qualité ALCOA+ requise, fraîcheur, traçabilité
• Faisabilité organisationnelle : disponibilité des ressources humaines, capacité d’adoption, niveau d’effort de change
• Faisabilité juridique : conformité LPD, AI Act, exigences sectorielles, hébergement requis
• Faisabilité éthique : exigences de transparence, équité, supervision humaine, réversibilité
• Faire valider les critères par le sponsor avant lancement des évaluations

2. Évaluer la faisabilité technique

• Mobiliser les spécialistes data science et infrastructure pour conduire l’évaluation
• Selon le contexte : prototype rapide, analyse documentaire, simulation, retours d’expérience d’autres organisations
• Mesurer les KPIs ML pertinents au regard du problème (précision, rappel, F1, AUC pour classification ; MAE, RMSE pour régression ; perplexité, BLEU pour génération)
• Comparer les résultats aux seuils définis en amont
• Documenter les conditions techniques à remplir (infrastructure, intégration, montée en charge)

3. Évaluer la faisabilité des données

• Inventaire détaillé des sources de données mobilisables : volumes, fraîcheur, accessibilité, qualité
• Évaluation selon le référentiel ALCOA+ : Attribuables, Lisibles, Contemporaines, Originales, Exactes, Complètes, Cohérentes, Durables, Disponibles
• Identification des écarts : volumes insuffisants, qualité dégradée, sources fragmentées, anonymisation requise
• Estimation des efforts de préparation : nettoyage, harmonisation, enrichissement, étiquetage
• Documentation des conditions d’accès : autorisations, contrats fournisseurs, gouvernance interne

4. Évaluer la faisabilité organisationnelle

• Identifier les ressources humaines nécessaires : équipe projet, expertises ponctuelles, ressources d’exploitation
• Évaluer la capacité de l’organisation à mobiliser ces ressources sur la durée du projet
• Estimer le niveau d’effort de conduite du changement requis : sensibilisation, formation, accompagnement
• Identifier les résistances probables et les leviers d’engagement
• Documenter les conditions organisationnelles : gouvernance projet, instances de décision, modalités d’arbitrage

5. Évaluer la faisabilité juridique et de conformité

• Conduire ou commander une évaluation d’impact sur la protection des données (DPIA) si le traitement le requiert
• Vérifier la conformité aux obligations sectorielles applicables (FINMA pour la finance, OFSP pour la santé, etc.)
• Évaluer la classification du système au regard de l’AI Act européen le cas échéant : risque minimal, limité, élevé, inacceptable
• Vérifier les exigences d’hébergement (Suisse pour les données sensibles, UE pour les données européennes)
• Documenter les conditions juridiques : autorisations, contrats, mentions légales, droits des personnes concernées

6. Évaluer la faisabilité éthique et identifier les biais

• Analyser les biais potentiels avec un spécialiste data science : biais de sélection, biais de mesure, biais de confirmation, biais sociétaux représentés dans les données
• Identifier les groupes potentiellement affectés par des décisions inéquitables
• Évaluer les mécanismes d’atténuation envisageables : rééquilibrage des données, contraintes algorithmiques, supervision humaine, mécanismes d’appel
• Vérifier le niveau de transparence atteignable : explicabilité du modèle, documentation des décisions, accès aux raisons
• Documenter les conditions éthiques retenues et les arbitrages effectués

7. Synthétiser dans un rapport de faisabilité

• Structurer le rapport par dimension : technique, données, organisationnelle, juridique, éthique
• Pour chaque dimension : conclusion de faisabilité (favorable, conditionnelle, défavorable), critères évalués, mesures, conditions, risques résiduels
• Synthétiser dans une conclusion générale : la solution est-elle faisable, sous quelles conditions, avec quels risques
• Inclure les éléments de quantification : KPIs mesurés, volumes évalués, ordres de grandeur de coût et de délai
• Limiter le rapport à 20-40 pages selon la complexité du projet

8. Présenter et valider les conclusions

• Présenter le rapport au sponsor et au comité de pilotage
• Discuter les conditions et les risques résiduels, identifier ceux qui sont acceptés et ceux qui requièrent des mesures complémentaires
• Obtenir la validation formelle des conclusions et des conditions
• Préparer la transition vers la phase P6 (vérification utilité et rentabilité) en intégrant les éléments de coût identifiés

Outils — mode d’emploi détaillé

Évaluation ALCOA+ des données

Mode d’emploi :

• Référentiel issu des bonnes pratiques de l’industrie pharmaceutique, applicable à toute donnée critique pour la décision
• Attribuable : la donnée peut être rattachée à sa source (qui, quand, comment)
• Lisible (Legible) : la donnée est compréhensible, dans un format exploitable
• Contemporaine : la donnée est enregistrée au moment de l’événement qu’elle décrit
• Originale : la donnée est la version source ou une copie certifiée conforme
• Exacte (Accurate) : la donnée reflète fidèlement la réalité observée
• Complète (Complete) : l’ensemble des données nécessaires est disponible, sans manque significatif
• Cohérente (Consistent) : les données sont harmonisées entre les sources, sans contradiction
• Durable (Enduring) : la donnée est conservée dans le temps de manière sécurisée
• Disponible (Available) : la donnée est accessible aux acteurs autorisés, dans les délais utiles
• Évaluation par scoring 1-5 sur chaque dimension, avec preuves à l’appui (échantillons, métriques)
• Synthèse par radar visuel pour identifier rapidement les dimensions faibles

Variantes : ALCOA simple (5 critères de base) pour évaluation rapide. ALCOA++ étendu (avec critères supplémentaires de traçabilité numérique).

⚠ Piège classique

Évaluation déclarative sans preuves matérielles. La rigueur exige des échantillons examinés et des mesures objectives, pas une auto-évaluation par les producteurs des données.

KPIs ML standards

Mode d’emploi :

• Sélectionner les métriques pertinentes selon le type de problème ML
• Classification binaire : précision (proportion de prédictions positives correctes), rappel (proportion de vrais positifs identifiés), F1 (moyenne harmonique précision-rappel), AUC-ROC (capacité de discrimination)
• Classification multi-classe : précision et rappel par classe, F1 macro/micro/pondéré, matrice de confusion
• Régression : MAE (erreur absolue moyenne), RMSE (racine de l’erreur quadratique moyenne), MAPE (erreur en pourcentage), R² (coefficient de détermination)
• Génération : perplexité, BLEU/ROUGE pour traduction/résumé, métriques humaines (qualité, pertinence, factualité)
• Détection d’anomalies : précision et rappel sur classe rare, courbes precision-recall plus pertinentes que ROC
• Métriques d’exploitation : latence d’inférence, débit, coût par inférence, empreinte carbone
• Définir les seuils d’acceptabilité avant les mesures, en lien avec le coût des erreurs métier

Variantes : KPIs spécifiques selon les domaines : NDCG pour le ranking, IoU pour la segmentation d’images, WER pour la reconnaissance vocale.

⚠ Piège classique

Sélection d’une métrique unique sans considération du coût relatif des erreurs. Pour un problème de fraude, le rappel (ne pas manquer une fraude) prime généralement sur la précision (limiter les faux positifs).

Analyse de biais (compréhension conceptuelle)

Mode d’emploi :

• Identifier les types de biais susceptibles d’affecter le projet
• Biais de sélection : les données d’entraînement ne représentent pas la population cible (échantillon non représentatif)
• Biais de mesure : la collecte ou l’étiquetage des données est systématiquement biaisé
• Biais sociétaux : les données reflètent des inégalités ou discriminations présentes dans la société (biais historique)
• Biais d’algorithme : la fonction objectif ou l’architecture amplifie certains comportements
• Biais d’évaluation : les jeux de test ne reflètent pas la diversité des cas réels
• Identifier les groupes potentiellement affectés (genre, âge, origine, revenu, géographie)
• Évaluer les mécanismes d’atténuation envisageables avec les spécialistes
• Documenter les biais résiduels acceptés et leur justification

Variantes : Frameworks formels d’audit de biais : IBM AI Fairness 360, Microsoft Fairlearn, Aequitas. Niveau d’utilisation par l’AIBS : compréhension des outputs, pas mise en œuvre technique.

⚠ Piège classique

Délégation complète au data scientist sans vision métier des biais sociétaux. L’AIBS apporte la connaissance des groupes affectés et des conséquences métier ; le data scientist apporte les techniques d’analyse.

DPIA — Évaluation d’impact LPD

Mode d’emploi :

• Évaluation obligatoire pour les traitements présentant un risque élevé pour les personnes concernées (article 22 nLPD, article 35 RGPD)
• Section 1 — Description du traitement : finalités, parties prenantes, données traitées, durée, transferts
• Section 2 — Évaluation de la nécessité et de la proportionnalité : la finalité justifie-t-elle le traitement, des alternatives moins intrusives existent-elles
• Section 3 — Identification des risques pour les personnes concernées : atteinte à la vie privée, discrimination, perte de contrôle, atteinte à la réputation
• Section 4 — Mesures de réduction des risques : mesures techniques (chiffrement, anonymisation), mesures organisationnelles (formation, gouvernance)
• Section 5 — Conclusion et avis : niveau de risque résiduel, recommandation de mise en œuvre
• Conduite avec le DPO ; l’AIBS contribue par sa connaissance du projet, le DPO par sa connaissance juridique

Variantes : DPIA simplifiée pour traitements à risque modéré. DPIA approfondie avec consultation préalable de l’autorité de protection des données pour traitements à risque élevé non maîtrisé.

⚠ Piège classique

DPIA conduite tardivement, après la conception complète. La DPIA s’inscrit dans la phase de faisabilité (P5) pour identifier les contraintes structurantes ; les ajustements de conception sont coûteux ultérieurement.

Rapport de faisabilité

Mode d’emploi :

• Document structuré présentant les conclusions de l’évaluation de faisabilité
• Synthèse exécutive (1 page) : conclusion générale, conditions principales, risques majeurs
• Section méthodologique : critères évalués, méthodes utilisées, parties prenantes mobilisées
• Section par dimension (technique, données, organisationnelle, juridique, éthique) : critères, mesures, conclusions, conditions, risques résiduels
• Section synthèse : tableau récapitulatif par dimension avec niveau de faisabilité (favorable, conditionnelle, défavorable)
• Section recommandations : conditions à remplir avant engagement, mesures d’atténuation à prévoir, points de vigilance pour P6
• Annexes : KPIs mesurés en détail, échantillons de données analysés, DPIA, comptes rendus d’ateliers

Variantes : Rapport synthétique (10-15 pages) pour projets de petite taille. Rapport approfondi (30-50 pages) pour projets à enjeux réglementaires forts.

⚠ Piège classique

Rapport présentant uniquement des conclusions favorables, sans documentation des conditions et risques. Une faisabilité « conditionnelle » est un résultat valable, plus utile qu’une faisabilité « favorable » floue.

Cas type

Bonnes pratiques observées

Recommandations issues de la pratique professionnelle :

• La compétence C4 est obligatoire à l’examen partie 1. La capacité à structurer une évaluation de faisabilité multi-dimensions et à formuler des conditions explicites constitue un attendu majeur du jury.
• La définition des critères de faisabilité doit précéder les mesures. Une évaluation fondée sur des critères définis a posteriori est considérée comme méthodologiquement défaillante par les jurys et sur le terrain.
• La quantification des conclusions est attendue : valeurs des KPIs ML mesurés, volumes de données évalués, scores ALCOA+, niveau de risque DPIA. Une conclusion qualitative non chiffrée perd en crédibilité.
• La compréhension conceptuelle des biais est explicitement demandée par l’autorité d’examen pour C4. Cette compréhension porte sur les types de biais, leurs origines, leurs conséquences possibles et les moyens d’atténuation, sans nécessité d’une maîtrise technique approfondie.
• La conformité réglementaire — protection des données, AI Act, exigences sectorielles — doit être traitée comme une dimension à part entière de la faisabilité, et non comme une vérification administrative en marge du projet.
• L’inclusion du DPO dès la définition des critères évite des reprises tardives. Une DPIA conduite en P5 plutôt qu’en P7 préserve la cohérence de la solution conçue.
• Les conditions de faisabilité doivent être formulées de manière mesurable et traçable. Une condition vague (« mobilisation suffisante des équipes ») n’est pas vérifiable ; une condition précise (« médecin-conseil senior à mi-temps pendant six mois ») l’est.
• Une faisabilité conditionnelle ou défavorable est un résultat valable. La capacité à conclure honnêtement à un projet non faisable, ou faisable sous conditions exigeantes, est plus précieuse qu’une validation par excès d’optimisme.
• L’évaluation des biais selon une compréhension conceptuelle ne dispense pas de l’analyse technique par les spécialistes. L’AIBS identifie les groupes à risque et les conséquences métier ; le data scientist conduit les mesures techniques.
• Les seuils de performance technique doivent être définis en lien avec le coût des erreurs métier. Un seuil de précision de 0,90 peut être insuffisant si le coût d’une erreur est élevé, ou excessif si le coût est faible.
• La documentation des risques résiduels acceptés vaut autorisation explicite. Une fois ces risques validés par le sponsor, leur survenue ne constitue pas une défaillance du projet mais un risque connu.
• Le rapport de faisabilité s’inscrit dans une logique d’aide à la décision pour la phase P6 et au-delà. Sa structure doit faciliter cette utilisation : synthèse exécutive en tête, détails dans le corps, annexes pour traçabilité.

Erreurs fréquentes — et leur antidote

❌ Erreur : Évaluation de faisabilité limitée à la dimension technique

✓ Antidote : Inclusion systématique des cinq dimensions : technique, données, organisationnelle, juridique, éthique. Une évaluation incomplète est méthodologiquement défaillante.

❌ Erreur : Critères de faisabilité définis a posteriori, ajustés aux résultats observés

✓ Antidote : Atelier de cadrage des critères en début de phase, validation par le sponsor, traçabilité écrite avant lancement des évaluations.

❌ Erreur : KPIs ML mesurés sans seuils d’acceptabilité préalables

✓ Antidote : Définition des seuils minimum acceptables avant les mesures, en lien avec le coût des erreurs métier. Documentation du raisonnement.

❌ Erreur : DPIA conduite tardivement, en phase de déploiement

✓ Antidote : Inscription de la DPIA dans le périmètre de la phase P5. Les contraintes juridiques structurantes doivent être identifiées avant engagement irréversible.

❌ Erreur : Analyse de biais déléguée intégralement au data scientist sans vision métier

✓ Antidote : Co-conduite : l’AIBS apporte la connaissance des groupes affectés et des conséquences métier, le data scientist apporte les techniques d’analyse.

❌ Erreur : Évaluation de la qualité des données par auto-déclaration des producteurs

✓ Antidote : Échantillons examinés par le data scientist, métriques objectives sur volumes représentatifs, scoring ALCOA+ documenté.

❌ Erreur : Conditions de faisabilité formulées de manière vague

✓ Antidote : Formulation mesurable et traçable : qui fait quoi, dans quel délai, avec quelle preuve de réalisation.

❌ Erreur : Rapport de faisabilité présentant exclusivement des conclusions favorables

✓ Antidote : Documentation explicite des limites identifiées, des conditions à remplir, des risques résiduels acceptés. La complétude prime sur l’optimisme.

❌ Erreur : Confusion entre faisabilité (P5) et utilité/rentabilité (P6)

✓ Antidote : Distinction stricte : P5 traite de la possibilité de réaliser, P6 traite de la pertinence économique de réaliser. Une solution faisable peut s’avérer non rentable, et inversement.

❌ Erreur : Évaluation des biais limitée à des considérations techniques (équilibrage des classes)

✓ Antidote : Prise en compte des biais sociétaux représentés dans les données et de leurs conséquences sur les groupes potentiellement affectés.

FAQ — questions fréquentes

Un POC est-il nécessaire pour valider la phase P5 ?

Non, ni à l’examen ni systématiquement dans la pratique. Selon les clarifications officielles, une évaluation de faisabilité fondée sur l’analyse documentaire, la simulation, le prototypage rapide ou les retours d’expérience peut suffire. Un POC complet peut être pertinent pour des approches inédites dans l’organisation, mais n’est pas requis.

Quelle est la profondeur attendue dans la compréhension des biais à l’examen ?

Une compréhension conceptuelle est explicitement demandée, sans nécessité d’une profondeur technique en machine learning. La compréhension porte sur les types de biais (sélection, mesure, sociétaux, algorithmiques), leurs origines, leurs conséquences possibles, et les grands principes d’atténuation. La capacité à dialoguer avec un spécialiste sur le sujet est l’attendu central.

Comment articuler DPIA et rapport de faisabilité ?

La DPIA constitue généralement une annexe ou un document complémentaire au rapport de faisabilité. Le rapport de faisabilité reprend les conclusions de la DPIA dans sa section juridique et de conformité. La DPIA seule ne se substitue pas à un rapport de faisabilité ; le rapport seul ne se substitue pas à une DPIA réglementairement requise.

Comment évaluer la faisabilité organisationnelle de manière rigoureuse ?

L’évaluation porte sur trois dimensions : disponibilité des ressources nécessaires (équipe projet, expertises, ressources d’exploitation), capacité d’absorption du changement par les utilisateurs, alignement avec la gouvernance et la culture de l’organisation. Des indicateurs concrets — disponibilité confirmée des ressources, taux d’engagement aux ateliers de conception, retours des managers — peuvent étayer l’évaluation.

Quelle est la durée typique d’une phase P5 ?

Pour un projet de taille moyenne, la phase représente typiquement quatre à dix semaines. Les facteurs allongeant la durée incluent la nécessité d’une DPIA approfondie, la complexité de l’évaluation des données, la classification du système au regard de l’AI Act. Une phase de moins de trois semaines présente un risque élevé d’évaluations superficielles.

Que faire si une dimension de la faisabilité conclut négativement ?

Trois options sont disponibles : (1) abandonner le projet et documenter les enseignements, (2) reformuler la solution pour contourner la difficulté identifiée et soumettre la nouvelle conception à une évaluation actualisée, (3) accepter la limite comme contrainte structurante et restreindre le périmètre. Le choix relève de la décision en P6, en intégrant les éléments d’utilité et de rentabilité.

Comment gérer un sponsor souhaitant écarter une condition de faisabilité jugée trop coûteuse ?

La condition est documentée dans le rapport, accompagnée de l’analyse des risques en cas de non-respect. La décision d’accepter le risque est du ressort du sponsor, mais elle s’effectue de manière éclairée et tracée. L’AIBS conserve la responsabilité de la transparence sur les conséquences.

Pour aller plus loin

• ALCOA+ Data Integrity — FDA, EMA, MHRA (Norme sectorielle) — Référentiel d’évaluation de la qualité des données, applicable au-delà du secteur pharmaceutique
• EU AI Act — texte adopté (Réglementation) — Cadre de classification des systèmes IA par niveau de risque
• Loi fédérale sur la protection des données (nLPD) (Réglementation suisse) — Cadre primaire pour les évaluations d’impact en Suisse
• « A Survey on Bias and Fairness in Machine Learning » — Mehrabi et al. (Article académique) — Référence sur la typologie des biais en ML
• IBM AI Fairness 360 — Documentation (Outil open source) — Cadre conceptuel et technique d’évaluation des biais
• PFPDT — Modèle de DPIA (Template officiel suisse) — Modèle proposé par le Préposé fédéral à la protection des données

Synthèse de la phase

Questions clés à se poser

• Les données sont-elles disponibles, qualité, suffisantes (ALCOA+) ?
• Le modèle/approche atteint-il un niveau de performance acceptable ?
• Quels biais potentiels et comment les détecter/atténuer ?
• La solution est-elle conforme (LPD, hébergement Suisse, AI Act) ?
• Quels risques résiduels documenter ?

Outils mobilisables

• Évaluation ALCOA+ des données
• KPIs ML (précision, rappel, F1, AUC, latence)
• Analyse de biais (compréhension conceptuelle)
• DPIA / Évaluation d’impact LPD
• Rapport de PoC / faisabilité

Spécialistes à solliciter

L’AIBS coordonne — il convient de mobiliser les expertises suivantes à cette phase :

• Data Scientist (KPIs et biais)
• DPO (DPIA)
• Architecte (faisabilité infra)
• Juriste (conformité AI Act)
• Métier (validation utilité PoC)

Livrable type

Rapport de faisabilité avec KPIs, risques, conditions

Critères go / no-go pour passer à la phase suivante

• Les KPIs techniques atteignent les seuils définis ?
• Les biais sont identifiés avec mesures d’atténuation ?
• La conformité est validée par DPO/juriste ?
• Les risques résiduels sont acceptés par le sponsor ?

⚠ Piège classique

Rapport de faisabilité sans seuils chiffrés ni critères go/no-go : on ne sait pas si c’est « faisable ». Toujours définir les seuils AVANT de tester.

Boussole AIBS — Manuel méthodologique non officiel pour le brevet fédéral d’AI Business Specialist.

Sources : Profil de qualification AIBS v15.04.2025 · Annexe directives FAAIB v1.01 · Document modules FAAIB v2.0 · Règlement examen v3.0 (mars 2026)