Développement des compétences : mesurer l'impact d'un parcours digital

Comment mesurer l'impact d'un parcours de formation digital ?

En empilant plusieurs niveaux de preuve, du plus simple au plus exigeant. Le cadre le plus utilisé reste le modèle de Kirkpatrick, que la société Kirkpatrick Partners présente en quatre niveaux : la réaction (le public trouve-t-il l'expérience favorable, engageante, pertinente ?), l'apprentissage (a-t-il acquis les connaissances, savoir-faire, attitudes, la confiance et l'engagement visés ?), le comportement (applique-t-il les comportements clés dans son environnement de travail ?) et les résultats (les effets attendus pour l'organisation se produisent-ils ?).

Le point que beaucoup oublient figure pourtant en tête de la présentation : il faut commencer par le niveau 4, les résultats. On ne conçoit pas un parcours puis on cherche ce qu'il a amélioré. On choisit d'abord ce qui doit s'améliorer, puis on conçoit le parcours pour y contribuer.

Kirkpatrick Partners insiste aussi sur la pertinence au niveau 1 : un contenu jugé hors sujet par l'apprenant a peu de chances d'être appliqué. Et le cabinet recommande de suivre à la fois des indicateurs avancés (les signaux qui annoncent le résultat) et des indicateurs retardés (le résultat lui-même), en rappelant que beaucoup de ces indicateurs existent déjà dans l'entreprise.

Pourquoi le taux de complétion ne suffit-il pas ?

Parce qu'il répond à la question « les gens ont-ils cliqué jusqu'au bout ? », pas à la question « savent-ils mieux faire ? ». Un module peut afficher un excellent taux d'achèvement et ne rien changer au travail. À l'inverse, un module abandonné à mi-chemin peut avoir donné à l'opérateur exactement l'information dont il avait besoin.

Le taux de complétion reste utile comme signal d'alerte. Un abandon massif au même écran signale un problème : contenu trop long, consigne confuse, défaut technique. Mais c'est un indicateur de diagnostic du parcours, pas un indicateur d'impact.

Le score de quiz a la même limite. Il mesure ce que l'apprenant sait au moment du test. Il ne dit rien de ce qu'il fera trois semaines plus tard devant la machine. Et si le quiz est mal construit (bonnes réponses évidentes, distracteurs absurdes), il ne mesure même pas cela. C'est l'une des raisons pour lesquelles nous insistons sur la relecture des contenus générés, détaillée dans notre article sur la correction des modules SCORM produits par IA.

Quels indicateurs suivre à chaque niveau ?

Voici une grille de correspondance entre les quatre niveaux et ce qu'on peut mesurer concrètement dans un dispositif digital.

Deux remarques sur ce tableau. D'abord, les niveaux 3 et 4 ne se mesurent pas dans le LMS : ils se mesurent sur le terrain, avec des données que l'entreprise possède déjà. Ensuite, la question « qui mesure » est souvent celle qui fait échouer l'évaluation. Si personne n'a la charge d'observer les comportements au poste, le niveau 3 restera vide.

Avant votre prochain lancement, essayez de remplir ce tableau pour un seul parcours : la colonne « Qui mesure » vous dira tout de suite si l'évaluation est tenable. La section finale propose un premier pas concret.

Par où commencer pour que la mesure soit possible ?

Par une conversation avec le responsable métier, avant toute conception. Trois questions suffisent :

1. Quel indicateur suivi aujourd'hui doit s'améliorer grâce à ce parcours ?
2. Quels comportements, au poste, feraient bouger cet indicateur ?
3. Qui peut observer ces comportements, et à quel moment ?

Les réponses dessinent à la fois le contenu du parcours et son évaluation. Si le responsable ne sait pas répondre à la première question, le besoin n'est peut-être pas un besoin de formation : un outil, une procédure ou une organisation du travail peuvent être en cause.

C'est le travail que nous menons dans Le Chaudron, notre phase de diagnostic : identifier ce qui fait la réussite d'une équipe avant de décider ce qu'il faut transmettre, et comment on saura que la transmission a eu lieu.

Ce cadrage a un effet de bord intéressant : il oblige à mesurer l'état initial. Sans mesure de départ, aucune comparaison n'est possible.

Il aide aussi à distinguer les deux familles d'indicateurs dont parle Kirkpatrick Partners. Le résultat attendu, par exemple une baisse des réclamations clients, est un indicateur retardé : il bouge lentement et pour de multiples raisons. Les comportements qui l'annoncent, comme la reformulation systématique de la demande du client au téléphone, sont des indicateurs avancés : ils s'observent en quelques semaines. Suivre les seconds permet de corriger le parcours sans attendre des mois que le premier se décide à bouger.

Quelles données un LMS peut-il vraiment remonter ?

Cela dépend du standard utilisé par vos modules. Selon la présentation de SCORM par l'ADL Initiative, SCORM définit un modèle de données commun et une interface par lesquels le contenu communique avec le LMS. En pratique, on récupère surtout la progression, le statut d'achèvement, le statut de réussite, le score et le temps passé. C'est utile, mais tout se passe dans le LMS.

xAPI élargit ce périmètre. L'ADL décrit xAPI comme une norme de données et d'interface qui permet de capturer et partager des données sur la performance humaine, avec leur contexte. Chaque trace, appelée statement, décrit un acteur (l'apprenant), un verbe (l'action réalisée) et un objet (le contenu ou l'activité concernés), avec un horodatage et, si besoin, un résultat et un contexte. Ces traces sont reçues et stockées par un LRS, un serveur dédié aux enregistrements d'apprentissage.

L'intérêt pour la mesure d'impact est que l'activité tracée n'a pas besoin de se dérouler dans le LMS. Une simulation, une application mobile utilisée au poste, une grille d'observation remplie sur tablette par le manager peuvent produire des statements. On rapproche ainsi les niveaux 2 et 3 dans une même base.

Notre avis : xAPI n'a de sens que si vous savez déjà quelles questions vous voulez poser aux données. Collecter tout ce qui est traçable produit des tableaux de bord que personne ne lit. Commencez avec SCORM et une grille d'observation bien tenue ; passez à xAPI quand le besoin de croiser les sources apparaît.

Comment mesurer le changement de comportement au travail ?

C'est le niveau le plus instructif et le plus souvent négligé. Il demande surtout une méthode et un observateur, rarement un outil sophistiqué. Voici la check-list que nous recommandons :

• choisir trois à cinq comportements observables, formulés avec des verbes d'action (« vérifie la consignation avant d'intervenir », pas « est sensibilisé à la sécurité ») ;
• construire une grille d'observation simple : comportement observé, pas encore, en partie, systématiquement ;
• faire remplir la grille par le manager ou un référent, à deux moments au moins après la formation ;
• croiser avec l'auto-positionnement de l'apprenant, pour repérer les écarts de perception ;
• prévoir un temps d'échange entre le manager et l'apprenant à partir de la grille ;
• noter les obstacles rencontrés au poste (manque de temps, outil indisponible, consigne contradictoire).

Ce dernier point compte. Kirkpatrick Partners rappelle que l'environnement de travail peut soutenir ou bloquer la progression à chaque niveau. Un opérateur peut avoir parfaitement appris une procédure et ne pas l'appliquer parce que son poste ne le permet pas. Dans ce cas, la mesure renseigne d'abord l'organisation, avant de juger la formation.

Le rôle du manager est donc central, et il s'apprend. Pour les responsables qui veulent structurer le développement des compétences RH de leurs équipes, de l'entretien individuel à l'observation au poste, des formations dédiées au management existent. Les ateliers collectifs entre pairs sont aussi une bonne occasion de faire remonter ces obstacles ; nous en décrivons les formats dans notre article sur l'intelligence collective à distance.

Cas type : un parcours de prise de poste en maintenance ferroviaire

Prenons, à titre de cas type, une entreprise de maintenance ferroviaire qui accueille chaque année de nouveaux techniciens. Elle constate que les premiers mois sont marqués par des erreurs de diagnostic sur un type d'équipement et décide de créer un parcours digital de prise de poste.

Le cadrage fixe d'abord l'indicateur : le nombre de retours atelier pour diagnostic erroné sur cet équipement, déjà suivi par le service qualité. Il fixe ensuite quatre comportements à observer, dont « consulte la documentation technique avant de conclure » et « réalise le test fonctionnel complet ». Le chef d'équipe est désigné comme observateur.

Le parcours combine des modules courts, une simulation de diagnostic et deux séances d'accompagnement. Les données du LMS montrent que la majorité des apprenants abandonnent la simulation au même moment : l'écran est revu. Six semaines après la formation, le chef d'équipe remplit la grille d'observation ; deux comportements sur quatre sont acquis par presque tous, deux restent fragiles. L'échange avec les techniciens révèle que la documentation n'est pas accessible depuis la zone de travail. L'entreprise installe un accès sur tablette.

L'évaluation a servi à améliorer le parcours, à cibler l'accompagnement, et à lever un obstacle qui n'avait rien de pédagogique. Le suivi de l'indicateur qualité sur les mois suivants dira si l'ensemble a produit l'effet attendu.

Quelles erreurs faussent la mesure de l'impact d'une formation ?

Quelques erreurs reviennent souvent :

• mesurer trop tôt : le comportement au poste se stabilise avec le temps, une seule observation la semaine suivante ne dit pas grand-chose ;
• attribuer tout le résultat à la formation : si un nouvel outil arrive en même temps, l'indicateur bougera pour plusieurs raisons ;
• oublier l'état initial : sans mesure avant, aucune comparaison n'est possible ;
• confondre satisfaction et efficacité : un parcours apprécié n'est pas forcément un parcours qui change le travail ;
• ne pas partager les résultats : les apprenants et les managers qui voient l'effet de leurs efforts s'impliquent davantage dans la suite.

Pour une action de formation menée en tout ou partie à distance, rappelons que l'article D6313-3-1 du Code du travail prévoit des évaluations qui jalonnent ou concluent l'action. Ces évaluations relèvent du niveau 2. Elles sont nécessaires, mais elles ne remplacent pas l'observation au poste si c'est l'impact que vous cherchez à démontrer.

Comment lancer la mesure sur votre prochain parcours ?

Prenez le parcours que vous lancez dans les prochains mois et posez au responsable métier les trois questions du cadrage : quel indicateur, quels comportements, quel observateur. Mesurez l'état initial avant la diffusion, puis planifiez deux observations au poste après la formation. C'est la façon la plus simple de commencer à mesurer l'impact d'une formation sans outil nouveau. Si vous préférez être accompagné pour ce cadrage, vous pouvez cadrer votre prochain parcours avec Le Chaudron, notre phase de diagnostic et de stratégie, avant de forger le moindre module.

FAQ

Article rédigé avec l'assistance d'une IA, sous la responsabilité éditoriale de Ludovic Albisser.