Aller au contenu
Logo La Forge DigitaleLa Forge Digitale
Tous les articles

Formation 3D & IA

Hand tracking en formation : manipuler des objets 3D à mains nues

Le hand tracking en formation permet de manipuler un objet 3D avec sa propre main, devant une simple webcam, sans casque ni manette. On pointe, on pince, on ouvre la main pour éclater l'objet et en voir les pièces. Nous avons construit un atelier à mains nues qui fonctionne ainsi dans le navigateur. Voici comment cela marche, pourquoi nous y croyons pour l'apprentissage des métiers et quelles sont ses limites.

Samia Benmara 11 min de lecture
Une main devant une webcam pilote un objet 3D qui s'éclate en particules, dans le navigateur
Partager LinkedIn

Qu'est-ce que le hand tracking et comment fonctionne-t-il ?

Le hand tracking est une technique de vision par ordinateur qui repère une main dans l'image d'une caméra et en suit les articulations en temps réel. Le programme obtient la position des doigts, ce qui permet de traduire un geste en commande : pointer, saisir, relâcher. Aucun capteur n'est porté par l'utilisateur.

Notre atelier s'appuie sur la technologie de Google MediaPipe. Selon le billet de recherche de Google, le modèle infère 21 points tridimensionnels de la main à partir d'une seule image et fonctionne en temps réel sur un téléphone. Il combine un détecteur de paume, qui localise la main, et un modèle de repères, qui estime la position des articulations dans la zone découpée.

Le détecteur de paume n'est lancé qu'occasionnellement : une fois la main trouvée, le système la suit à partir des points de l'image précédente et ne relance la détection que si la confiance baisse. C'est ce qui rend la méthode assez légère pour tourner dans un navigateur. La documentation du Hand Landmarker pour le web précise que l'outil renvoie ces 21 repères, avec leurs coordonnées normalisées et une estimation de profondeur, et qu'il peut suivre une ou plusieurs mains selon le réglage.

L'atelier à mains nues : la main pilote un objet 3D métier, qui s'éclate en particules pour être démonté.

Que se passe-t-il avec l'image de la webcam ?

Dans notre atelier, le modèle de détection s'exécute sur l'appareil de l'apprenant. L'image n'est pas transmise à un serveur : elle est analysée localement pour calculer la position de la main, puis seuls ces points pilotent la scène 3D. Pour une entreprise soucieuse de confidentialité, ce point change la discussion avec le service juridique et les représentants du personnel.

Cela ne dispense pas d'informer clairement les participants. Avant d'activer la caméra, le navigateur demande l'autorisation, et nous recommandons d'ajouter une phrase explicite : la caméra sert à suivre la main, rien n'est enregistré, rien n'est envoyé. Si votre dispositif prévoit de collecter des données d'usage, par exemple le temps passé ou les erreurs, elles relèvent d'un autre traitement qu'il faut documenter séparément.

Quels gestes utilise-t-on pour manipuler un objet 3D ?

Trois gestes suffisent pour la grande majorité des interactions, et c'est volontaire : un vocabulaire gestuel court s'apprend en trente secondes. Plus on ajoute de gestes, plus les erreurs de reconnaissance se multiplient et plus l'apprenant pense à sa main au lieu de penser à l'objet.

GesteEffet dans l'atelierUsage pédagogique
PointerDésigne un composant, affiche son nomIdentifier une pièce, répondre à une question
PincerSaisit une pièce ou fait tourner l'objetExaminer sous tous les angles, déplacer un élément
Ouvrir la mainÉclate l'objet pour en séparer les piècesComprendre l'assemblage, démonter

Le geste d'éclatement est celui que les visiteurs retiennent. En ouvrant la main, l'objet se décompose en pièces qui s'écartent, comme sur un dessin technique éclaté. En refermant la main, elles se rassemblent. On voit ainsi l'intérieur d'un équipement que l'on ne peut pas ouvrir dans la réalité sans l'arrêter.

Pourquoi pas une manette ou une souris ?

Parce qu'une manette ajoute un objet à distribuer et un apprentissage à faire, et qu'une souris ne rend pas le sentiment de saisir quelque chose. La main nue est le seul outil que tout le monde possède déjà. Pour une formation qui doit toucher des équipes variées, y compris peu familières avec les jeux vidéo, cette absence d'équipement pèse lourd.

Cela dit, une souris ou le tactile restent des alternatives utiles. Pour les postes sans webcam ou les personnes qui préfèrent ne pas utiliser la caméra, nous recommandons de prévoir un repli dès la conception. Une formation inclusive prévoit toujours une seconde voie.

Jouable dans le navigateur

Essayez la démo

Essayez l'atelier à mains nues

Autorisez la webcam, pointez, pincez, puis ouvrez la main pour éclater l'objet. Aucune image n'est envoyée.

Lancer la démo (s'ouvre dans un nouvel onglet)

Qu'est-ce que cela change pour apprendre un métier ?

Cela change la nature de l'exploration. Sur un schéma, on regarde un objet. Dans l'atelier, on le fait tourner, on l'ouvre, on le démonte, et l'on voit où chaque pièce se situe par rapport aux autres. Ce rapport spatial est difficile à transmettre par un texte ou une vidéo, alors qu'il est au cœur de métiers comme la maintenance, l'assemblage ou le diagnostic.

Nous restons prudents sur ce que la recherche permet d'affirmer. Il serait trop simple de dire que « bouger la main améliore la mémoire ». Ce que nous retenons, c'est un principe plus modeste, cohérent avec la thèse de La Forge : l'apprenant qui agit sur l'objet est obligé de décider, donc de s'engager, alors que celui qui regarde peut rester spectateur. La différence tient à l'action et au retour immédiat, pas à la main en tant que telle.

Et c'est là que l'atelier trouve sa place dans la boucle d'apprentissage : on prédit où se trouve une pièce, on la désigne, on vérifie, on corrige. Pour la théorie derrière cette boucle, voyez notre article sur la formation 3D en entreprise.

Un exemple : l'encyclopédie 3D du cerveau qui apprend

Pour tester l'atelier sur un objet que chacun connaît, nous avons modélisé un cerveau. En l'ouvrant à la main, on distingue les lobes, l'hippocampe, l'amygdale et le cervelet. Un mode intitulé « L'IA : réseau de neurones » compare la manière dont un réseau artificiel apprend à celle du cerveau, et un quiz vérifie ce qui a été retenu.

Une fonction de mémoire espacée, « Simuler une semaine plus tard », rejoue le quiz comme si les participants le reprenaient après sept jours. Elle illustre un résultat classique : la méta-analyse de Cepeda et collègues sur 317 expériences indique que le délai optimal entre deux révisions augmente avec la durée pendant laquelle on veut se souvenir. Nous y revenons dans notre article sur les neurosciences de l'apprentissage.

Un autre objet métier, une machine d'usinage, dans une maquette de prospection : le même socle permet de changer d'équipement.

Cette maquette de machine-outil fait partie des démos que nous avons préparées pour le salon Euro Industries sans demande préalable de l'entreprise concernée. Ce n'est pas un client de La Forge : elle montre simplement que l'objet 3D se remplace par un autre équipement sans réécrire le système de gestes.

Quelles sont les limites du suivi de la main en formation ?

Il y en a plusieurs, et nous préférons les écrire que les découvrir en projet. Le suivi de la main dépend de conditions matérielles qu'un service formation ne maîtrise pas toujours.

  • la lumière : une pièce sombre ou un fort contre-jour dégrade la détection ;
  • le cadrage : la main doit rester dans l'image, ce qui demande un petit réglage de la caméra ;
  • la fatigue : tenir le bras en l'air pendant vingt minutes fatigue, d'où des séquences courtes ;
  • les gants et les environnements d'atelier : à tester au cas par cas, nous ne garantissons pas le suivi dans toutes les conditions ;
  • le toucher : on ne ressent rien, donc la main nue ne remplace pas le geste réel avec la résistance d'une pièce ;
  • l'accessibilité : certaines personnes ne peuvent pas ou ne souhaitent pas utiliser ce mode.

Le point sur le toucher est essentiel. L'atelier apprend à reconnaître, comprendre l'assemblage et mémoriser l'ordre. Il n'apprend pas le dosage d'un serrage ni la sensation d'une pièce qui force. Pour cela, la pratique sur l'équipement réel reste irremplaçable, éventuellement après un entraînement de geste jugé, dont nous parlons dans notre article sur la pratique délibérée.

Comment intégrer l'atelier dans un parcours de formation ?

En lui donnant un rôle précis dans la séquence. Nous l'utilisons plutôt en début de parcours, pour installer le vocabulaire et la représentation d'un équipement, avant les mises en situation. Il peut aussi servir de révision : l'apprenant revient dessus avant une intervention pour se remettre en tête l'assemblage.

  1. Choisir l'objet : un équipement dont les pièces et leur ordre posent problème aux débutants.
  2. Définir les questions : quelles pièces doit-on savoir nommer, quel assemblage comprendre ?
  3. Ajouter des défis : retrouver une pièce, replacer un composant, expliquer une fonction.
  4. Prévoir un retour : une correction immédiate et, si possible, un échange avec un tuteur.
  5. Programmer des rappels : revenir sur l'objet à un jour, sept jours et trente jours.

Ce découpage est proche de ce que nous décrivons dans notre article sur le blended learning : la 3D occupe une place dans un ensemble, aux côtés du présentiel et du suivi managérial. Elle ne constitue pas à elle seule un parcours.

Quel est le coût technique d'un atelier à mains nues ?

Pour l'apprenant, il est nul : une webcam et un navigateur récent suffisent, sans installation. Pour l'entreprise, le coût se trouve dans la modélisation de l'objet et la conception des défis. Comme le moteur 3D, la détection de la main et le système de gestes existent déjà, un nouvel objet se prépare en quelques jours. Le temps de validation par vos experts métier vient s'y ajouter.

Nous ne communiquons pas de tarif type, parce qu'il dépend du nombre d'objets, de la fidélité attendue et de l'accompagnement. Nous préférons proposer d'abord une démonstration, qui permet à votre équipe de juger sur pièce, avant tout devis.

Un équipement que vos nouveaux arrivants peinent à se représenter ? Voyez à quoi ressemblerait son atelier à mains nues.

Demander une démo à vos couleurs

FAQ

Faut-il une webcam spéciale pour le hand tracking ?

Non, une webcam standard suffit dans la plupart des cas. La qualité de la lumière et le cadrage comptent davantage que la caméra. Nous conseillons de tester la démo sur les postes réels avant de la déployer.

L'image de ma webcam est-elle enregistrée ou envoyée ?

Dans notre atelier, le modèle de détection de la main s'exécute sur l'appareil et l'image n'est pas envoyée à un serveur. Le navigateur demande l'autorisation d'accès à la caméra, et nous recommandons d'en informer clairement les participants.

Le hand tracking fonctionne-t-il sur téléphone ?

Oui, l'atelier fonctionne aussi sur téléphone, le modèle de suivi de la main de Google étant conçu pour tourner en temps réel sur mobile. L'expérience dépend toutefois de l'appareil et de la lumière.

Peut-on utiliser ce système avec des gants de travail ?

Cela dépend du type de gants et de l'éclairage, et nous ne le garantissons pas. Il faut le tester dans les conditions réelles. Nous recommandons de prévoir un repli à la souris ou au tactile.

Cet atelier peut-il porter sur nos propres équipements ?

Oui, l'objet 3D est remplaçable. La modélisation de votre équipement et la rédaction des défis se font avec vos experts métier, sur le socle existant, ce qui permet de produire une première démo en quelques jours.

Article rédigé avec l'assistance d'une IA, sous la responsabilité éditoriale de Samia Benmara.

Partager LinkedIn

Envie d'appliquer cette méthode chez vous ?

Nos Maîtres Forgerons transforment ces principes en parcours concrets, mesurés et certifiables.