Introduction

L’industrie de l’animation 3D et des films en 3D continue d’évoluer en apportant des techniques toujours plus époustouflantes. La motion capture en fait partie et permet à un réalisateur d’apporter une sensibilité particulière à son film ou sa séquence d’animation 3D durant un jeu vidéo.

La motion capture, ou encore abrégé mocap, a été utilisée les premières fois dans les année 1990. Après plusieurs tests et améliorations, nous avons des techniques de plus en plus précises, rapides et efficaces. La miniaturisation et les IA faisant également leur progression, des startups proposent des kits compacts ou des applications permettant de reconnaitre un bipède et reconstituer l’animation à partir de séquences filmées.

Est-ce que la mocap est la réponse à toutes les problématiques d’animation ? Quelles sont ses possibilités, ses limites, ses avantages et ses inconvénients ?

Définition

Le terme motion capture vient de l’anglais et signifie : capture de mouvement. Mocap est la contraction des mots motion et capture.

C’est une méthode d’animation. Le principe est d’enregistrer des mouvements d’un sujet qui se déplace dans un espace réel. Pour cela il existe plusieurs techniques de capture (source Wikipédia) :

• Optique
  
• Gyroscopique
  
• Mécanique
  
• Magnétique
  

Généralement la mocap se passe dans un studio ou un entrepôt, selon les besoins de surface. L’enregistrement des mouvements est réalisé par des capteurs se trouvant sur un acteur (local) ou par des systèmes capables de localiser ces capteurs (absolu). Les données ainsi collectées donnent des informations en fonction de la technologie utilisée : position x, position y, position z, vitesse, accélération, vibration…

Pour résumer, la motion capture est à l’animation ce que l’imprimante est à la reproduction graphique. La motion capture fournie des coordonnées à un logiciel pour qu’il puisse animer un sujet, les drivers d’une imprimante envoie la séquence d’impression pour que le support reçoive l’encre. Ce qu’il faut comprendre, c’est que c’est un processus uniforme, répétitif et quand même rigide à la base. Toutefois, les évolutions et les besoins de l’industrie permettent des développements intéressants de logiciels ouvrant alors la possibilité de modifier les animations.

Principe de fonctionnement

Le pistage (tracking)

La méthode choisie va permettre de sélectionner le matériel et les installations adéquates. Les dispositifs de capture pourront alors être une caméra infrarouge (ex : Kinect), un smartphone, des détecteurs magnétiques, etc… ainsi que les dispositifs de mouvement comme une combinaison avec éléments réfléchissants, combinaison avec éléments gyroscopique, des gants…

Liste de fabricant de matériel mocap :

• Vicon
  
• XSens
  
• Rokoko Smartsuite
  
• Ultraleap Leap Motion Controller
  

L’interfaçage (connecting)

Une solution complète pourra être sélectionnée afin d’assurer le maximum de compatibilité entre le matériel et les logiciels de traitement mocap. Certains constructeur propose donc une solution complète, d’autres des dispositifs avec application de capture brute et finalement les derniers ne proposent que des logiciels.

Liste d’applications et logiciels non exhaustive :

• Vicon Shogun
  
• Autodesk Motion Builder
  
• XSens Mvn Animate
  
• Rokoko Studio-live (plugin)
  

La capture (capturing)

En fonction des spécificités du logiciel et du matériel, les captures pourront être plus ou moins confortables et performants. Cette étape permet de mettre en relation les mouvements, la vitesse, l’inertie, les sons, la configuration des zones d’influence… Puis des opérations de correction, calibrage, lissage…

Liste d’applications et logiciels non exhaustive :

• Vicon Shogun
  
• XSens Mvn Analyze
  

L’édition (editing)

Si la fonction est disponible, l’animation avec un logiciel dédié à la solution choisie pourra être réalisée. Des facilités et outils d’animation seront alors fournies.

Liste d’applications et logiciels non exhaustive :

• Reallusion iClone
  

L’export (exporting)

Enfin, les mouvements capturés et édités depuis le début du processus pourront être exporté vers des logiciels comme Maya, 3DS Max, Blender, Houdini… ou encore pour faire du live avec un avatar sur des plateformes de streaming ou vidéo.

Les débouchées

Attention, je ne cherche pas à vous faire fuir ou à dénigrer les métiers en motion capture. Restons objectifs et analysons ce qu’il se passe dans cette discipline.
Faites le test sur votre moteur de recherche favori et tapez les mots clés suivants : « emploi motion capture ».

Quelques informations vont commencer à apparaître. Faisons le tri.

• Le nombre d’annonces
  Il est relativement bas. Est-ce un milieu fermé où seul les habitués ont leurs entrées ? Est-ce qu’il faut être recommandé, co-opté ou pistonné ? Pourquoi le nombre d’annonces n’est pas le même que pour les autres métiers de la 3D ? Ce n’est pas le bon moment, ce n’est pas encore la reprise économique ? La Covid-19 ?

• Les exigences de compétences
  Généralement il faudra déjà avoir une expérience similaire.
  Utiliser des logiciels particuliers comme Motion Builder, des logiciels propriétaires (éventuellement difficile « à trouver ») et peut-être même des extensions (plug-ins) en plus.
  Être bilingue car les clients / acteurs seront la plupart du temps étrangers.
  C’est un travail de maintenance et d’entretien puisqu’il faut placer les capteurs sur les acteurs et dépanner le système en cas de panne.
  Éventuellement, des compétences en scripting seront demandées. Ex: scripting HSL, afin d’automatiser des tâches.

• Le salaire et les contrats
  En globalité le salaire est dans la normale. Il existe tout type de contrat.
  

Je ne le répèterai jamais assez, la mocap est un métier de niche qui vous hyper-spécialisera. Un peu comme les personnes qui font de la maintenance sur des systèmes Linux et qui sont convaincues d’être très nombreux sur terre. Non, la vérité c’est que c’est Microsoft qui a le monopole et qui fait jouer ses relations pour mettre du Windows (client + serveur) partout. Ne soyez donc pas entêté, renseignez-vous et intéressez-vous à ce qu’il se passe dans l’industrie. Je peux me tromper évidemment mais vous aurez beaucoup plus d’opportunités en étant généraliste ou spécialiste en modeling, sculpting, texturing, rigging/skinning, animation, lighting…

Selon les moyens d’une entreprise, sous-traiter ou posséder sa structure de mocap revient onéreux. Est-ce qu’il vaut mieux engager un technicien mocap, des acteurs et les charges en matériel… ou avoir 2 ou 3 animateurs pour réaliser ce dont on a besoin ? Les prix ne sont pas les mêmes et il faudra bien étudier les besoins en séquence d’animation.

Pour en savoir plus sur l’industrie de la motion capture :
La motion capture une exception française – https://www.mensup.fr
La motion-capture, capturer le mouvement – http://www.futura-sciences.com

Quand utilise-t-on la mocap ?

Du coup avec tout ça, quand est-ce qu’on utilise la motion capture ? Sur quel type de projet ?

La mocap est utilisée dans les projets suivants :

• Jeu vidéo (ex : Mouvements réalistes, cut scenes, prises et coups d’arts martiaux…)
  
• Film d’animation 3D (ex : Le Pôle Express)
  
• Film nécessitant des intégrations 3D (ex : Avatar)
  
• La publicité
  
• Documentaire historique ou scientifique
  
• En médecine pour étudier et améliorer les mouvements sportifs techniques
  
• Du live streaming pour mettre en scène un avatar
  
• …
  

Type de projet

C’est pour ça qu’il faut étudier les méthodes de création dans l’industrie 3D. Ceux qui se sont renseignés ou qui connaissent le pipeline de production d’un jeu vidéo, d’un film avec des séquences 3D ou d’un film d’animation 3D comprennent alors l’importance de la préproduction. Cette phase durant laquelle on élabore l’histoire, son univers et son contenu grâce à une phase de réflexion qui débouchera sur un choix artistique.

Réalisme ou cartoon ?

Ce choix artistique est alors ce qui va motiver l’utilisation ou non de la mocap. Est-ce qu’on veut faire des cut-scenes qui ressemblent à une série ? Est-ce qu’on veut obtenir des mouvements réalistes rapidement avec plusieurs variantes ? Est-ce qu’on veut y mettre de l’émotion grâce à un jeu d’acteur et des expressions faciales réalistes ? Ou au contraire, faut-il que les jambes et les bras d’un personnage soit élastique ? Qu’il s’envole ? Qu’il saute d’un building à un autre ? Si vous trouvez un acteur capable de faire ça, chapeau !

Productivité et coûts

Peut-être que la solution c’est de faire un mix ? Dans tous les cas il faut des connaissances en animation 3D car on peut tout faire même si cela peut-être long. Tout dépend alors du talent de l’animateur.
Si la mocap est choisie il faudra penser à investir dans une installation ou la location. Prendre en compte les frais annexes (entretien, paiement des acteurs…) et charges fixes (loyer, location…).
Si l’animation traditionnelle est choisie il faudra faire une estimation du nombre d’animateur nécessaire.
Au final, il est recommandé de faire une étude avec les besoins de préprod pour justifier l’investissement.

Investissement ou location ?

Les technologies évoluent sans cesse, il faut alors trouver un moyen de les rentabiliser. On peut répercuter les coûts dans le prix fixé lors du contrat avec un client.
Quant au matériel faut-il l’acheter, le louer, sous-louer, voir des possibilités de leasing ?
Les installations ont également un coût car un bâtiment peut être acheté, louer, en partage…
Selon les finalités de la mocap il est important de réfléchir sur le moyen et long terme afin de limiter les pertes d’argent.

Avantages

La mocap apporte à l’animation énormément de choses :

• Réalisme
  
• Fluidité en globalité (en tout cas de plus en plus)
  
• Jeu d’acteur (performance capture)
  
• Capture d’expression faciale (facial tracking)
  
• Miniaturisation des installations et amélioration des IA
  
• Répétition ou réutilisation d’une capture (productivité accrue)
  
• L’animation en temps réel pour enregistrer des actions ou pour du streaming en direct
  

Les méthodes sont intéressantes mais pas forcément intuitives à mettre en place. Il ne suffit pas de capturer des mouvements pour animer un sujet. Il faut faire correspondre les signaux de chaque capteurs avec le maillage 3D.

Inconvénients

La mocap c’est aussi des problématiques à résoudre :

• Aire de mouvement, espace à prévoir
  
• Des clés d’animation sont présentes sur toutes les frames et tous les os ou contrôleurs du rig
  
• Les corrections en cas de parasites, vibrations, erreurs…
  
• Le placement et le calibrage des capteurs avec les combinaisons
  
• La technologie et le matériel encombrants (mais des solutions légères arrivent)
  
• Les coûts des installations de type studio
  
• Les coûts des applications et logiciels dédiés à la Mocap
  
• Rigide car parfois compliqué de faire des animations cartoons, surréalistes ou irréalistes. Cela dépend des solutions logicielles fournies.
  
• Animation d’animaux, insectes, êtres fantastiques… compliquée même si on peut essayer de placer une combinaison sur un animal.
  

C’est pourquoi l’animation traditionnelle, à « la main » reste encore utilisée. Elle permet d’utiliser les principes de l’animation afin d’apporter d’éventuelles corrections, une finesse de mouvement et des mouvements plus expressifs selon les besoins.

Une discipline en danger ?

Pour être concis, les IA font de plus en plus de progrès et certains travaux montrent leur capacité à redessiner des squelettes et une silhouette à partir d’une vidéo. Le squelette et la silhouette sont alors localisés dans l’espace. Cette méthode s’appelle : Pose Estimation. La motion capture n’est-elle pas en danger ?

Certes, ce n’est pas encore parfait mais les algorithmes des IA se perfectionnent rapidement. Les résultats sont déjà intéressants pour un acteur seul. Attendons de voir ce que nous proposera Pose Estimation dans le futur et s’il sera capable de détecter une personne passant devant une autre. Comme une évidence, une association entre cette technologie et celles déjà présentes en Mocap sera faite.

Ce qui risque de disparaitre c’est le matériel couteux et les dispositifs de réception mais qui peut vraiment prédire le futur ?

Exemples d’application

• The last of us / Mocap pipeline
  
• Resident Evil 8 : Village / Mocap behind the scene
  
• Dynamixyz @Siggraph 2019 / Mocap faciale pipeline
  
• Jinchul Jung : Motion Library / Mocap pipeline
  
• A.I. Channel / Youtube channel
  
• PAUSE PROCESS #17 La Motion Capture

Conclusion

Qu’on soit pour ou contre la mocap, c’est un outil qui s’est imposé dans l’industrie 3D et qui a sa place. Pour entrer dans l’industrie le technicien devra faire tout son possible pour renforcer son réseau et ses connexions. De plus le risque de se spécialiser et fort. Faites attention de ne pas vous retrouver dans une situation où votre métier pourrait disparaître un jour sans vous laisser la chance de vous reconvertir.

L’animation 3D à « la main » reste une méthode qui ouvre beaucoup plus de perspectives mais cela reste votre choix.