Transformez la photo de votre chien en avatar VR !

Près de quatre ans se sont écoulés depuis que Facebook a officiellement changé son nom en Meta, accompagné des promesses de son fondateur, Mark Zuckerberg, d’un « métavers » numérique complet à portée de main. Pourtant, l’adoption des espaces de réalité virtuelle auprès des utilisateurs a stagné, et Zuckerberg semble désormais se concentrer davantage sur les compagnons d’intelligence artificielle et des lunettes Ray-Ban diffusant des podcasts. Pour beaucoup, rester confortablement assis sur le canapé avec son chien à ses côtés est plus attrayant que de plonger dans la VR.

Mais que se passerait-il si votre compagnon à quatre pattes pouvait vous rejoindre ?

Des chercheurs de l’Institut national de science et de technologie d’Ulsan en Corée du Sud ont développé un système d’intelligence artificielle qui rend cela possible. Nommé DogRecon, ce système permet de convertir une simple photographie d’un chien en un modèle numérique 3D réaliste pour des applications de réalité virtuelle ou augmentée. Bien qu’il ne soit pas encore mûr pour le grand public, les mécanismes de pondération uniques de DogRecon ont permis de générer des rendus plus nets et réalistes que les modèles d’IA similaires, souvent accusés de produire des images floues et déformées avec une géométrie corporelle inexacte. Les résultats de leurs recherches ont été publiés dans l’International Journal of Computer Vision.

Une vidéo dévoile quelques exemples préliminaires de ces chiens en 3D et leur apparence dans des environnements virtuels. À gauche, une meute de chiots (dont un shiba inu en bottes vertes) se déplace lentement dans un jardin. À droite, deux chiens errent dans un salon. Une fois les avatars canins générés, les chercheurs peuvent les contrôler via des commandes textuelles simples.

“Avec plus d’un quart des ménages possédant des animaux de compagnie, étendre la technologie de reconstruction 3D — traditionnellement axée sur les humains — aux animaux de compagnie a été un objectif,” a déclaré Gyeongsu Cho, premier auteur de l’étude, dans une déclaration envoyée à Tech Xplore. “DogRecon propose un outil permettant à quiconque de créer et d’animer une version numérique de ses animaux de compagnie.”

Transformation de photos 2D en avatars 3D

Bien que des progrès considérables aient été réalisés ces dernières années pour améliorer le réalisme des avatars humains dans les espaces virtuels, beaucoup moins d’attention a été portée à nos compagnons à fourrure. Selon l’équipe, une des raisons est que les animaux, en particulier les chiens, sont plus complexes anatomiquement que nous. Les chiens existent en centaines de races, chacune avec ses propres formes, tailles et caractéristiques physiques uniques. Leur stature à quatre pattes entraîne également plus d’occlusions articulaires par rapport aux humains, rendant la modélisation 3D plus difficile.

Tous ces éléments ajoutent des variables supplémentaires qui augmentent les chances que le modèle génère des erreurs lors de la création de chiens dans un espace numérique. Cependant, les chercheurs soutiennent que l’absence de modèles d’animaux correctement conçus dans la réalité virtuelle limite la crédibilité globale de ce que l’on appelle le “métavers.”

“Sans l’ombre d’un doute, des approches spécifiques aux humains sont importantes, mais les humains ne représentent qu’une infime partie de la biodiversité réelle,” écrivent les chercheurs.

L’équipe a tenté de surmonter ces difficultés en utilisant d’abord des modèles d’IA statistiques spécifiques aux races pour capturer les variations de formes et de postures corporelles. Ils ont ensuite utilisé un second modèle d’IA génératif pour créer des images multi-vues qui restent géométriquement alignées avec la forme corporelle du chien. En combinant ces deux étapes, le système peut prendre une seule image d’un chien (par exemple, des images réelles extraites d’Internet) et permettre aux modèles d’IA de prédire à quoi le chien pourrait ressembler et comment il se déplacerait sous différents angles.

Toutefois, toutes les prédictions de l’IA ne reflètent pas fidèlement ce à quoi un chien devrait ressembler. Pour y remédier, les chercheurs ont appliqué un mécanisme de pondération à leur modèle, favorisant les résultats paraissant plus réalistes et filtrant ceux présentant des déformations ou d’autres visuels inhabituels couramment retrouvés dans des images générées par IA de mauvaise qualité. Ce mécanisme de pondération aide à définir les paramètres pour les résultats de l’IA afin de les orienter vers des résultats souhaités. Lors de la comparaison de DogRecon avec d’autres modèles d’IA capables de générer des vidéos à partir d’images, ils ont constaté que leur système produisait systématiquement des résultats plus anatomiquement précis.

Cela ne signifie pas pour autant que les résultats soient parfaits. Les modèles 3D créés par DogRecon ressemblent généralement aux races de chiens qu’ils sont censés représenter, mais dans les quelques exemples montrés dans des environnements VR et AR, ils apparaissent encore quelque peu déconnectés et visuellement choquants. Leur mouvement évoque moins l’agilité d’un border collie et plus l’animation rigide d’un épisode précoce de South Park.

Malgré cela, même s’ils peuvent paraître rudimentaires, les chercheurs estiment que des outils comme celui-ci seraient appréciés par les utilisateurs de VR souhaitant emporter leur chien lors de leur prochaine aventure numérique. Quant aux véritables chiens, ils continueront de profiter du canapé.