Doly vous permet de générer des vidéos de produits 3D depuis votre iPhone

AniML, la startup française à l'origine d'une nouvelle application de capture 3D appelée Doly, souhaite créer en quelque sorte le PhotoRoom des vidéos de produits. Si vous vendez des baskets sur un marché en ligne ou si vous avez besoin de créer des publicités Instagram pour vos produits destinés directement au consommateur, Doly vous aide à générer des modèles 3D avec votre téléphone et à les transformer en vidéos de produits d'aspect professionnel.

Si la création vidéo est notoirement difficile, générer un modèle 3D est encore plus difficile. C'est pourquoi l'équipe AniML s'est concentrée sur la simplification de l'expérience. Ils souhaitent faire de la capture 3D une technologie grand public, en commençant par la intégrer dans une application iPhone.

Voici comment fonctionne la capture 3D avec Doly : L'utilisateur pointe l'appareil photo de son téléphone vers le produit et se déplace physiquement autour de lui pour le capturer en 3D. En coulisses, l'application récupère des images fixes et les envoie vers le cloud. AniML a construit un pipeline de reconstruction utilisant quelque chose appelé éclaboussure gaussienne pour transformer ces images en un modèle 3D réaliste.

Les modèles 3D sont traditionnellement créés avec une collection de points dans l'espace 3D, une texture 2D projetée sur ces surfaces et des effets d'éclairage. L'éclaboussure gaussienne est un tout nouveau pipeline de rendu qui consiste à estimer un nuage de points 3D à partir d'un ensemble d'images 2D à l'aide d'un modèle d'IA pré-entraîné.

« Notre point de départ était une découverte technologique : l’IA venait d’arriver dans le monde de la 3D. Ainsi, les gens de Facebook, mais encore plus de Google, faisaient des recherches et rédigeaient un document de recherche assez important sur quelque chose appelé NeRF », a déclaré à TechCrunch le co-fondateur et PDG d'AniML, Rémi Rousseau. « C'est un nouveau paradigme dans lequel vous essayez de reconstruire la 3D en laissant l'apprentissage automatique faire le travail. »

« Vous ne travaillez plus en 3D basée sur les polygones, mais désormais en 3D basée sur les neurones », a-t-il ajouté.

L'éclaboussement gaussien n'est pas exactement la même chose que NeRF, mais c'est une sorte de technologie de modélisation 3D descendante, comme le dit Rousseau.

Voilà donc pour la partie technique. AniML s'est ensuite concentré sur la recherche d'un cas d'utilisation qui pourrait attirer les utilisateurs dès le premier jour. Les entreprises de commerce électronique étaient le choix évident pour un outil de création de modèles 3D.

Que propose d’autre l’application ? Après avoir capturé un modèle 3D, les utilisateurs de Doly peuvent parcourir une bibliothèque de modèles pour choisir une scène 3D dans laquelle leur objet sera intégré. Il peut s'agir d'une simple rotation 3D avec un arrière-plan uni ou de quelque chose de plus dramatique, en termes de mise en scène marketing, comme la caméra s'approchant lentement de l'objet et passant sous différents angles.

Si un client aime le résultat, il a la possibilité d’acheter la vidéo depuis l’application et de la télécharger pour l’utiliser ailleurs.

Crédits images : AnimL

Rousseau a précédemment fondé deux sociétés de réalité virtuelle, dont Mimesys, une startup rachetée par Magic Leap en 2019. Son co-fondateur Pierre Pontevia a également un parcours intéressant puisqu'il a vendu une entreprise au géant des outils 3D Autodesk ; et un autre à la plateforme de développement de contenu 3D, Unity.

Jusqu'à présent, AniML a levé 2 millions de dollars, Adjacent étant en tête du tour de table. La startup a également participé à AI Grant, l'accélérateur de startups dirigé par Nat Friedman et Daniel Gross. Kima Ventures et plusieurs investisseurs providentiels investissent également, dont Julien Chaumond de Hugging Face ; Nicolas Steegman et François Lagunas qui ont précédemment fondé Stupeflix ; Alban Denoyel de Sketchfab ; Bertrand Schmitt ; Thibaud Elzière ; et Vincent Nallatamby. On nous apprend également que Bpifrance a contribué à une partie de ce tour de table grâce à une subvention.

Il sera intéressant de voir si les grandes marques, les revendeurs d'occasions et autres professionnels du commerce électronique adopteront les vidéos rendues en 3D pour leurs prochaines campagnes et annonces en ligne. Mais il est déjà agréable de voir que vous n'aurez peut-être pas besoin d'un studio d'enregistrement vidéo professionnel pour créer des visuels de produits convaincants grâce à l'intelligence artificielle.

A lire également