L'équipe de Moonvalley, une startup de génération vidéo AI basée à Los Angeles, ne pense pas que vous pouvez vous promener à faire un film. C'est pourquoi la société a ouvert mardi son modèle «3D-Aware» au public, promettant une approche «hybride» qui donne aux cinéastes plus de contrôle que les autres modèles de texte standard à vidéo.
Moonvalley a lancé pour la première fois son modèle, nommé Marey, en bêta en mars et l'a maintenant publié en tant qu'abonnement mensuel basé sur les crédits. Les utilisateurs peuvent payer 14,99 $ pour 100 crédits, 34,99 $ pour 250 crédits et 149,99 $ pour 1 000 crédits. Les utilisateurs peuvent générer des clips jusqu'à cinq secondes, ce qui est conforme aux normes de l'industrie pour les modèles de génération vidéo accessibles au public.
La startup, cofondée par d'anciens chercheurs DeepMind qui a travaillé sur le modèle de génération vidéo de Google, affirme que Marey est l'un des rares modèles entièrement formés sur des données ouvertement agréées. Cela correspond parfaitement aux clients cibles de Moonvalley: les cinéastes qui souhaitent éviter de futurs poursuites sur un contenu généré par l'IA qui pourraient ressembler au matériel protégé par le droit d'auteur.
Pour le cinéaste indépendant Ángel Manuel Soto, le plus grand argument de vente de Marey est qu'il démocratise l'accès aux meilleurs outils de narration de l'IA, en particulier pour les personnes qui se sont depuis longtemps exclues du cinéma traditionnel. Ayant grandi à Porto Rico, Soto a dit que vous deviez d'abord réunir des centaines ou des milliers de dollars juste pour louer des caméras pour faire un film.
« De retour à la maison, nous devions demander la permission de raconter nos histoires », a-t-il déclaré. « L'IA vous donne la possibilité de le faire selon vos propres conditions sans avoir à dire non à vos rêves parce que quelqu'un a refusé de le financer, car il ne pensait pas qu'une histoire de votre pays pourrait faire un profit. »
Maintenant, dit Soto, Marey l'a aidé à réduire les coûts de production de 20% à 40% et à travailler plus librement.
Soto a précédemment travaillé avec le studio de Moonvalley, Asteria, sur les docuuseries HBO «Menudo: Forever Young». Asteria, également connue sous le nom de XTR, a été acquise cette année par Moonvalley, selon Hemant Taneja, PDG de General Catalyst. (GC était un actionnaire majeur d'Astéria et a investi plus d'argent dans l'entité combinée.)
Marey Approche «cinéaste hybride»
Le PDG et co-fondateur de Moonvalley, Naeem Talukdar, a démontré pour TechCrunch comment Marey pouvait être utilisé dans la pré- et la post-production, que ce soit pour tester des scènes avant de tourner ou d'ajuster les angles de caméra après coup, et comment il peut contrôler les objets, les personnages, les mouvements et la composition des scènes.
Talukdar a déclaré à TechCrunch que Marey a une compréhension du monde physique qui pourrait se traduire par une narration plus interactive à mesure que la technologie se développe. À l'heure actuelle, ce genre de compréhension – que Marey partage avec d'autres modèles comme Veo 3 de Google et SORA toujours privé d'Openai – permet à Marey de faire des choses comme imiter le mouvement tout en respectant les lois de la physique.
Par exemple, une vidéo d'un bison sprint à travers les prairies peut être traduite par une Cadillac dans le même environnement, avec l'herbe et la saleté répondant au mouvement de la voiture. Ou, Marey peut superposer un personnage qui ressemble à George Washington sur un acteur, traduisant tout, des mouvements faciaux de l'acteur aux muscles de ses avant-bras alors qu'il gesticule.
Peut-être plus unique est le support de Marey pour le mouvement gratuit de la caméra. Talukdar a montré comment cela vous permet de déplacer la trajectoire de la caméra avec votre souris: il a intégré une casserole et faire glisser le zoom vers une vidéo d'une femme dans un train dans les Rocheuses en traînant simplement son curseur. Il a également noté que Marey pourrait réaliser un mouvement de caméra près de 360 degrés et obéir aux instructions pour créer des images comme si elle avait été tournée à partir d'une caméra portative ou de Dolly.
Marey peut également changer l'arrière-plan des vidéos, permettant aux cinéastes de commencer par des images source pour construire la scène qu'ils veulent. Talukdar a joué une vidéo d'un homme conduisant une moto sur une route de banlieue, qui a ensuite évolué vers le même homme, sans casque, conduisant un vélo légèrement différent sur une autoroute country.
Le plan de Moonvalley au cours des prochains mois est de déployer de nouveaux contrôles comme l'éclairage, les trajectoires d'objets profonds et les bibliothèques de personnages, a déclaré Talukdar.
La version publique de Marey le met en rivalité directe avec un champ croissant de générateurs de vidéos IA – des modèles comme Runway Gen-3, Luma Dream Machine, Pika et Haiper.
Rapports supplémentaires par Marina Temkin.
