Aujourd’hui, une grande partie des discussions autour de l’IA se concentre sur le renforcement des capacités du cloud et des centres de données massifs pour exécuter des modèles. Des entreprises comme Apple et Qualcomm commencent à peine à rendre l’IA sur appareil plus utile. Au milieu de tout cela, l'équipe technique de 14 personnes de Mirai, basée à Londres, travaille à améliorer le fonctionnement des modèles sur les téléphones et les ordinateurs portables.
Mirai, qui bénéficie d'un financement d'amorçage de 10 millions de dollars mené par Uncork Capital, a été fondée l'année dernière par Dima Shvets et Alexey Moiseenkov. Les deux fondateurs ont de l’expérience dans la création d’applications grand public évolutives. Shvets a cofondé l'application d'échange de visage Reface, soutenue par a16z. Shvets est également devenu plus tard un éclaireur pour la société de capital-risque. Moiseenkov était PDG et co-fondateur de Prisma, l'application de filtres viraux d'IA de la dernière décennie.
En tant que développeurs grand public, tous deux réfléchissaient à l’IA et à l’apprentissage automatique sur les appareils avant même que l’IA générative ne devienne populaire, a déclaré Shvets.
« Lorsque nous nous sommes rencontrés à Londres, nous avons commencé à discuter de technologie et nous avons réalisé que, dans le battage médiatique autour de la génération IA et de l'adoption croissante de l'IA, tout le monde parlait du cloud, des serveurs, de l'avenir de l'AGI. Mais la pièce manquante est sur l'appareil. [AI] pour le matériel grand public », a-t-il déclaré à TechCrunch.
Shvets et Moiseenkov voulaient utiliser l'IA pour créer un pipeline qui leur permettrait d'effectuer des tâches complexes sur le téléphone, ce qui les a amenés à lancer Mirai. Lorsqu'ils ont interrogé d'autres personnes qui développaient des applications grand public, ils ont entendu que beaucoup souhaitaient également une meilleure optimisation des coûts et une meilleure marge par utilisation de jeton.
Aujourd'hui, Mirai développe un cadre pour les modèles afin qu'ils puissent mieux fonctionner sur les appareils. La société a construit un moteur d'inférence pour Apple Silicon qui optimise le débit sur l'appareil. Avec son prochain SDK, les développeurs pourront intégrer le runtime dans leurs applications en quelques lignes seulement, indique la société.
« L'une des raisons pour lesquelles nous avons créé l'entreprise était que nous voulions donner aux développeurs, comme celui-ci, huit lignes de code. [integration] expérience… vous accédez essentiellement à notre plate-forme, intégrez la clé et commencez à travailler avec la synthèse, la classification ou quel que soit votre cas d'utilisation », a déclaré Shvets.
La startup a construit ce moteur dans Rust, qui peut augmenter la vitesse de génération d'un modèle jusqu'à 37 %, affirment-elles. La société a déclaré que, tout en ajustant le modèle pour une plate-forme, elle ne modifie pas les poids du modèle pour garantir qu'il n'y a pas de perte de qualité du résultat.
La pile de Mirai se concentre actuellement sur l'amélioration des modalités de texte et de voix sur la plateforme, avec des plans pour soutenir la vision à l'avenir. L'équipe a commencé à travailler avec des fournisseurs de modèles pionniers pour adapter leurs modèles à une utilisation de pointe et est en pourparlers avec différents fabricants de puces. Plus tard, il prévoit également d'apporter son moteur à Android.
En outre, Mirai vise à publier des tests de référence sur les appareils afin que les modélistes puissent tester les performances de ces appareils. Shvets reconnaît cependant que tous les travaux d’IA ne peuvent pas être effectués sur l’appareil. Pour permettre un mode de fonctionnement mixte, l'équipe construit une couche d'orchestration pour envoyer vers le cloud les demandes qui ne peuvent pas être satisfaites sur l'appareil.
Bien que la startup ne travaille pas encore directement avec des applications, son moteur pourrait alimenter des assistants, des transcripteurs, des traducteurs et des applications de chat sur l'appareil, nous dit-on.
Andy McLoughlin, associé directeur chez Uncork Capital, a souligné qu'il avait investi dans une entreprise d'apprentissage automatique de pointe au cours de la dernière décennie. Il a déclaré que la société avait été précoce et a finalement vendu ses activités à Spotify. Dans le monde d’aujourd’hui, la situation est différente, pense-t-il.
« Compte tenu du coût de l'inférence dans le cloud, quelque chose doit changer… Pour l'instant, les sociétés de capital-risque sont heureuses de continuer à financer les sociétés de fusées, en dépensant des sommes démesurées pour l'inférence dans le cloud. Mais cela ne durera pas : à un moment donné, les gens se concentreront sur l'économie sous-jacente de ces entreprises et se rendront compte que quelque chose doit changer », a-t-il déclaré. « Il semble que chaque modéliste voudra exécuter une partie de ses charges de travail d'inférence à la périphérie, et Mirai se sent très bien placé pour répondre à cette demande. »
Le cycle de démarrage de Mirai a également vu la participation de particuliers, notamment David Singleton, PDG de Dreamer, François Chaubard, partenaire de YC, Marcin Żukowski, co-fondateur de Snowflake, Mati Staniszewski, co-fondateur d'ElevenLabs, Gokul Rajaram, ancien chef de produit Google AdSense et membre du conseil d'administration de Coinbase, Scooter Braun, investisseur de Groq, Vijay Krishnan, directeur technique de Turing.com, Ben Parr et Matt Schlicht de Theory Forge Ventures, et ancien responsable technique de Netflix, Aditya Jami.
