OpenAI lance discrètement une nouvelle plate-forme de développement qui permet aux clients d’exécuter les nouveaux modèles d’apprentissage automatique de l’entreprise, comme GPT-3.5, sur une capacité dédiée. Dans les captures d’écran de la documentation publiée sur Twitter par utilisateurs avec un accès anticipé, OpenAI décrit l’offre à venir, appelée Foundry, comme « conçue pour les clients de pointe exécutant des charges de travail plus importantes ».
« [Foundry allows] inférence à grande échelle avec un contrôle total sur la configuration du modèle et le profil de performance », lit-on dans la documentation.
Si l’on en croit les captures d’écran, Foundry – à chaque lancement – fournira une « allocation statique » de capacité de calcul (peut-être sur Azure, la plate-forme de cloud public préférée d’OpenAI) dédiée à un seul client. Les utilisateurs pourront surveiller des instances spécifiques avec les mêmes outils et tableaux de bord qu’OpenAI utilise pour créer et optimiser des modèles. De plus, Foundry fournira un certain niveau de contrôle de version, permettant aux clients de décider de passer ou non à des versions de modèles plus récentes, ainsi qu’un réglage « plus robuste » pour les derniers modèles d’OpenAI.
Foundry offrira également des engagements de niveau de service, par exemple une disponibilité et une assistance technique dans le calendrier. Les locations seront basées sur des unités de calcul dédiées avec des engagements de trois mois ou d’un an ; l’exécution d’une instance de modèle individuelle nécessitera un nombre spécifique d’unités de calcul (voir le tableau ci-dessous).
Les instances ne seront pas bon marché. L’exécution d’une version allégée de GPT-3.5 coûtera 78 000 $ pour un engagement de trois mois ou 264 000 $ pour un engagement d’un an. Pour mettre cela en perspective, l’un des supercalculateurs de dernière génération de Nvidia, la station DGX, coûte 149 000 $ par unité.
Les utilisateurs de Twitter et de Reddit aux yeux d’aigle ont remarqué que l’un des modèles de génération de texte répertoriés dans le tableau des prix des instances avait une fenêtre de contexte de 32 000 max. (La fenêtre de contexte fait référence au texte que le modèle considère avant de générer du texte supplémentaire ; des fenêtres de contexte plus longues permettent au modèle de « se souvenir » de plus de texte essentiellement.) GPT-3.5, le dernier modèle de génération de texte d’OpenAI, a une fenêtre de contexte de 4k max, suggérant que ce nouveau modèle mystérieux pourrait être le GPT-4 tant attendu – ou un tremplin vers celui-ci.
OpenAI subit une pression croissante pour réaliser des bénéfices après un investissement de plusieurs milliards de dollars de Microsoft. La société s’attend à gagner 200 millions de dollars en 2023, une somme dérisoire par rapport aux plus de 1 milliard de dollars qui ont été investis jusqu’à présent dans la startup.
Les coûts de calcul sont en grande partie à blâmer. La formation de modèles d’IA à la pointe de la technologie peut coûter jusqu’à des millions de dollars, et leur fonctionnement n’est généralement pas beaucoup moins cher. Selon le co-fondateur et PDG d’OpenAI, Sam Altman, il en coûte quelques centimes par chat pour exécuter ChatGPT, le chatbot viral d’OpenAI – un montant non négligeable étant donné que ChatGPT comptait plus d’un million d’utilisateurs en décembre dernier.
Dans le cadre de la monétisation, OpenAI a récemment lancé une version « pro » de ChatGPT, ChatGPT Plus, à partir de 20 $ par mois et s’est associée à Microsoft pour développer Bing Chat, un chatbot controversé (c’est un euphémisme) qui a retenu l’attention du grand public. Selon à Semafor et The Information, OpenAI prévoit d’introduire une application mobile ChatGPT à l’avenir et d’apporter son IA technologie linguistique dans les applications Microsoft telles que Word, PowerPoint et Outlook.
Par ailleurs, OpenAI continue de rendre sa technologie disponible via le service Azure OpenAI de Microsoft, une plate-forme de service de modèles axée sur les entreprises, et de maintenir Copilot, un service de génération de code premium développé en partenariat avec GitHub.
