Stability AI, la startup à l’origine de l’outil artistique d’IA générative Stable Diffusion, a aujourd’hui mis en open source une suite de modèles d’IA générant du texte destinés à affronter des systèmes comme le GPT-4 d’OpenAI.
Appelé StableLM et disponible en « alpha » sur GitHub et Hugging Spaces, une plate-forme d’hébergement de modèles et de code d’IA, Stability AI indique que les modèles peuvent générer à la fois du code et du texte et « démontrer à quel point des modèles petits et efficaces peuvent offrir des performances élevées avec une formation appropriée .”
« Les modèles linguistiques constitueront l’épine dorsale de notre économie numérique, et nous voulons que chacun ait son mot à dire dans leur conception », a écrit l’équipe Stability AI dans un article de blog sur le site de l’entreprise.
Les modèles ont été formés sur un ensemble de données appelé The Pile, un mélange d’échantillons de texte récupérés sur Internet à partir de sites Web tels que PubMed, StackExchange et Wikipedia. Mais Stability AI affirme avoir créé un ensemble d’entraînement personnalisé qui multiplie par 3 la taille de la pile standard.
Crédits image : IA de stabilité
Stability AI n’a pas précisé dans le billet de blog si les modèles StableLM souffrent des mêmes limitations que les autres, à savoir une tendance à générer des réponses toxiques à certaines invites et à halluciner (c’est-à-dire à inventer) des faits. Mais étant donné que The Pile contient un langage profane, obscène et autrement assez abrasif, il ne serait pas surprenant que ce soit le cas.
« Comme il est typique pour tout grand modèle de langage pré-entraîné sans ajustement supplémentaire ni apprentissage par renforcement, les réponses qu’un utilisateur obtient peuvent être de qualité variable et peuvent potentiellement inclure un langage et des vues offensants », a écrit Stability AI dans le référentiel de StableLM. « Cela devrait être amélioré avec l’échelle, de meilleures données, les commentaires de la communauté et l’optimisation. »
Pourtant, les modèles StableLM semblent assez capables en termes de ce qu’ils peuvent accomplir – en particulier les versions affinées incluses dans la version alpha. Ajustés à l’aide d’une technique développée par Stanford appelée Alpaca sur des ensembles de données open source, y compris de la startup AI Anthropic, les modèles StableLM affinés se comportent comme ChatGPT, répondant à des instructions (parfois avec humour) comme « écrire une lettre de motivation pour un développeur de logiciels » et « écrire les paroles d’une chanson épique de bataille de rap ».
Certains chercheurs ont critiqué la publication de modèles open source du type de StableLM dans le passé, arguant qu’ils pourraient être utilisés à des fins peu recommandables, telles que la création d’e-mails de phishing ou l’aide à des attaques de logiciels malveillants. Mais Stability AI soutient que l’open-sourcing est en fait la bonne approche, en fait.
« Nous publions nos modèles en open source pour promouvoir la transparence et favoriser la confiance. Les chercheurs peuvent « regarder sous le capot » pour vérifier les performances, travailler sur les techniques d’interprétabilité, identifier les risques potentiels et aider à développer des garanties », a écrit Stability AI dans le billet de blog. « Un accès ouvert et précis à nos modèles permet à l’ensemble de la recherche et de la communauté universitaire de développer des techniques d’interprétabilité et de sécurité au-delà de ce qui est possible avec des modèles fermés. »
Crédits image : IA de stabilité
Bien sûr, Stability AI n’a pas hésité à la controverse historiquement.
L’entreprise est dans le collimateur d’affaires judiciaires alléguant qu’elle a enfreint les droits de millions d’artistes en développant des outils d’art IA à l’aide d’images grattées sur le Web et protégées par le droit d’auteur. Et quelques communautés sur le Web ont exploité les outils de Stability pour générer des deepfakes de célébrités pornographiques et des représentations graphiques de la violence.
De plus, malgré le ton philanthropique de son article de blog, Stability AI est également sous pression pour monétiser ses efforts tentaculaires – qui couvrent toute la gamme de l’art et de l’animation à l’audio biomédical et génératif. Le PDG de Stability AI, Emad Mostaque, a laissé entendre à des projets d’introduction en bourse, mais Semafor a récemment signalé que Stability AI – qui a levé plus de 100 millions de dollars en capital-risque en octobre dernier pour une valorisation rapportée de plus d’un milliard de dollars – « brûle de l’argent et a mis du temps à générer des revenus ».
