Il n’en faut pas beaucoup pour que GenAI débite des faussetés et des contrevérités.
La semaine dernière, les chatbots de Microsoft et de Google ont déclaré le vainqueur du Super Bowl avant même le début du match. Les vrais problèmes commencent cependant lorsque les hallucinations de GenAI deviennent nuisibles – en approuvant la torture, en renforçant les stéréotypes ethniques et raciaux et en écrivant de manière convaincante sur les théories du complot.
Un nombre croissant de fournisseurs, depuis des opérateurs historiques comme Nvidia et Salesforce jusqu’à des startups comme CalypsoAI, proposent des produits qui, selon eux, peuvent atténuer le contenu indésirable et toxique de GenAI. Mais ce sont des boîtes noires ; À moins de tester chacun indépendamment, il est impossible de savoir comment ces produits anti-hallucinations se comparent – et s’ils tiennent réellement leurs promesses.
Shreya Rajpal a vu cela comme un problème majeur et a fondé une société, Guardrails AI, pour tenter de le résoudre.
« La plupart des organisations… sont confrontées au même ensemble de problèmes concernant le déploiement responsable d’applications d’IA et ont du mal à déterminer quelle est la solution la meilleure et la plus efficace », a déclaré Rajpal à TechCrunch dans une interview par courrier électronique. « Ils finissent souvent par réinventer la roue en matière de gestion de l’ensemble des risques qui leur tiennent à cœur. »
Selon Rajpal, les enquêtes suggèrent que la complexité – et par extension le risque – est l’un des principaux obstacles qui empêchent les organisations d’adopter GenAI.
Un récent sondage réalisé par Cnvrg.io, filiale d’Intel, a révélé que la conformité et la confidentialité, la fiabilité, le coût élevé de mise en œuvre et le manque de compétences techniques étaient des préoccupations partagées par environ un quart des entreprises mettant en œuvre des applications GenAI. Dans une enquête distincte réalisée par Riskonnect, un fournisseur de logiciels de gestion des risques, plus de la moitié des dirigeants ont déclaré s’inquiéter du fait que les employés prennent des décisions basées sur des informations inexactes provenant des outils GenAI.
Rajpal, qui travaillait auparavant dans la startup de conduite autonome Drive.ai et, après l’acquisition de Drive.ai par Apple, dans le groupe de projets spéciaux d’Apple, a cofondé Guardrails avec Diego Oppenheimer, Safeer Mohiuddin et Zayd Simjee. Oppenheimer dirigeait auparavant Algorithmia, une plateforme d’opérations d’apprentissage automatique, tandis que Mohiuddin et Simjee occupaient des postes de direction en matière de technologie et d’ingénierie chez AWS.
À certains égards, ce que propose Guardrails n’est pas si différent de ce qui existe déjà sur le marché. La plate-forme de la startup agit comme un wrapper autour des modèles GenAI, en particulier des modèles de génération de texte open source et propriétaires (par exemple GPT-4 d’OpenAI), pour rendre ces modèles apparemment plus dignes de confiance, fiables et sécurisés.
Mais là où Guardrails diffère, c’est son modèle commercial open source – la base de code de la plate-forme est disponible sur GitHub, gratuite – et son approche participative.
Grâce à un marché appelé Guardrails Hub, Guardrails permet aux développeurs de soumettre des composants modulaires appelés « validateurs » qui sondent les modèles GenAI pour certaines mesures de comportement, de conformité et de performances. Les validateurs peuvent être déployés, réutilisés et réutilisés par d’autres développeurs et clients Guardrails, servant de base aux solutions personnalisées de modération de modèles GenAI.
« Avec le Hub, notre objectif est de créer un forum ouvert pour partager des connaissances et trouver le moyen le plus efficace de [further] Adoption de l’IA – mais aussi pour créer un ensemble de garde-fous réutilisables que toute organisation peut adopter », a déclaré Rajpal.
Les validateurs du Guardrails Hub vont des simples vérifications basées sur des règles aux algorithmes pour détecter et atténuer les problèmes dans les modèles. Il y en a environ 50 à l’heure actuelle, allant du détecteur d’hallucinations et de violations des politiques aux filtres pour les informations exclusives et les codes non sécurisés.
« La plupart des entreprises effectuent des contrôles généraux et uniformes pour détecter les grossièretés, les informations personnellement identifiables, etc. », a déclaré Rajpal. « Cependant, il n’existe pas de définition unique et universelle de ce qui constitue une utilisation acceptable pour une organisation et une équipe spécifiques. Il existe des risques spécifiques à l’organisation qui doivent être suivis : par exemple, les politiques de communication sont différentes d’une organisation à l’autre. Avec le Hub, nous permettons aux utilisateurs d’utiliser les solutions que nous proposons prêtes à l’emploi, ou de les utiliser pour obtenir une solution de départ solide qu’ils peuvent personnaliser davantage en fonction de leurs besoins particuliers.
Un hub pour les modèles de garde-corps est une idée intrigante. Mais le sceptique en moi se demande si les développeurs prendront la peine de contribuer à une plate-forme – et à une plate-forme naissante – sans la promesse d’une certaine forme de compensation.
Rajpal est d’avis optimiste qu’ils le feront, ne serait-ce que pour la reconnaissance – et en aidant de manière altruiste l’industrie à construire une GenAI « plus sûre ».
« Le Hub permet aux développeurs de voir les types de risques auxquels d’autres entreprises sont confrontées et les garde-fous qu’elles mettent en place pour résoudre et atténuer ces risques », a-t-elle ajouté. « Les validateurs sont une implémentation open source de ces garde-fous que les organisations peuvent appliquer à leurs cas d’utilisation. »
Guardrails AI, qui ne facture encore aucun service ou logiciel, a récemment levé 7,5 millions de dollars lors d’un tour de table dirigé par Zetta Venture Partners avec la participation de Factory, Pear VC, Bloomberg Beta, Github Fund et d’angles comprenant le célèbre expert en IA Ian Goodfellow. Rajpal affirme que les bénéfices seront consacrés à l’expansion de l’équipe de six personnes de Guardrails et à d’autres projets open source.
« Nous discutons avec de nombreuses personnes – entreprises, petites startups et développeurs individuels – qui ne parviennent pas à lancer des applications GenAI en raison du manque d’assurance et d’atténuation des risques nécessaires », a-t-elle poursuivi. « Il s’agit d’un problème nouveau qui n’a pas existé à cette échelle, en raison de l’avènement de ChatGPT et des modèles de fondation partout dans le monde. Nous voulons être ceux qui résoudront ce problème.
