Prompt Security veut rendre GenAI sûr pour l'entreprise

Les entreprises évoluent plus rapidement que jamais pour utiliser l’IA générative et la proposer à la fois à leurs employés et à leurs utilisateurs. Cependant, rapidité et sécurité ne vont pas toujours de pair. Ce n’est donc que maintenant que de nombreuses entreprises prennent conscience des problèmes de sécurité potentiels liés à l’utilisation de l’IA générative. Prompt Security, basé en Israël, veut aider les organisations à garantir que leurs employés ne divulguent pas de données aux outils GenAI – y compris ceux qui ne sont pas officiellement approuvés par les équipes informatiques de l’entreprise (pensez à « l’IA fantôme ») – tout en les aidant également à sécuriser leurs propres interactions avec les clients. Application compatible GenAI.

La société sort de la discrétion aujourd’hui et annonce un tour de table de 5 millions de dollars dirigé par Hetz Ventures, avec la participation de Four Rivers et d’un certain nombre d’investisseurs providentiels dans ce domaine, notamment des RSSI d’Airbnb, d’Elastic et de Dolby.

Prompt Security a été fondée par Itamar Golan (PDG) et Lior Drihem (CTO), qui ont tous deux travaillé chez Check Point et Orca Security. « J’ai toujours su que je voulais créer ma propre entreprise. Mes deux plus grandes passions étaient l’IA et la sécurité, mais il y a cinq ans, je savais que le marché n’était pas assez mature. Alors j’ai attendu le bon moment », m’a dit Golan.

Puis, il y a environ 18 mois, son équipe chez Orca a commencé à réfléchir à la mise en œuvre d’une fonctionnalité de remédiation basée sur l’IA, qu’il a fini par développer en collaboration avec Drihem. C’est ce qui a inspiré l’équipe à créer cette nouvelle entreprise. « Nous avons vu les différentes portes dérobées que nous laissions au cours du développement et nous nous sommes regardés et nous avons dit : il existe une nouvelle surface d’attaque en raison de ces nouvelles architectures et de ces nouveaux cadres – des choses comme l’injection rapide sont soudainement impossibles – et nous avons alors compris. qu’un nouveau marché est sur le point de prospérer.

Golan fait également partie de l’initiative OWASP Top 10 pour améliorer la sécurité des applications LLM.

Une partie du problème auquel sont confrontés les RSSI aujourd’hui réside dans le fait qu’ils ne comprennent pas bien à quels outils leurs utilisateurs accèdent à partir de leurs réseaux, a expliqué Golan. Cela laisse également la porte ouverte aux employés, par exemple, pour partager des informations personnelles identifiables avec ces services. Ce type de fuite de données est problématique en soi, mais il pourrait également exposer l’entreprise à des problèmes réglementaires. Du point de vue de l’utilisateur, le produit de Prompt Security permettant de garantir que cela ne se produise pas est une extension de navigateur et un plugin IDE. Les outils de l’entreprise détectent automatiquement les modèles liés à l’utilisation de GenAI, puis appliquent une politique d’application par-dessus. Tout cela, affirme la société, n’introduit qu’une latence minimale dans l’expérience utilisateur.

Pendant ce temps, du côté des applications, les applications de chat GenAI ouvrent une nouvelle surface d’attaque via des injections rapides et des jailbreaks, qui peuvent même aller jusqu’à permettre à un attaquant d’exécuter du code non autorisé au sein du réseau d’une entreprise.

Golan a souligné que la société essayait de construire ici une plate-forme complète en couvrant divers aspects de l’utilisation de GenAI par une organisation. «Nous essayons de créer une solution unique pour la sécurité GenAI. Nous couvrons à la fois l’utilisation des employés – le côté InfoSec de l’entreprise – et le côté sécurité des applications.

Il y a seulement quelques mois, m’a dit Golan, de nombreux RSSI n’étaient toujours pas conscients ou indifférents aux problèmes de sécurité de GenAI, mais cela change rapidement maintenant qu’ils constatent une augmentation de l’utilisation de l’IA fantôme.

Au fil du temps, la société prévoit de lancer davantage de services qui aideront ses clients à améliorer leur niveau de sécurité GenAI. Actuellement, Prompt Security se concentre principalement sur la sécurisation des applications en production, mais l’équipe prévoit de se concentrer de plus en plus sur l’aide aux développeurs pour sécuriser leurs applications pendant les phases de développement et de test. « Je pense que nous devons être très concentrés en ce moment sur les besoins actuels autour de la Gen AI : visibilité et confidentialité des données en temps réel », a déclaré Golan lorsque je l’ai interrogé sur les projets d’expansion de l’entreprise. « Plus tard, nous nous développerons avec plus d’argent et plus de retours de clients – et je dirais que ce marché est tellement fou que ce que je vous dis maintenant ne serait probablement pas pertinent l’année prochaine. »

A lire également