Kolena, une startup créant des outils pour tester, comparer et valider les performances des modèles d’IA, a annoncé aujourd’hui avoir levé 15 millions de dollars lors d’un cycle de financement mené par Lobby Capital avec la participation de SignalFire et Bloomberg Beta.
Le nouvel argent porte le total levé par Kolena à 21 millions de dollars et sera consacré au développement de l’équipe de recherche de l’entreprise, aux partenariats avec les organismes de réglementation et à l’expansion des efforts de vente et de marketing de Kolena, a déclaré le co-fondateur et PDG Mohamed Elgendy à TechCrunch dans une interview par courrier électronique.
« Les cas d’utilisation de l’IA sont énormes, mais l’IA manque de confiance de la part des constructeurs et du public », a déclaré Elgendy. « Cette technologie doit être déployée de manière à rendre les expériences numériques meilleures, et non pires. Le génie ne retourne pas dans la bouteille, mais en tant qu’industrie, nous pouvons nous assurer que nous exauçons les bons vœux.
Elgendy a lancé Kolena en 2021 avec Andrew Shi et Gordon Hart, avec qui il a travaillé pendant environ six ans dans les divisions IA d’entreprises telles qu’Amazon, Palantir, Rakuten et Synapse. Grâce à Kolena, le trio a cherché à créer un « cadre de qualité des modèles » permettant de réaliser des tests unitaires et des tests de bout en bout pour les modèles dans un package personnalisable et convivial pour l’entreprise.
« Avant tout, nous voulions fournir un nouveau cadre pour la qualité des modèles, et pas seulement un outil simplifiant les approches actuelles », a déclaré Elgendy. « Kolena permet d’exécuter en continu des tests au niveau scénario ou unitaires. Il permet également de tester de bout en bout l’ensemble du produit d’IA et d’apprentissage automatique, et pas seulement ses sous-composants.
À cette fin, Kolena peut fournir des informations permettant d’identifier les lacunes dans la couverture des données de test des modèles d’IA, explique Elgendy. Et la plate-forme intègre des fonctionnalités de gestion des risques qui aident à suivre les risques associés au déploiement d’un système d’IA donné (ou de systèmes, selon le cas). À l’aide de l’interface utilisateur de Kolena, les utilisateurs peuvent créer des cas de test pour évaluer les performances d’un modèle et voir les raisons potentielles des sous-performances d’un modèle tout en comparant ses performances à celles de divers autres modèles.
« Avec Kolena, les équipes peuvent gérer et exécuter des tests pour des scénarios spécifiques auxquels le produit d’IA devra faire face, plutôt que d’appliquer une métrique globale » globale « comme un score de précision, qui peut obscurcir les détails des performances d’un modèle », a déclaré Elgendy. . « Par exemple, un modèle avec une précision de 95 % dans la détection des voitures n’est pas nécessairement meilleur qu’un modèle avec une précision de 89 %. Chacun a ses propres forces et faiblesses – par exemple détecter des voitures dans des conditions météorologiques ou des niveaux d’occlusion variables, repérer l’orientation d’une voiture, etc.
Si Kolena fonctionne comme annoncé, il pourrait en effet être utile aux data scientists qui passent beaucoup de temps à créer des modèles pour alimenter les applications d’IA.
Crédits images : Koléna
Selon une enquête, les ingénieurs en IA déclarent consacrer seulement 20 % de leur temps à l’analyse et au développement de modèles, le reste étant consacré à l’approvisionnement et au nettoyage des données utilisées pour les former. Un autre rapport révèle qu’en raison des difficultés liées au développement de modèles précis et performants, seulement 54 % environ des modèles passent finalement du pilote à la production.
Mais d’autres acteurs créent des outils pour tester, surveiller et valider les modèles. Au-delà des acteurs historiques comme Amazon, Google et Microsoft, de nombreuses startups testent de nouvelles approches pour mesurer la précision des modèles avant et après leur mise en production.
Prolific a récemment levé 32 millions de dollars pour sa plate-forme permettant de former et de tester des modèles d’IA à l’aide d’un réseau de testeurs participatifs. Robust Intelligence et Deepchecks, quant à eux, créent leurs propres ensembles d’outils pour les entreprises afin d’empêcher l’échec des modèles d’IA et de les valider en permanence. Et Bobidi récompense les développeurs qui testent les modèles d’IA des entreprises.
Mais Elgendy affirme que la plate-forme de Kolena est l’une des rares à permettre aux clients de prendre un « contrôle total » sur les types de données, la logique d’évaluation et les autres composants qui composent un test de modèle d’IA. Il souligne également l’approche de Kolena en matière de confidentialité, qui élimine la nécessité pour les clients de télécharger leurs données ou modèles sur la plateforme ; Kolena stocke uniquement les résultats des tests sur modèle pour de futures analyses comparatives, qui peuvent être supprimés sur demande.
« Minimiser les risques liés à un système d’IA et d’apprentissage automatique nécessite des tests rigoureux avant le déploiement, mais les entreprises ne disposent pas d’outils ou de processus solides pour la validation des modèles », a déclaré Elgendy. Les tests de modèles ad hoc sont la norme aujourd’hui et, malheureusement, ils échouent également. preuve de concepts d’apprentissage automatique. Kolena se concentre sur une évaluation complète et approfondie des modèles. Nous donnons aux responsables du machine learning, aux chefs de produit et aux dirigeants une visibilité inégalée sur la couverture des tests d’un modèle et les exigences fonctionnelles spécifiques au produit, leur permettant ainsi d’influencer efficacement la qualité du produit dès le départ.
Kolena, basée à San Francisco, qui compte 28 employés à temps plein, ne partagerait pas le nombre de clients avec lesquels elle travaille actuellement. Mais Elgendy a déclaré que l’entreprise adoptait pour l’instant une « approche sélective » en matière de partenariat avec des entreprises « critiques » et prévoyait de déployer des offres groupées d’équipe pour les organisations de taille moyenne et les startups d’IA en démarrage au deuxième trimestre 2024.
