Lorsque le service de streaming open source Apache Kafka a été créé en 2011 chez LinkedIn, le monde était différent. La plupart des entreprises étaient encore sur site. La notion de cloud computing commençait tout juste à émerger. WarpStream, une startup en phase de démarrage, voit la valeur du streaming dans un contexte cloud natif et a construit une nouvelle solution à partir de zéro, basée sur le protocole Apache Kafka, mais conçue pour l'ère du cloud.
Aujourd'hui, l'entreprise a annoncé un investissement de 20 millions de dollars.
Le PDG de WarpStream, Richard Artoul, déclare que lui et son co-fondateur, le CTO Ryan Worl, ont découvert dans leurs emplois précédents que le transfert de données vers Kafka était complexe et coûteux et qu'ils voulaient changer cela. « Si vous construisiez aujourd'hui quelque chose qui ressemble à Apache Kafka, comme nous l'avons fait avec WarpStream, vous adopteriez une approche vraiment différente de celle adoptée en 2011, lorsque Kafka a été conçu pour la première fois, et c'est pourquoi nous pensons que c'est le moment idéal pour nous. pour construire quelque chose de nouveau qui puisse réellement réduire de manière significative les coûts et la charge opérationnelle pour les gens », a déclaré Artoul à TechCrunch.
Pour y parvenir, ils tirent parti de l'environnement cloud actuel pour séparer le calcul du stockage à l'aide d'un service de stockage d'objets comme Amazon S3. En adoptant cette approche, ils ont pu éliminer les coûts de mise en réseau inter-zones, qui représentent souvent 80 % ou plus du coût total de l'exécution de charges de travail Kafka à grande échelle, selon l'entreprise.
« Lorsque vous interagissez et stockez des données dans le stockage d'objets dans le cloud, vous évitez tous ces frais de mise en réseau qui pèsent sur ces systèmes Big Data lorsqu'ils sont supprimés et transférés dans le cloud », a-t-il déclaré. « Et bon nombre des problèmes très difficiles liés à la durabilité et à la réplication des données que Kafka a dû résoudre seul en copiant les données trois fois, en les répliquant et en s'assurant qu'elles ne soient jamais perdues, nous sommes en mesure de confier ces problèmes au système. couche de stockage d'objets elle-même, ce qui finit par rendre le système beaucoup plus facile et moins coûteux à exploiter.
Artoul et Worl travaillaient ensemble chez Datadog lorsqu'ils ont contribué au développement d'un système de stockage appelé Husky. Aujourd'hui, si un client Datadog effectue une recherche dans ses journaux d'applications, il utilise en réalité Husky. Datadog était également un grand utilisateur de Kafka. « Sur la base de notre expérience dans la création du type de système de stockage en plus du stockage objet que nous avions construit chez Datadog, nous avons estimé que les systèmes de streaming devraient fonctionner de la même manière. Et donc l’année dernière, nous avons quitté Datadog pour commencer à travailler dessus », a-t-il déclaré.
Ils adoptent deux approches, l'une dans laquelle les clients peuvent essentiellement apporter leur propre cloud et installer WarpStream, et l'autre dans laquelle ils offrent une option sans serveur entièrement gérée. La version BYOC est disponible à partir d'aujourd'hui. La société a également inclus une calculatrice directement sur la page de tarification pour déterminer combien il en coûtera pour exécuter WarpStream.
Les fondateurs ont fait appel à certaines des personnes qui ont contribué à la construction de Husky pour construire le nouveau système, et ils comptent aujourd'hui neuf employés. La bonne nouvelle, c'est qu'ils embauchent et espèrent doubler leurs effectifs d'ici la fin de l'année.
L'investissement de 20 millions de dollars a été dirigé par Greylock et Amplify Partners, certaines sommités de l'industrie des données ayant également contribué aux investissements providentiels.
