Points clés à retenir
- Une boutique en ligne en pleine croissance peut bénéficier d'une base de données analytique lorsque les rapports basés sur des feuilles de calcul deviennent trop lents, fragmentés ou difficiles à maintenir.
- Le stockage en colonnes et le traitement parallèle permettent aux bases de données analytiques modernes telles que ClickHouse de traiter efficacement de grands ensembles de données sur une infrastructure relativement modeste.
- Définir des règles cohérentes pour les commandes, les identifiants de produits, les horodatages et l'actualisation des données est essentiel avant de créer un tableau de bord analytique.
- La tarification des bases de données basées sur les nœuds peut fournir des coûts plus prévisibles que la tarification des analyses basées sur les événements à mesure que le volume de données d'une entreprise augmente.
- Les petites entreprises disposant de données limitées et de besoins simples en matière de reporting peuvent être mieux servies par des feuilles de calcul jusqu'à ce que leurs questions analytiques deviennent plus fréquentes et plus complexes.
Pour une boutique en ligne en pleine croissance, le signe d’avertissement est une feuille de calcul qui est discrètement devenue un projet. Les commandes arrivent d’une boutique en ligne et de deux ou trois places de marché. Les données sont dispersées : les dépenses marketing se trouvent dans une exportation, les niveaux de stocks dans une autre et la liste des clients dans une troisième.
Une fois que ces fichiers comportent des dizaines de milliers de lignes, une question aussi ordinaire que la façon dont la promotion du week-end effectuée par région signifie une demi-journée de correspondance de colonnes, de réparation des formats de date et d'actualisation des formules qui s'interrompent dès l'ajout d'une nouvelle chaîne.
Une demi-journée peut être survécue une fois. Les questions qui valent la peine d'être posées sont des questions hebdomadaires, et la demi-journée est la raison pour laquelle la plupart d'entre elles ne sont pas posées.
L'étape suivante habituelle consiste à louer un outil d'analyse qui facture par événement, et cette liste de prix comporte une falaise intégrée. L'alternative est de posséder la base de données et de payer pour les machines plutôt que pour les événements. Lequel est le moins cher dépend presque entièrement du volume.
La base de données est devenue bon marché avant le tableau de bord
Il y a dix ans, répondre à cette question sur plusieurs systèmes opérationnels nécessitait une infrastructure spécialisée, des licences et au moins une personne employée pour s'en occuper. La base de données analytique est la partie qui a changé.
Les bases de données analytiques de barres visent désormais à obtenir un résultat en moins d'une seconde, et la conception qui les amène à y parvenir n'est pas glamour :
Ces deux idées expliquent pourquoi l’analyse de quelques années d’historique de commandes est désormais l’œuvre d’une modeste machine plutôt que d’une plate-forme, et elles constituent l’ensemble de l’histoire technique dont un propriétaire d’entreprise a besoin.
Assembler la pile est principalement une décision
Les pièces sont ordinaires. Les ventes, les événements du site Web, les mouvements de stock et les résultats de la campagne atterrissent dans une base de données ClickHouse gérée, chargée par un connecteur tel qu'Airbyte ou lue en direct à partir d'un sujet Kafka via le moteur de table Kafka de ClickHouse. Un outil de tableau de bord se trouve au-dessus et lit à partir de celui-ci.
Metabase documente une connexion directe à ClickHouse et sa page de tarification répertorie l'édition open source comme gratuite avec un nombre illimité d'utilisateurs. Looker Studio, l'outil de création de rapports gratuit de Google, est l'autre choix courant. L’un ou l’autre dessinera les tableaux, et les deux seront dirigés par la personne qui pose les questions.
La décision est la partie que personne ne met sur le schéma d'architecture : ce qui compte comme ordre. Une commande remboursée, une commande partiellement expédiée et une commande Marketplace qui arrive deux jours après la vente doivent toutes signifier la même chose dans chaque rapport.
En pratique, cela signifie se mettre d'accord sur trois choses avant que quiconque ne crée un graphique : une clé de produit, une convention d'horodatage et un calendrier d'actualisation. Un après-midi sur ces trois choses vaut plus qu'une semaine de conception de rapports. Les ignorer est la raison pour laquelle tant de tableaux de bord finissent discrètement ignorés, avec trois vignettes en désaccord sur les revenus du mois dernier et personne ne veut dire laquelle est la bonne.
Quels sont les coûts de possession, lisez la liste de prix
Une boutique qui souhaite la version gérée de cette base de données peut louer ovhcloud clickhouse à partir de 212 649 $ par mois et par nœud (hors TVA). Ce prix d'entrée est le plan Discovery : un seul nœud B3-8 avec deux vCores, 8 Go de RAM et 100 Go de stockage inclus, et aucun SLA. Le plan Production, avec trois nœuds et un SLA de 99,95 %, commence à 194,764 $ par nœud, ou 584,292 $ par mois pour le cluster.
Les correctifs, les sauvegardes et la mise à l’échelle appartiennent au fournisseur à ce prix.
Le reste de la liste de prix mérite d’être lu à côté du titre. Sur le même forfait Discovery, un nœud de 128 Go (B3-128) coûte 2 478,277 $ par mois et le plus grand, un B3-256 de 256 Go, 4 546,002 $, et le stockage au-delà des 100 Gio inclus est facturé 0,0003 $ par Go et par heure, ce qui sur un mois de 730 heures équivaut à environ 22 cents par Go.
Une entreprise qui indique « jusqu'à 128 Go de RAM » et « jusqu'à 40 To de stockage » et qui associe ces chiffres au prix d'entrée budgétisera environ un cinquantième de ce que coûte cette configuration.
Le nombre annoncé est le plus petit nœud et le plafond de spécification est le plus grand, et l'exercice utile avant de signer quoi que ce soit est de trouver la ligne intermédiaire qui correspond aux données réellement chargées.
Tarif horaire, présenté par mois
Multipliez 0,2913 $ par 730 et la réponse est exactement 212,649 $. Les chiffres mensuels sur la page sont des taux horaires indiqués par mois, ce qui est important pour ce que les petites entreprises tentent généralement d'éviter.
La crainte derrière la plupart des budgets d'analyse est la facture qui arrive après que quelqu'un ait exploré les données avec trop d'enthousiasme : une facturation qui évolue en fonction du nombre de requêtes exécutées, du nombre de requêtes analysées et de la personne curieuse cette semaine-là.
Les outils d’analyse tarifés pour les événements concrétisent cette crainte, car le compteur est l’événement lui-même. La documentation tarifaire de Mixpanel donne un débit de données supplémentaire de 0,00028 $ par événement sur un plan d'événements mensuel de 1 million, et son plan Entreprise basé sur MTU commence à 20 000 $ par an. PostHog publie l'ensemble de son échelle : le premier million d'événements gratuits, puis 0,0000500 $ par événement jusqu'à 2 millions, descendant par paliers jusqu'à 0,0000090 $ au-delà de 250 millions.
La falaise n’est pas le taux, qui baisse avec le volume. La facture évolue en fonction du trafic que l'entreprise tente de développer, jusqu'à ce que la liste de prix publiée se termine et qu'une conversation commerciale commence.
Une base de données gérée au prix d'un nœud se déplace avec autre chose. La facture est fonction de deux décisions, la taille du nœud et le stockage, toutes deux publiées sur une liste de prix et toutes deux prises à l'avance, et un analyste posant une question supplémentaire un jeudi après-midi la laisse là où elle était.
Exécutez les deux modèles aux mêmes volumes et le crossover apparaît. Les colonnes louées utilisent les tarifs publiés ci-dessus, avant toute remise. La colonne détenue est un cluster de production de trois nœuds B3-8, en supposant environ 50 octets par événement après compression, donc une année à 100 millions d'événements par mois (60 Go) tient dans les 100 Gio inclus.
| Événements mensuels | PostHog (niveaux publiés) | Mixpanel (liste des taux de dépassement) | Géré ClickHouse (Production, 3 x B3-8) |
| 1M | 0 $ | 0 $ | 584,292 $ |
| 10M | environ 324 $ | environ 2 520 $ | 584,292 $ |
| 100M | environ 2 618 $ | Forfait Entreprise, à partir de 20 000 $ par an | 584,292 $ |
Lors d’un million d’événements par mois, posséder est de loin le choix le plus coûteux. Au-delà de 10 millions, la facture louée augmente avec l'entreprise tandis que celle possédée reste stable jusqu'à ce que les nœuds soient à court de CPU ou de disque. Ce que la colonne Propriété laisse de côté, ce sont les personnes : quelqu'un doit créer l'ingestion, modéliser les tables et répondre pour les tableaux de bord.
La limite honnête ici appartient à la catégorie, et elle s'applique à chaque fournisseur qui la compose : le stockage est la variable qui croît d'elle-même. Les données sur les événements s'accumulent, une politique de conservation n'est l'affaire de personne dans une entreprise de dix personnes, et la seule ligne mesurée sur la facture est celle que personne ne surveille. Une règle de conservation rédigée dès le premier mois coûte une heure. Rédigé en deuxième année, il coûte une migration.
Dans ClickHouse, cette règle est une clause de la définition de la table. Les tables construites sur le moteur MergeTree sont généralement partitionnées par mois, et un TTL au niveau de la table supprime les lignes ou les déplace vers un stockage moins cher, une fois qu'elles ont dépassé un âge défini, par exemple douze mois après la date de l'événement. La compression en colonnes maintient la croissance du stockage plus lentement que le nombre brut d'événements, mais elle ne l'arrête pas.
Trente jours avec un développeur
Marketfuel, une plateforme de commerce électronique de Floride utilisée par les agences de marketing promotionnel pour lancer des magasins de marque, a atteint la preuve de concept de ses rapports intégrés à l'application en moins de 30 jours avec un seul développeur. Elle utilise Metabase pour donner à ses propres clients un aperçu des niveaux de stocks, des taux de rotation des stocks et des seuils de réapprovisionnement, ainsi que des mesures de commande couvrant les délais de traitement, les livraisons à temps et l'état des expéditions.
Marketfuel est un éditeur de logiciels intégrant des reportings pour ses clients, ce qui est une activité différente d'un magasin analysant ses propres ventes. Ce qui transfert, c'est sa forme : les questions sont des questions d'inventaire, et une personne y a répondu en un mois.
Pour une boutique, la liste équivalente est courte et familière :
- Taux de réachat par cohorte
- Nouveau contre les revenus des clients récurrents
- Stock disponible mesuré par rapport aux ventes
- Délai entre la première et la deuxième commande d'un client
Il s'agit de quatre requêtes sur les deux mêmes tables de commandes et de produits. Chacune représente actuellement une semaine de travail sur une feuille de calcul, et chacune devient une question enregistrée qui se répète chaque matin.
Certaines entreprises devraient conserver la feuille de calcul
Le seuil n'est pas un nombre de lignes. Il s’agit de savoir si les questions changent. Ce qui fait gagner une base de données, c'est une combinaison : plusieurs canaux de vente, un volume de transactions suffisant pour qu'un modèle soit visible en une semaine, et quelqu'un qui souhaite réellement une réduction différente le mardi de celle qu'il souhaitait le lundi.
Une seule vitrine traitant quelques centaines de commandes par mois, avec une seule exportation et un rapport mensuel qui prend dix minutes à produire, est déjà bien servie. L'ajout d'une pile d'analyse achète un travail de maintenance et une nouvelle opportunité pour deux chiffres d'être en désaccord.
La barrière des coûts s’est déplacée, la question mérite donc d’être posée à nouveau. Pour les magasins situés de l’autre côté de ce seuil, la demi-journée n’a pas non plus disparu. Il s'est déplacé vers le front, a passé une fois à décider ce qui compte comme un ordre, après quoi la question du lundi matin répond d'elle-même.
FAQ
Quand une boutique en ligne devrait-elle envisager d’aller au-delà des feuilles de calcul ?
Une boutique en ligne peut bénéficier d’une base de données lorsque les données provenant de plusieurs canaux de vente deviennent difficiles à combiner et que les questions récurrentes nécessitent des heures de travail manuel sur une feuille de calcul. Les magasins avec relativement peu de commandes et des rapports mensuels simples risquent de ne pas tirer suffisamment de valeur de l'ajout d'une pile d'analyse dédiée.
Qu'est-ce qui rend ClickHouse adapté à l'analyse du commerce électronique ?
ClickHouse utilise le stockage en colonnes et le traitement parallèle pour analyser efficacement de grands ensembles de données. Ces capacités peuvent permettre aux entreprises d'interroger des années de données de commande et d'exploitation sans nécessairement nécessiter une configuration d'infrastructure importante ou complexe.
Pourquoi les entreprises doivent-elles définir ce qui constitue une commande ?
Différents systèmes peuvent traiter différemment les remboursements, les expéditions partielles, les transactions de marché retardées et d'autres situations, ce qui peut entraîner des résultats contradictoires dans les rapports. L'établissement de définitions, de clés de produit, d'horodatages et de calendriers d'actualisation cohérents permet de garantir que les tableaux de bord fonctionnent à partir des mêmes règles sous-jacentes.
Une base de données gérée est-elle moins chère qu'une plateforme d'analyse basée sur les événements ?
La réponse dépend fortement du volume de données, des plans tarifaires, des exigences en matière d'infrastructure et des personnes nécessaires pour faire fonctionner le système. La tarification basée sur les événements peut augmenter à mesure qu'une entreprise génère plus d'activité, tandis qu'une base de données tarifée par nœud peut offrir des coûts d'infrastructure plus prévisibles jusqu'à ce qu'une capacité supplémentaire soit requise.
Que devrait prendre en compte une entreprise en dehors de la tarification des bases de données ?
La propriété ou la gestion d'une base de données implique également l'ingestion de données, la modélisation, la maintenance des tableaux de bord, la conservation du stockage et l'expertise technique. Une entreprise devrait prendre en compte ces personnes et ces coûts opérationnels parallèlement aux prix des infrastructures plutôt que de comparer uniquement les tarifs des bases de données.
