Back to BlogComment un responsable CRM a lu les résultats de test A/B sur 4 800 joueurs en 18 minutes
Analytics9 min read

Comment un responsable CRM a lu les résultats de test A/B sur 4 800 joueurs en 18 minutes

AzimuthBet est un opérateur multi-marché basé à Chypre basé à Limassol, servant environ 28 000 joueurs actifs mensuels dans les marchés européens et émergents. La plateforme génère environ 9 millions de dollars par semaine de revenu brut de jeu, exécutant une pile CRM sophistiquée avec 15 ou plus campagnes de cycle de vie automatisé actives à tout moment — séquences d'accueil, flux de reconquête, déclencheurs d'escalade VIP, offres de match de dépôt et série de tours gratuits tous en train de tourner en parallèle autour de l'horloge.

Produits utilisés : A/B Test Analytics, Campaign ROI, Statistical Analysis

18 minutes | temps complet d'analyse des tests

4 800 joueurs testés | division statistiquement alimentée sur deux types de bonus

23% | avantage revenu par joueur pour le match de dépôt sur les tours gratuits dans le segment de haute valeur


Défi

Il y a quatre semaines, Nadia Petrov a divisé le pool de rétention mid-tier d'AzimuthBet en deux et a exécuté l'expérience la plus structurée en années. Un groupe a reçu une offre de match de dépôt — 50% jusqu'à 150 € — le quatrième jour après son dernier dépôt. L'autre a reçu un paquet de tours gratuits équivalent en coût. La question n'était pas quel type de bonus les joueurs préféraient. La question était lequel rendrait réellement AzimuthBet plus d'argent tout en gardant les joueurs engagés assez longtemps pour que ça compte.

La pile CRM d'AzimuthBet est puissante, mais lire les résultats des tests sur une plateforme en direct avec 15 campagnes fonctionnant simultanément est véritablement difficile. Nadia avait la sortie brute — taux de rachat, journaux de revenus, horodatages d'activité — mais transformer ceux en décision exigeait de réconcilier les chiffres de trois systèmes différents, d'ajuster manuellement les sessions où les deux groupes avaient d'autres campagnes incendier simultanément, et puis de calculer la signification statistique à la main dans une feuille de calcul qu'elle avait construite elle-même. Sur une bonne semaine, ce processus lui prenait la majeure partie d'un après-midi vendredi. Sur une mauvaise semaine, elle repérait une confusion lundi matin et devait refaire le travail.

"Faire le test est la partie facile. Le lire correctement — en tenant compte de la contamination des échantillons, en vérifiant si le résultat est réel ou juste du bruit, en comprenant comment il a joué différemment sur les segments — c'est là que les heures vont. J'ai les données. J'ai juste besoin de faire confiance à l'analyse."

— Nadia Petrov, Responsable de la rétention / CRM, AzimuthBet

Les enjeux étaient plus élevés cette fois. L'approche gagnante serait étendue à travers la pile de rétention mid-tier entière d'AzimuthBet, une population d'environ 11 000 joueurs. Se tromper dans les deux sens — déployer le mauvais type de bonus, ou manquer une nuance au niveau des segments qui exigeait une approche hybride — coûterait la marge à l'échelle. Nadia avait besoin de résultats qu'elle pouvait défendre, pas des résultats avec lesquels elle pouvait discuter.


Solution

Nadia a ouvert Gaming Mind AI vendredi matin avec quatre semaines de données de test prêtes et une présentation de style conseil à préparer pour lundi. Elle avait 18 minutes avant un appel inter-fonctionnel. L'IA avait accès aux deux bras de test, toute l'activité des joueurs, les journaux de tir de campagne et les repères de rétention historiques d'AzimuthBet. Voici comment la conversation s'est déroulée :


Nadia: "Le test de rétention 'match de dépôt vs tours gratuits' de 4 semaines vient de se terminer. Donnez-moi le titre — l'un ou l'autre bras a-t-il gagné proprement, et le résultat est-il statistiquement significatif ?"

Metric Deposit Match Arm Free Spins Arm Winner
Sample size 2,412 players 2,388 players Balanced
Revenue per player (28-day window) €38.40 €31.20 🟢 Deposit Match (+23%)
Offer redemption rate 54% 71% 🟢 Free Spins (+17 pp)
Statistical significance Both arms sufficient to detect 5% difference at 95% confidence — ✓ Significant

⚠️ Gaming Mind flags: Deux définitions différentes de « gagnant » — le revenu par joueur favorise le match de dépôt de 23%, mais le taux de conversion favorise les tours gratuits de 17 pp. La bonne réponse dépend du segment de joueur que vous ciblez.

Le résultat était propre sur la signification statistique, mais plus nuancé sur le gagnant. Gaming Mind a confirmé qu'avec 2 412 joueurs dans le bras de match de dépôt et 2 388 dans le bras de tours gratuits, les deux groupes avaient suffisamment de volume pour détecter une différence de 5% dans le résultat primaire avec 95% de confiance. Le bras de match de dépôt a généré 38,40 € en revenu par joueur sur la fenêtre de test ; les tours gratuits sont venus à 31,20 € — un écart de 23% qui a effacé la signification statistique confortablement. Mais le taux de conversion — la part des joueurs qui ont racheté l'offre du tout — a couru dans l'autre direction : 71% pour les tours gratuits versus 54% pour le match de dépôt. Deux définitions différentes de « gagnant », tous les deux techniquement corrects.


Résultats

L'approche gagnante identifiée en 18 minutes, pas une demi-vendredi

L'analyse complète de Nadia — résumé des tests à recommandation de déploiement — a pris 18 minutes de conversation. Elle n'a ouvert une feuille de calcul, exécuté un calcul de signification à la main ou passé du temps à vérifier si la randomisation s'est tenue. Gaming Mind a géré tout cela, y compris la vérification de sensibilité de contamination qu'elle aurait passé une heure à faire seule.

Un déploiement hybride trouvé qu'une réponse gagnante unique aurait manquée

L'insight le plus précieux n'était pas que le match de dépôt ait gagné — c'était que les tours gratuits ont gagné dans le segment occasionnel, et un déploiement uniforme de match de dépôt aurait dégradé la performance pour un tiers de la population cible. La ventilation au niveau des segments, que Gaming Mind avait fait surface sans que Nadia demande explicitement, a transformé un résultat binaire A/B en une structure de campagne à trois voies qui a capturé la valeur sur le spectre complet des joueurs.

41 000 € par mois en GGR supplémentaire projeté

Appliqué sur l'ensemble de la population de rétention mid-tier d'AzimuthBet à 11 000 joueurs à la division appropriée au segment, la nouvelle structure de campagne a projeté 41 000 € en GGR supplémentaire mensuel par rapport à l'approche précédente uniforme de tours gratuits — sans augmenter le budget de bonus. La reconfiguration s'est mise en direct le vendredi même que le test s'est conclu.

"Avant, j'aurais un résultat de test et une feuille de calcul et un sentiment de nausée que j'avais manqué quelque chose. Maintenant j'ai une recommandation avec le travail statistique déjà fait, la contamination déjà vérifiée, et une ventilation des segments que je ne savais même pas comment demander. J'ai marché dans l'appel lundi et j'ai défendu chaque chiffre. Personne ne repoussait, parce qu'il n'y avait rien à repousser."

— Nadia Petrov, Responsable de la rétention / CRM, AzimuthBet

Want to see how Gaming Mind AI can help your operation?

Get a Demo