PM がオンボーディングのROI を20 分で計測した方法

FluxPlayはテル・アビブを拠点とする技術駆動型のiGamingプラットフォームで、ヨーロッパとアメリカ大陸で約22,000人の月間アクティブプレイヤーにサービスを提供しています。プラットフォームはマルチ通貨スタック — USD、EUR、BTC — を実行し、週間約$6Mの GGRを生成し、製品ミックスはクラッシュゲームと証明可能な公正なタイトルに大きく重み付けされています。FluxPlay はこの業界で最も活動的なA/Bテスト文化の1つを持っています：製品チームは月に2〜4つの実験を出荷し、レビュー日付を過ぎて生き残らないデータなし機能の厳しいルールを保持しています。

使用製品: A/Bテスト分析, ファネル分析, 機能影響スコアリング

20分 | 完全な機能影響評価時間

23% | オンボーディング完了率改善、新しいフローと古いフロー

$140K | 新しいオンボーディングコホートに起因する月間収益上昇

---

チャレンジ

FluxPlay のリデザインされたオンボーディングフローがライブになって2週間後、Yael Cohen のカレンダーに製品レビューがあり、彼女が答える必要があるのは正確に1つの質問：それは機能しましたか？

新しいフローを構築するのに3つのスプリントがかかりました。それはスクリーン数を7から4に削減し、最初の預金ウィンドウに時間が来たライブウォレット資金プロンプトを追加し、静的KYC説明子をインタラクティブプログレスバーに置き換えました。紙の上では、すべての仮説は堅実でした。しかし、FluxPlay の製品レビュー文化は自信が数えられないことを意味しました — あなたは数字で現れたか何もなかったか。Yael は、2つのコホート全体で最初の登録画面から30日の収益まで単一の会議スロットで実験をトレースする必要がありました。

ゲーミング・マインドAI の前に、その種の完全なファネルアトリビューションは3〜4日かかりました。A/Bテストデータは1つのシステムに住んでいました、ファネルドロップオフ分析は別のシステムに住んでいました、保持メトリックは3番目のシステムに住んでいました、GGR属性はデータエンジニアリングチームが一夜で計算するカスタムクエリを実行することを必要としました。完全な画像がアセンブルされた時点で、製品レビューはすでに古くなった決定の事後分析でした。Yael は、D1でウィンと見えた機能を出荷していましたが、D30 によって平坦になった — そして誰かが6週間後にコホート比較を引っ張ったときだけ見つけました。

「iGaming では、オンボーディングは同時に最初の印象を形成し、KYC を収集し、預金を求めている唯一の瞬間です。削除または追加するすべてのステップは、適切なアトリビューションなしで絡み合わせるのが不可能な方法で収益に接触しています。重要な数字を動かしたかどうかを知る必要がありました — 完了率だけではなく。」

— Yael Cohen、製品マネージャー、FluxPlay

より深い問題はイテレーション速度でした。勝者を宣言することは仕事の半分にすぎませんでした。Yael は、成功した実験でさえテーブルに摩擦を残すことを知っていました、そして実際の製品上昇は第2の反復から来ます — 勝つフローがまだプレイヤーを流す特定のステップを目標とした改善。そのツールを自動的にサーフェスできないツールがなければ、次のスプリントは盲目で始まるでしょう。

---

ソリューション

Yael はゲーミング・マインドAIを製品レビューの2日前に開き、A/Bテスト結果からファネル分析から収益属性から反復推奨への単一の構造化された会話を実行しました — ツールを切り替えたり、データリクエストを待つことなく。

そのセッションはどのようなものでした：

---

Yael: 「オンボーディングフロー実験のA/Bテスト概要を見せてください。新しいフロー対古いフロー、最後の14日。」

メトリック	新しいフロー(バリアントB)	古いフロー(コントロールA)	デルタ
テストセッション	4,150	4,150	—
オンボーディング完了率	61.4%	49.9%	+23%相対 🟢
統計的有意性	99.2%	—	決定的
95%信頼到達日	9	—	計画より早い
ステップカウント	4スクリーン	7スクリーン	−3スクリーン
セグメンテーション利用可能	通貨+デバイス別	—	🟢

⚠️ ゲーミング・マインドフラグ: 新しいフローは8,300セッションで99.2%の統計的有意性で古いフローを23%相対完了率で上回りました。信頼は計画された2週間の終了日よりずっと前の9日目で95%をクリアしました。結果は決定的で、サンプルは通貨とデバイスタイプでセグメント化するのに十分な大きさです。

見出しの数字はすぐに着陸しました：新しいフローは61.4%でオンボーディングを完了し、古いフロー対49.9% — 相対的な改善23%で99.2%の統計的有意性は8,300セッションの間に均等に分割された2つのバリアントで着陸しました。ゲーミング・マインドは結果を計画された2週間の終了日よりずっと前に決定的としてフラグを立て、信頼レベルが9日目で95%をクリアしたことに注目しました。サンプルサイズは、Yael が早期に利用可能になることを予想していなかった有意性を失うことなく通貨とデバイスタイプでセグメント化するのに十分な大きさでした。

---

Yael: 「ファネルステップごとに完了率を分解してください。古いフローはどこで人々を失いましたか？」

ステップ	古いフロー放棄率	新しいフロー放棄率	デルタ	メモ
ステップ1 – 登録スタート	3.2%	2.9%	-0.3pp	🟢 安定
ステップ2 – メール確認	4.1%	3.8%	-0.3pp	🟢 安定
ステップ3 – プロフィール完成	5.4%	4.7%	-0.7pp	🟢 マイナー改善
ステップ4 – ドキュメントアップロード(KYC)	18.3%	—	—	🔴 古いフロー摩擦ポイント
ステップ5 – KYC レビュー待機	3.8%	—	—	古いフローのみ
ステップ6 – ウォレット資金プロンプト	9.7%	—	—	🔴 古いフロー摩擦ポイント
ステップ7 – 最終確認	2.8%	—	—	古いフローのみ
KYC +ウォレット(古い)	28.0pp	—	—	主要な変換漏れ
KYC プログレスバー+預金(新)	—	6.1%	−21.9pp	🟢 主要な変換獲得
通貨選択(新規のみ)	—	4.8%	—	🟡 導入された新しい摩擦

⚠️ ゲーミング・マインドフラグ: 古いフローは2つのステップで28ポイントを流失させました — ドキュメントアップロード(18.3%)とウォレット資金プロンプト(9.7%)。新しいフローは両方を単一のステップに圧縮し、放棄は6.1%に低下しました。1つの新しい摩擦ポイント導入：通貨選択は4.8%放棄率で、古いフローに完全に存在していません。

古いフローはユーザーを2つの特定のポイントで流失させました：ステップ4のドキュメントアップロード画面 — ユーザーの18.3%が放棄しました — そしてステップ6のウォレット資金プロンプト、別の9.7%のドロップを追加しました。合わせて、これら2つのステップは28ポイントの摩擦を占めていました。新しいフローは両方をKYCプログレスバーとインラインデポジットプロンプトに圧縮し、同等のステージの放棄は6.1%に低下しました。ゲーミング・マインドはこれらを主要な変換インフレクションポイントとしてラベル付けし、新しいフロー内のステップ — 通貨選択画面 — 古いフローにまったく存在していない4.8%の放棄率をまだ示していることを示唆しました。

---

Yael: 「2つのコホート間のD1、D7、D30保持分割は何ですか？」

保持チェックポイント	新しいフローコホート	古いフローコホート	デルタ	有意性
D1	68.4%	67.1%	+1.3pp	🟡 最小 — より弱いプレイヤーをプルしていない
D7	41.2%	35.8%	+5.4pp	🟢 商業的に重要
D30	22.7%	17.4%	+5.3pp	🟢 最も重要な発見

⚠️ ゲーミング・マインドフラグ: D7-D30保持デルタは商業的に最も重要な発見です。ほぼ同じD1レートは新しいフローが単に一夜中チャーンするより弱いプレイヤーをプルしていないことを確認します。D30 によるギャップの拡大は、ウォレット資金の瞬間とインタラクティブなKYC フレーミングが最初のセッションでより強いエンゲージメント習慣を構築していることを示唆しています — ドアを通してプレイヤーを移動しているだけではなく。

物語がより深くなったのはここです。D1 保持はほぼ同一でした — 新しいフローの68.4%対古いフローの67.1% — 改善された完了率が単に一夜中チャーンするより弱いプレイヤーをプルしていないことを示唆しています。D7によって、新しいフローコホートは41.2%でその一方で古いフロー35.8%、6ポイントのギャップの持つ、D30までさらに拡大：新しい22.7%対古い17.4%。ゲーミング・マインドはD7-D30保持デルタを商業的に最も重要な発見としてフラグを立てました。新しいオンボーディング体験の何か — おそらくウォレット資金の瞬間とインタラクティブなKYC フレーミング — は最初のセッションでより強いエンゲージメント習慣を設定していたため。

---

Yael: 「14日のウィンドウで2つのコホート間のGGR差を属性付けしてください。」

GGRメトリック	新しいフローコホート	古いフローコホート	デルタ
14日合計GGR	$112,000増分	ベースライン	+$112K
ARPU(14日)	$27.40	$19.80	+38% 🟢
最初のクラッシュベットまでの時間	オンボーディング後22分	オンボーディング後47分	−53% 🟢
最初のセッションベットボリューム	古いコホート対+31%	ベースライン	+31% 🟢
クラッシュゲームGGR共有	違いの大部分	—	主要なドライバー
投影月間GGR上昇	~$140K	—	KYC 処理ボリューム増加の純額

⚠️ ゲーミング・マインドフラグ: 38%ARPU上昇と53%速い最初のクラッシュベット時間は、ウォレット資金プロンプトが主要な収益ドライバーであることを確認し、単なる完了率ウィンではありません。D30保持利点が完全な月間で保持される場合、投影増分月間GGR は約$140K です — KYC処理ボリューム増加の純額。

ゲーミング・マインドは14日間の新しいフローコホートに$112Kの増分GGRを属性付けしました。より高い完了率とより強い初期エンゲージメントの組み合わせによって駆動されます。最初の14日のARPUは新しいコホートの$27.40対古いコホートの$19.80で出てきました — 38%の上昇。クラッシュゲームの垂直型は違いの大部分を持っていました：新規フロープレイヤーはオンボーディング完了の22分以内に最初のクラッシュベットを置きました、古いフロー完成者の47分と比較して、そして彼らの平均最初のセッションベットボリュームは31%高かった。ゲーミング・マインドは、D30保持利点が完全な月間で保持された場合、増分月間GGR上昇が約$140Kに着陸するだろうと投影しました。KYC処理ボリューム増加の純額。

---

Yael: 「最初のセッションで資金を付けたプレイヤーのコホート比較を引き出してください — 資金を付けたのは第2日以降またはそれ以降。」

セグメント	D7保持率	14日ARPU	クラッシュエンゲージメント
日1ファンダー(オンボーディングと同じ日に資金を付ける)	48.9%	$34.10	🟢 高
日2+ファンダー(遅延した資金)	29.3%	$14.60	🟡 低い
デルタ	+19.6pp	+133%

⚠️ ゲーミング・マインドフラグ: ウォレット資金の瞬間は、全体フローの単一の最高レバレッジポイントです。日1ファンダーは48.9%D7保持率と$34.10 ARPU対29.3%と遅延ファンダーの$14.60を表示します — ギャップは、最初のセッション内の時間が来たデポジット奨励が遅延ファンダーを高保持セグメントに押し込むかどうかという次の実験のための仮説をサーフェスするほど大きいです。

このカットはウォレット資金プロンプトが全体フローの単一の最高レバレッジの瞬間であることを確認しました。オンボーディング完了と同じ日にウォレットに資金を付けたプレイヤー — 新しいフローのインラインデポジットプロンプトが特別に運転するために設計されました — D7保持の48.9%と14日ARPU $34.10を示しました。オンボーディングを完了したが日2またはそれ以降への資金を遅延させたプレイヤーは29.3%D7保持と$14.60 ARPUに低下しました。ギャップはゲーミング・マインドが次の実験の可能性のある仮説としてフラグを立てたほど大きかったです：最初のセッション内の時間が来たデポジット奨励が遅延ファンダーをキャプチャし、彼らを高保持セグメントに押し込むかどうか。

---

Yael: 「新しいフローの通貨選択画面で4.8%放棄としてフラグを立てました。詳細を見せてください。」

通貨	選択率	通貨ステップで放棄	モバイル放棄	デスクトップ放棄	ルート原因
USD	61%	2.1%	2.4%	1.6%	🟢 通常
EUR	27%	2.6%	2.9%	2.1%	🟢 通常
BTC	12%	8.3%	11.8%	2.7%	🔴 QRコード表示問題

デバイス	BTC放棄者シェア	ドロップアウトトリガー
モバイル	74%	QRコードウォレット確認 — 悪いビューポート表示
デスクトップ	26%	問題なし — ステップは通常完了します

⚠️ ゲーミング・マインドフラグ: BTC セレクタは通貨選択画面で8.3%で放棄し — USD とEUR ユーザーのレート3倍。BTC放棄者の74%がモバイルで、ドロップアウトは悪い小さいビューポート表示があるQRコードウォレット確認プロンプトと相関しています。これはUX 問題として見せかけるレンダリングバグで、プラットフォームで最高ARPU セグメントに食い込んでいます。

通貨選択画面は新しいフローの1つ導入された摩擦ポイントでした、そして内部のパターンは具体的でした。BTC セレクタはその画面で8.3%で放棄しました — USD とEUR ユーザーのレート3倍以上。ゲーミング・マインドはデバイスデータを相互参照し、BTC放棄者の74%がモバイルで、ドロップアウトが画面のQRコードウォレット確認プロンプトと相関していることを見つけました。小さいビューポートで悪く表示します。デスクトップでプレイヤーはBTCを選択し、問題なくステップを完了しました。これはUX 問題としてマスカレーディングレンダリングバグで、それはFluxPlayの暗号プレイヤーファネルに食い込んでいました — プラットフォームで最高ARPU セグメント — 測定可能だが回収可能なレートで。

---

Yael: 「次のスプリントで修正する2つの最高優先度の摩擦ポイントを含め、影響推定。」

ランク	摩擦ポイント	修正タイプ	完了率上昇推定	投影月間GGR回復	推定開発努力
1	BTC通貨画面 — モバイルQRコードビューポートバグ	レンダリング修正	BTC セレクタ+6.2pp	~$18K/月	<1日
2	KYCプログレスバー — 推定時間から完全なラベルを追加	マイクロコピー/UX	平均放棄の減少~12%(2つの前の試験)	~$10K/月	<0.5日
合計				~$28K/月

⚠️ ゲーミング・マインドフラグ: 2つの修正、合計推定上昇$28K/月。BTC レンダリングバグはより高い優先度アイテムです — それは最高ARPU セグメント影響し、単一日修正です。KYC時間推定ラベルは2つの前のFluxPlay 実験から2つの前の試験から12%平均放棄削減を示すA/Bテストデータでサポートされます。

ゲーミング・マインドのFeature Impact Scoring モデルは投影収益影響による残りの摩擦ランク付けしました。BTC 通貨画面モバイル表示修正の修正は最初をランク付けしました：現在のBTC 選択率と、そのセグメントのARPU 微分に基づいて、QRコードビューポート問題を解決することはおおよそ$18K/月で他の方法で失われたGGRを回復するために投影されました。第2の優先度はKYC プログレスバーのマイクロ最適化でした — 具体的には、推定時間から完全なラベルを追加し、2つの他のFluxPlay 実験からA/Bテストデータは進捗インジケータ画面の放棄を削減したことを示しました平均12%。一緒に、2つの修正は合計推定上昇$28K/月を運びました。Yael はスプリント計画のための具体的な数字を持っていました。

---

結果

新しいフローは勝者として宣言され、古いフローはすぐに廃止

99.2%統計的有意性と23%完了率改善で、製品レビューは決定を達成するのに10分未満かかりました。古いフローはその同じ午後に廃止されました。Yael は完全なアトリビューション鎖を提示しました — ファネルステップドロップオフからD30保持から月間GGR上昇まで — 単一の外部データリクエストまたはデータチームからのラストミニュート明確化なし。

$140Kの月間収益上昇は信頼を持って属性付けられました

$140K投影は封筒の裏の推定ではありませんでした — それは14日間チェックポイントで確認されたD30保持利点からビルドされました、4,150セッション/バリアント全体で検証されたARPU微分、そして両方のデバイスタイプと3つの通貨すべてで保持されたクラッシュゲームエンゲージメントのリード。Yael は部屋の中のすべての数字を防ぎることができました、投影の背後にある方法論を含む。

2つの摩擦ポイントがサーフェスされスプリント準備完了

BTC モバイルレンダリングバグとKYC プログレスバー時間推定ギャップが両方特定され、定量化され、製品レビューが終わる前に推定収益影響が割り当てられました。次のオンボーディング反復のスプリント計画は優先順位付けられたバックログと特定の仮説で開始しました — 空白のホワイトボードではなく。

反復速度週から日への圧縮

以前は4日間のデータアセンブリプロセスが必要でした — A/Bテストインフラストラクチャ、ファネルツール、データエンジニアリングチーム全体での調整 — エンド-エンドで20分で実行しました。Yael のチームは、現在、任意の実験内でエンドツーエンドをクローズできます、同じ週が終わるため、製品サイクルのリズムを双方向レビューから継続的反復に変更します。

「ゲーミング・マインドがBTC放棄がデザイン問題ではなく — レンダリングバグであったことを言った瞬間が、私がこれについてどう考えるかを変えたのは。それは製品直感コールではありません。それはデータコールで、あなたが間違ったスプリント計画するのを救います。製品レビューに入りました。私たちが出荷した正確に知っていました、それは何が獲得したか、次に修正するもの。それが仕事です。」

— Yael Cohen、製品マネージャー、FluxPlay