【Feature Flag からデータ分析まで全て詰まった便利ツール】トレカサービス Clove における Statsig 導入事例
参考になった
15
株式会社トラストハブ / 中村伸一郎
メンバー / 機械学習エンジニア
| 利用プラン | 利用機能 | ツールの利用規模 | ツールの利用開始時期 | 事業形態 |
|---|---|---|---|---|
Pro | Feature Flags, Experiments, Analytics | 10名以下 | 2024年1月 | B to C |
| 利用プラン | Pro |
|---|---|
| 利用機能 | Feature Flags, Experiments, Analytics |
| ツールの利用規模 | 10名以下 |
| ツールの利用開始時期 | 2024年1月 |
| 事業形態 | B to C |
導入の背景・解決したかった問題
導入背景
ツール導入前の課題
ツール導入前は、新機能リリース時に大量のコード変更を一度に実施していたため、予期せぬバグが発生しやすく、問題の切り分けやロールバックが困難な状況が頻発していました。
どのような状態を目指していたか
各 Pull Request を段階的にマージし、その都度テストと検証を行って全変更が正常に動作することを確認した上で Feature Flag を有効にして、安全かつスムーズに新機能をリリースできる仕組みの構築を目指しました。
比較検討したサービス
- LaunchDarkly
- Firebase Remote Config
比較した軸
- あらゆる言語に対応した SDK が提供されているかどうか
- Feature Flag 以外の機能も豊富かどうか
- 利用価格帯
選定理由
ミニマムな構成では価格がリーズナブルだった点や、モバイルアプリでも即時に Feature Flag の切り替えが行える点が導入の決め手となりました。
導入の成果
どのような成果が得られたか
Feature Flag を活用した新機能リリースのプロセスにより、リリース後のバグ対応やシステムダウンのリスクが大幅に低減され、効率的に新機能をリリースできる体制を確立することができました。
また、Statsig には Feature Flag 以外にも多彩な機能が搭載されていることに、導入後次第に気づかされました。現在、弊社ではプロダクトのデータ分析ツールとしても活用しており、例えばプロダクトのイベントログを収集して時系列データとして後から解析することや、A / B テストの設定を柔軟に行うことが可能です。Funnel 分析などの各種分析手法にも対応しており、A / B テストではテスト開始前に群割り当ての割合設定やテスト期間中に注視する指標など、細かい設定が可能です。さらに、テストが完了すると、各種指標について有意差が出たかどうかまで自動で評価してくれたり、テスト完了後にそのまま 100% リリースするかどうかまで、Statsig の管理画面からボタン一つで意思決定できたりします。
導入に向けた社内への説明
上長・チームへの説明
Feature Flag については、まずはステージング環境にてどのように動作するのか、チームに向けてデモを実施して説明しました。
また、A / B テストに関しては、初めにステージング環境で、次に本番環境で、テスト対象を社内メンバーに限定して実施し、分割したグループごとに機能の一部が意図通りに変更されているかどうかをチーム全体で確認しました。
活用方法
- 大きめの新機能をリリースする際には、必ず Feature Flag を活用するようにしている
- 月数回は何らかの A / B テストを実施している
- 日々、データ分析ツールとして活用している
- 日々、ダッシュボードでプロダクトの各種指標を確認している
よく使う機能
- Feature Flag
- 新機能のリリース
- Experiments
- A / B テストおよび 100% リリースの意思決定
- Analytics
- データ分析
- KPI ダッシュボード
ツールの良い点
- React Native や Python など、さまざまな言語向けの SDK が提供されていて、公式ドキュメントも充実している
- Feature Flag だけでなく、データ分析や A / B テストなども可能で、多機能
- 公式 Slack チャンネル（英語）が用意されており、ツールの使い方に関する質問に対して、社員が丁寧に対応してくれる
ツールの課題点
- データ分析時に SQL で記述できる機能が欲しい（現状は GUI 上のフィルター機能やグループ分け機能があるが、生の SQL ほどクエリの自由度があるわけではない）
株式会社トラストハブ / 中村伸一郎
メンバー / 機械学習エンジニア
株式会社トラストハブ / 中村伸一郎
メンバー / 機械学習エンジニア
レビューしているツール
目次
- 導入の背景・解決したかった問題
- 活用方法