BASE株式会社のBigQuery導入事例

ツール導入前の課題

BASEは、個人やスモールチームが簡単にネットショップを開設・運営できるECプラットフォームを提供しています。サービスの成長に伴い、BigQuery導入前に既に開設数は100万ショップを突破しており（現在は240万ショップ超）、注文や配送、商品などの日々のEC運営に関わる膨大なデータが本番環境のDBに蓄積されています。

これらのデータはプロダクト改善や事業の意思決定のための分析に必要不可欠なものであり、チーム内では本番環境のDBからレプリケーションした分析用DBに対してクエリを実行し、分析を行っていました。しかし、分析用DBにはトランザクション処理向けのものを使っており、ショップ数とトランザクションデータの増加に伴って分析基盤の限界が顕在化してきました。

• クエリ実行時間の増大
  • 大量データに対する集計クエリが数十分〜数時間かかるケースもあり、業務のボトルネックになっていました。
• 同時実行の制約
  • 一部の重い分析クエリがリソースを専有し、他のユーザーのクエリ実行が滞る問題が頻発していました。

このように、データ量と分析ニーズの急増に対して、既存の既存のトランザクション処理向けDBではスピードとスケーラビリティの両立が難しくなっていたことが、BigQuery導入を検討するきっかけとなりました。

どのような状態を目指していたか

これらの課題を解消するために、私たちが目指していたのは「誰もがストレスなくデータを扱える分析基盤」でした。具体的には次のような状態です。

• 大規模データでも高速にクエリを実行できること
  • 数十億レコード規模のデータに対しても、数秒〜数十秒で結果を返せるようにしたい。
• 複数人が同時に分析できる環境
  • アナリストやエンジニアが同時にクエリを実行しても、お互いに影響を受けない環境を実現したい。
• スケールやメンテナンスを意識しない運用
  • 分析基盤のリソース管理やチューニングに時間を割かず、プロダクト開発やデータ活用に集中できる状態にしたい。

• Redshift

Redshiftも候補として比較検討しましたが、クラスター運用やスケーリングの手間を最小化したいという観点から、最終的にBigQueryを採用しました。 BigQueryはサーバーレスでスケーラブルなアーキテクチャに加えて、ストレージとコンピュートの分離によるコスト効率、クエリ最適化の自動化という点で当時のBASEの検討フェーズにマッチしていました。

決め手となったのは、従量課金とサーバーレスという仕組みから、スモールスタートしやすいことでした。当時、分析基盤を段階的に整備していくフェーズにあり、サーバーレスで使った分だけ課金されるBigQueryのモデルが私たちの運用方針にマッチしていました。またチーム内での利用経験があったこともポイントの一つでした。

改善したかった課題はどれくらい解決されたか

BigQueryの導入によって、これまで抱えていた課題は大きく解消されました。

• 以前は数十分かかっていたクエリが、BigQueryでは数秒〜数十秒で完了するようになり、分析スピードが大幅に向上しました。
• サーバーレス基盤の恩恵により、複数人が同時に分析クエリを実行しても処理が滞ることはなくなりました。
• 今までは実行が難しかったテラバイト（TB）級の大規模データに対するクエリも問題なく扱えるようになり、分析の幅が大きく広がりました。

どのような成果が得られたか

これまでDB負荷を気にして慎重にクエリを実行していた状況から、誰もが安心して分析できる環境へと変わりました。 従量課金であるため実行量に応じたコスト管理は行っていますが、分析者が自由に試行錯誤できる環境が整ったことで、データ活用のスピードと自由度が格段に向上しました。

上述の通り、BigQueryは従量課金かつサーバーレスな仕組みでスモールスタートがしやすいのが大きな特徴です。初期構築の負担が少なく、必要なタイミングでスケールできるため、分析基盤を段階的に整備したいチームにも適しています。まずは小規模なデータセットから試してみて、クエリの実行感やコスト感を掴むところから始めるのがおすすめです。実際に触れてみることで、運用イメージや自社の課題に合うかどうかが具体的に見えてくるはずです。