レバレジーズ株式会社のBigQuery導入事例

ツール導入前の課題

• 既存のデータ活用環境としてTreasureDataが導入されていたが、以下の課題があった
  • ジョブの同時実行数上限
    • 当時契約していたTreasureDataのプランでは、同時実行可能なジョブ数が255に制限
    • それ以上のジョブはエラーで失敗する。夜間バッチがエラーで失敗することもあった。
  • クエリ実行速度の低下
    • データ量とジョブ数の増加に伴い、クエリ実行時間が長くなっていき、クエリ実行ジョブがキューに詰まるようになった。
  • 権限管理の煩雑
    • アクセス権限をデータベース単位でしか設定できなかった。
    • 誰がいつどのデータにアクセスしたかのログは残るが調査が非常にしにくい。

どのような状態を目指していたか

• TreasureData運用時代の課題解決に加えて、以下を実現できること
  • スナップショットデータの蓄積が可能であること
  • クエリ実行ログの検索が容易であること
    • クエリ実行ログから、どのテーブルデータにアクセスしたかを容易に調査できること

• AWS Redshift
• Snowflake

• ユーザーに対してデータ活用基盤の運用人数が少ないため、エンジニアの運用負荷が低いこと
• 現場で多く活用されているGoogleスプレッドシートへの出力が容易であること
• 導入されていたBIツールのTableauへのデータ連携が容易であること

• Google Workspaceの機能で、BigQueryからスプレッドシートへの出力が容易であること
• 技術選定をしていた2020年ごろに、導入事例が多く見つかったこと

改善したかった課題はどれくらい解決されたか

• 以下が全て解決した
  • ジョブの同時実行数上限
  • クエリ実行速度の低下
  • 権限管理の煩雑

どのような成果が得られたか

• クエリ実行の速度が2倍〜10倍ほどになった。
• 同時実行ジョブ上限がなくなったことにより、以下の恩恵が受けられるようになった
  • クエリ実行時のジョブ詰まりがなくなり、計算が始まるまでの待ち時間がなくなった
  • 夜間のジョブ詰まりがなくなり、ジョブ詰まりによる夜間バッチの失敗がなくなった
• ストレージに保管できるデータ量の上限がなくなり、スナップショットデータの保管が可能になった
• アクセス権限をDB単位だけでなくテーブル単位で付与できるようになったため、細かな権限管理が可能になり、セキュリティ向上につながった
• 誰が、いつ、どのデータにアクセスしたかのログ追跡がTreasureDataより簡単に実現できるようになった
• BigQuery内で作成したテーブルについて、どのテーブルから作成されたかといったテーブル間の依存関係を可視化できるようになった

• TreasureDataで業務利用されていたクエリの要否確認
• TreasureDataで業務利用されていたクエリを全てBigQueryで動くように移管したこと
• Prestoから標準SQLへの変換
• TreasureData独自関数の実装