小さく始めるBigQuery：お試し利用から本格導入への道のり

参考になった

会員限定コンテンツです。無料登録すると制限なしでお読みいただけます。

無料登録してアーキテクチャを見る

レビュー投稿日の情報になります

株式会社リンクアンドモチベーション / KazuSh1geru

最終更新日2024/12/10投稿日2024/12/11

利用プラン	利用機能	ツールの利用規模	ツールの利用開始時期	事業形態
オンデマンド	クエリ、ストレージ	11名〜50名	2023年1月	B to B

利用プラン	オンデマンド
利用機能	クエリ、ストレージ
ツールの利用規模	11名〜50名
ツールの利用開始時期	2023年1月
事業形態	B to B

アーキテクチャ

会員限定コンテンツ無料登録してアーキテクチャを見る

アーキテクチャの意図・工夫

S3にデータの集約を行っていたため、BigQuery Data Transfer Serviceを利用してBigQueryに連携した。データパイプラインの開発はTerraformを用い、バージョン管理やリソースの一覧化を行った。

導入の背景・解決したかった問題

導入背景

ツール導入前の課題

社内データを集約はできていたが、データマートとして提供ができていなかった。

どのような状態を目指していたか

データビルドツールを用いて、データマートを提供すること
- ”使いやすい”、”再利用できる形”にすること。
- before: データソース準備→整形して、都度分析レポートを作る
- after: 整形済みのレポート（データマート）を参照して分析レポートを作れる

比較検討したサービス

Amazon Athena
dbt

比較した軸

コスト
使いやすさ

選定理由

コスト

データ分析基盤としてお試し利用だったこともあり、小規模データセットから利用できる従量課金制が好ましかった。
- Dataform: シンプルだが要件を満たしており、費用も無料だった。
- dbt: チームプランの固定費（2023年当時、月50ドル）がかかるため、小規模な利用だと割高感がある。

使いやすさ

BigQueryとDataform はワンセットで提供されているため、技術調査のコストが低かった
既存業務との親和性、データ連携のしやすさ
- 社内でGoogle Workspaceを利用しているため、データ連携で一定強みがあった。
  - 既存運用していたAmazon Athenaでは、スプレッドシートへのアウトプットが面倒であった。

導入の成果

改善したかった課題はどれくらい解決されたか

データを都度整形するコストが無くなり、正しいデータを常に提供し続けることが出来るようになった。

どのような成果が得られたか

ユースケースの拡充

当初はプロダクトデータを用いて、プロダクト開発のPDCAを回すユースケースを想定していた。

その後、社内経理や経営層向けに「社内経営指標の分析用データマート」や社内コンサルタント向けに「企業のカテゴリごとの分析ダッシュボード」など、継続利用されるユースケースを開拓できた。

導入時の苦労・悩み

初期コストが高かった

お試し利用からデータマート本格運用に移行する際に、IaCなどの初期コストが高かったこと。
- お試し期間は、データパイプラインおよびデータセット、テーブルのリソースは手動で作成していた。
- 解決策として、Terraformを導入した。これにより、下記の点が大きく改善した。
  - リソース管理と一覧化
    - データパイプラインやデータセットをコードで管理することで手動でのリソース作成が不要になりました。
      - 人的ミスやデプロイ工数が減少
      - ロールバックが可能
  - 環境分離による安全な開発
    - 開発環境と本番環境を物理的に分離することで、安全に開発やテストが可能になった。

開発環境に関して

Webコンソールが前提の開発になること。
- dataform cli の compile や dry-run 機能が正常に動作しておらず、構文エラーが弾けないなど、使い勝手に難がある点。
- GitHub CopilotをはじめとするAIエディターの恩恵を得づらい。

導入に向けた社内への説明

上長・チームへの説明

前提

データ利活用を推進するチームだったため、データマートの意義自体の説明は不要であった。

対上長

① データマートの上段の「データ分析基盤」に対してプロダクトビジョンとマイルストーンを策定した

データ分析基盤の価値を上長を巻き込んで言語化した。
エレベータピッチを作成し、プロダクトのコアバリューの認識をすり合わせをした。

    データ分析基盤（Linked Data Bank）という名のこのプロダクトは
    [リンクアンドモチベーション全従業員]向けに、
    [データに基づく意思決定を可能に]する、
    [統合データ基盤]です。
    
    これは[組織・プロダクト毎にサイロ化されたデータ可視化ツール]とは違って
    [プロダクトや組織横断でデータを取得・集計できる仕組み]が備わっており
    対象顧客はこれまでよりも[多くの側面からデータを分析]することができます