WED株式会社のBigQuery導入背景と活用事例
参考になった
8
WED株式会社 / thimi0412
EM / データエンジニア / 従業員規模: 51名〜100名 / エンジニア組織: 11名〜50名
| 利用プラン | ツールの利用規模 | ツールの利用開始時期 | 事業形態 |
|---|---|---|---|
スタンダードプラン | 11名〜50名 | 2018年 | B to B B to C |
| 利用プラン | スタンダードプラン |
|---|---|
| ツールの利用規模 | 11名〜50名 |
| ツールの利用開始時期 | 2018年 |
| 事業形態 | B to B B to C |
アーキテクチャ
会員限定コンテンツ無料登録してアーキテクチャを見るアーキテクチャの意図・工夫
- アプリケーションで使用しているデータベース(AlloyDB)からDatastreamを利用してBigQueryへデータを転送しています。直接BigQueryと連携できるものは連携を行い、他企業等からデータを提供されているものに関してはCloudComposerを使用してBigQueryにデータを入れています。
- CloudComposerを使用してETLを行いMetabaseのダッシュボードで扱いやすいデータにしています。
- 約12億枚(2024/08現在)のレシートデータとそれに付随するデータがあるので特にレコード数が多いテーブルにはパーティションフィルタを必須にしてなるべくクエリにかかるスキャン量を減らしています。
- BigQueryの社内での利用者も増えているのでクエリの履歴やかかったコストなどもINFORMATION_SCHEMAから取得&監視を行いコストが多くかかっているクエリを検知できるようにしています。
導入の背景・解決したかった問題
導入背景
当社が開発・運営するレシート買取アプリONEは、2018年リリース当時Firebaseで構築していましたが、サービスのスケールや安定稼働のためにGoogle Cloud Platformに移行をしました。そして、Google Cloud Platformのサービスであり、他サービスとの連携も行えるBigQueryを導入しました。
どのような状態を目指していたか
全てのデータをBigQueryに集約し、自社のデータや企業等から提供されたデータを多くの角度から分析を行え、Google Cloud Platform等の他サービス連携ができる状態を目指していました。
導入の成果
データの集約と可視化
各種サービスやアプリ(Firebase)のログ、地点情報やJANコードのデータをBigQuery上に保存しています。 弊社ではBIツールとしてMetabaseを使用しており、そこで日々のレシート買取枚数や経営指標となる値を可視化を行うことができています。
実際の業務
非エンジニアのメンバーもBigQueryを使用できる状態になっており、ONEで提供している、レシート買取ミッションなどの各種ミッションなどのデータ分析などを行なっております。
MLチームでの活用
MLエンジニアのメンバーも増えており、学習に使うデータや学習結果をBigQueryのテーブルとして保存しています。また、VertexAIのWorkbench等サービスとのBigQueryの連携もスムーズに行えているので開発効率も向上にもつながっています。
導入に向けた社内への説明
上長・チームへの説明
データ分析環境を1から作り上げるフェーズだったので、ONEで収集したデータを閲覧分析を行う上で同じGoogle Cloud Platformのサービスであり、他サービスとの連携も行えるBigQueryを導入しました。
活用方法
- レシートデータの分析&可視化やエンジニアによるデータの確認
- MLチームの機械学習モデルの作成
- OPS/UC(ユーザーケア)チームのユーザー情報やポイント獲得履歴等の確認
- Google Cloud Platformのコストの可視化
よく使う機能
- BIツール(Metabase)やスプレッドシートとの接続し、クエリの実行や可視化
- BigQuery Studioでのクエリの実行
- APIを使用してのデータの挿入や更新
ツールの良い点
- 大規模データに対してのクエリでも高速なクエリを実行できる
- CloudRunを使用したRemoteFunctionsによる独自の関数の作成と実行
- 各種Google Cloud Platformサービス(CloudComposer, Dataplex, VertexAI, etc..)との連携の容易さ
- 各種BIツールとの接続の容易さ
ツールの課題点
- アプリケーションで使用しているDBからBigQueryへのデータの転送
- 大規模データになると予期せぬクエリでコストが発生してしまうことがある
- パーティションやコストの設定を事前に行う&監視できる環境を作ることをお勧めします
ツールを検討されている方へ
BigQueryは導入事例も多く、コストの最適化や各種サービスでの利用のドキュメントも充実しており、BigQueryにデータを入れる手段やフローが一番の課題となりますが、そこを解決できれば色々なサービスから利用ができ、SQLベースでのデータの加工ができるのでとても便利になります。 今後のアップデートされていき新しい機能の追加などにより便利に使いやすくなると思われます。
WED株式会社 / thimi0412
EM / データエンジニア / 従業員規模: 51名〜100名 / エンジニア組織: 11名〜50名
よく見られているレビュー
WED株式会社 / thimi0412
EM / データエンジニア / 従業員規模: 51名〜100名 / エンジニア組織: 11名〜50名
レビューしているツール
目次
- アーキテクチャ
- 導入の背景・解決したかった問題
- 活用方法