株式会社LayerXのBigQuery導入事例
参考になった
10
株式会社LayerX / irotoris
チームリーダー / データエンジニア / 従業員規模: 301名〜500名 / エンジニア組織: 51名〜100名
| 利用プラン | ツールの利用規模 | ツールの利用開始時期 | 事業形態 |
|---|---|---|---|
オンデマンド | 101名〜300名 | 2022年4月 | B to B |
| 利用プラン | オンデマンド |
|---|---|
| ツールの利用規模 | 101名〜300名 |
| ツールの利用開始時期 | 2022年4月 |
| 事業形態 | B to B |
アーキテクチャ
会員限定コンテンツ無料登録してアーキテクチャを見るアーキテクチャの意図・工夫
データ基盤では BigQuery を中心に構成されており、データ取り込みは BigQuery に対応する OSS、SaaS を実装速度、料金、メンテナンスコストのバランスを見ながら選定しています。
データはなるべく Raw data のまま BigQuery に取り込み、データ変換やモデリングは dbt (data build tool) に寄せて BigQuery のパワーで解決することでデータパイプラインをシンプルに保つように意識しています。
導入の背景・解決したかった問題
導入背景
※ 前提として、2022年当時の意思決定になります。
ツール導入前の課題
LayerXは「すべての経済活動を、デジタル化する。」をミッションに掲げるSaaS+FinTechスタートアップです。法人支出管理サービス「バクラク」を提供するバクラク事業部では「請求書受取」、「経費精算」、「ビジネスカード」など法人支出管理に関わる複数のプロダクトを提供しています。
過去、バクラクのデータ分析は本番データベースに対して分析用の Read Replica を構築して行われていました。そのためバクラクの複数のプロダクトを跨いだ分析が非常に難しい状態になっていました。また Salesforce など SaaS とのデータ連携も積極的に出来る状態ではありませんでした。必要なデータが様々な場所に置かれていたため横断的な分析・様々なデータソースを使用した高度な分析がほぼ出来ない状態にありました。
どのような状態を目指していたか
「あらゆるデータソースを BigQuery に集約し、BigQuery をハブとして各ツールとデータ連携をする」基盤を目指していました。
選定理由
ツール選定では BigQuery を使ったことがあるメンバーが多く、過去の経験から構築も一番早くできそうなことがわかっていたため、比較的スムーズに BigQuery に決まりました。
導入の成果
DWH ソリューションとして BigQuery を導入してデータ基盤を作った結果、複数のプロダクトやツールを跨いだ分析が可能になり、当初の課題は解決されました。業務に必要なデータが統合的に BigQuery に集まるようになり、データソースも増え続けています。これにより社内の業務オペレーションが BigQuery のデータを使って構築可能になり、業務の高度化・効率化が進むようになりました。
導入に向けた社内への説明
上長・チームへの説明
もともとデータを統合して分析可能な基盤がなく、DWH ソリューションの導入は全社的な課題認識になっており特別な説明は発生しませんでした。
活用方法
社内のあらゆるメンバーが毎日の業務で BigQuery にあるデータを使っています。
- 事業企画による事業指標設計・モニタリング
- プロダクトマネージャーによるプロダクト利用分析
- プロダクト開発エンジニアによるデバッグ・調査
- 顧客要望の管理ダッシュボード
- 営業行動の可視化
- プロダクト監査ログダッシュボード
etc.
よく使う機能
- BigQuery Studio によるクエリ実行
- BIツールと接続してのクエリ実行 (Looker Studio, Redash)
- Google スプレッドシートや Google Apps Script、Google Colaboratory と接続してのクエリ実行
- プロダクト・アプリケーションからのデータ取得 (API/SDK利用)
ツールの良い点
- 大規模なデータでも高速にクエリが可能
- サーバーレスでありメンテナンスレスと高いスケーラビリティをもつ
- 従量課金のためスモールスタートが可能
- Google, Google Cloud 製品とのシームレスな連携 (Google Analytics や Google Sheets、Vertex AI 等)
- DWH 製品としてメジャーなため、データ基盤・分析ツールやプログラミングのエコシステムが BigQuery に対応していることが多い
ツールの課題点
- プロダクト基盤が Google Cloud ではない場合、プロダクト基盤から大量のデータ転送処理の実装やデータ転送量課金が発生する点（DWH 選定・データ基盤構築の課題として）
- データスキャン量課金の他にコンピュート課金（BigQuery Editions）が存在するが、コンピュート課金は特に事前の料金見積もりが難しい点
ツールを検討されている方へ
最初にデータ基盤を構築する際においては BigQuery は日本での導入事例も豊富で、構築も容易なため、最速で DWH ソリューションを導入するにはとても良い選択肢の一つです。一方 Google Cloud に依存しているため、中長期的な開発・運用コンポーネントやデータ連携先、メンテナンス性から、メインのプロダクトの基盤やデータソースの種類等との相性を見極めることが大切だと思います。
株式会社LayerX / irotoris
チームリーダー / データエンジニア / 従業員規模: 301名〜500名 / エンジニア組織: 51名〜100名
よく見られているレビュー
株式会社LayerX / irotoris
チームリーダー / データエンジニア / 従業員規模: 301名〜500名 / エンジニア組織: 51名〜100名
レビューしているツール
目次
- アーキテクチャ
- 導入の背景・解決したかった問題
- 活用方法