【投票キャンペーン対象】【社員の半数以上が日常使い】マイベストのデータ分析基盤アーキテクチャ

アーキテクチャ選択の背景や意図

Googleスイートを中心に据えた、シンプルなデータアーキテクチャを構築しています。

DWHとしてBigQueryを選定している理由

• データ基盤立ち上げ当時（2023年頃）のデファクトスタンダードだったため。
• Googleスイートのツールとの相性の良さ。
• Geminiの性能強化＆実装面拡大の恩恵を今後受けやすくなると見込んでいるため。

TransformationツールにDataformを選定している理由

• 無償で、データのTransformationに求められる大半のことが実現できるため。
• 詳細はこちらの記事を参照。

Extract&LoadツールにTROCCOを選定している理由

• 海外製のETLツールにコネクタが備わっていない国産SaaS（Kintone等）にも対応しているため。
• 同社が提供しているWeb行動ログ収集SDKを利用しているため。

データカタログにGoogleスプレッドシートを選定している理由

「メタデータは全社で育てる」方針のもと、データ部署以外の社員もメタデータの更新ができるようにするため。
（図に反映させていないが、スプレッドシート↔BigQuery間でデータを同期する仕組みあり）

BIツールにLooker Studio/Googleスプレッドシートを選定している理由

• 無償で必要最低限の機能が備わっているため。
• BigQueryとの相性の良さ。（BigQueryのInformation Schemaで実行ログを簡単にトラッキングできる点もありがたい）
• 認証認可のコントロールのしやすさ。

現在の課題と今後の改善予定

データカタログのDataplexへの完全移行

「メタデータは全社で育てる」方針があまりうまくワークしなかったため、いったん土台をデータ組織で固める方針に変更。
そうなった場合、スプレッドシートは検索性やロバスト性に課題があり、もはやメタデータの閲覧・編集インタフェースがスプレッドシートである必要はないと判断。

また、メタデータ管理のマスタをDataformのコードに寄せることによって、Dataformリポジトリ内でのAIコードライティングの品質向上も狙う。

セキュアデータ基盤の構築

CRMの強化に伴って、ユーザーの個人データにアクセスする機会が増加。
従来はデータ基盤に取り込んでいなかったこれらのデータを取り込むべく、既存のデータ基盤と分離したセキュアなデータ基盤を新規作成する必要が出てきた。

Google CloudリソースのIaC化

手動で作成しているリソース、gcloudコマンド経由で作成しているリソース、Terraform経由で作成しているリソースなどが混在しているため、これらを統合的にIaCで管理していく。

◆執筆：品原 悠杜　@snhrytdesu