Google Cloudとdbtで実現するビットキーのデータ基盤アーキテクチャ

アーキテクチャ選択の背景や意図

• プロダクトの大部分がGoogle Cloudで構成されているため、データ連携の親和性を重視し、基本的にGoogle Cloud製品を採用しています。
• プロダクトDBであるFirestoreやAlloyDBからのデータ連携においては、FirestoreのExport APIやBigQueryのFederated Queryといったマネージドサービスを積極的に活用することで、大規模なデータであっても効率的な連携を可能にしています。
• アプリケーションログやIoTデバイスのログについては、スケーラビリティとリアルタイム性を確保するため、Pub/Subを採用しています。これにより、データを送信するプロダクト側の実装者はシンプルなコードで連携できるため、開発におけるコミュニケーションコストを削減できています。
• これらのインフラリソースは、可能な限りTerraformを用いて管理しています。
• データ分析基盤については、2021年頃はBigQueryのスケジュールクエリで管理していましたが、テーブル数の増加に伴い複雑性が増していました。この課題に対応するため、dbtを導入してデータパイプラインを実装し、source/interface/warehouse/martの4層構造でテーブルを管理するようデータ分析基盤を再構築しました。

現在の課題と今後の改善予定

• データ連携に関しては、現在一部にCloud Run Functionsが残っているため、順次Cloud Runへの移行を進めていきたいと考えています。
• 分析基盤側については、dbtの実行時間が徐々に伸びてきているためテコ入れが必要な状況です。
• また将来的にBigQueryの活用者をビジネス側の組織にも広げていきたく、データ品質の担保や生成AIの活用の文脈でどのような形で実現していくかの設計をしていく必要があると考えてます。
  
  

◆執筆：三河内 拓也