atama plusのDataformの導入事例紹介

ツール導入前の課題

• データ変換処理をTROCCOのデータマート機能で管理していたが、規模が大きくなるにつれてGUIのみでは管理が難しくレビュープロセスも回しづらかった。
• 複数プロダクトでデータ基盤を使い始めたため、スケールを容易にするためコード管理したくなった。

※ 2024年にTerraform Providerがリリースされ、TROCCOでもコード管理できるようになりました。弊社のDataform移行は2023年のため、選択肢がありませんでした。

どのような状態を目指していたか

ETL処理がコード管理されていて、プロダクトが増えたり環境が増えた場合でも運用コストが跳ね上がらないこと

• dbt

• DWHとして使っていたBigQueryとの親和性が高いこと
• 当時専任のデータエンジニアがいなかったため、運用コストを最小限に抑えられること

検討タイミングでリリース＆ワークフロー機能もGAされ（2023年5月）、Google Cloud上で一貫してワークフロー管理までできるようになったこと。

改善したかった課題はどれくらい解決されたか

クエリをコード管理できるようになり、レビュープロセス改善や、複数プロダクト・環境への対応が楽になりました。

どのような成果が得られたか

GitHubのPRベースでクエリ変更が進むようになり、変更の透明性が上がりました。 また、DWHが主要プロダクトの本番データ分析のみ可能だった状態から、リバースETLや開発環境向けパイプラインを追加する際に最小工数で進めることができました。

• クエリの移行にマンパワーが必要だったので、データに関心の強い開発メンバーを募って一気に移行を進めました。
• 当時メタデータ管理をTROCCO上で管理していましたが、データ活用のために合わせて移行する必要がありました。のちのちDataplex等に移行することを見越して、まずはスプレッドシートで簡易的なメタデータ管理をすることにしました。

すでにDWHとしてBigQueryを利用されている場合、導入ハードルが低いのでおすすめです。