Dataformによるデータ分析基盤構築及び、ツール選定と活用事例について

ツール導入前の課題

サービスのフルリニューアルに伴い、データ分析基盤も一から再構築することとなりました。 以前の基盤では Fivetran、dbt、BigQuery を組み合わせて運用しておりましたが、それぞれが独立した外部サービスであったため、アカウント管理やサポート窓口など分散しており、保守・運用面で課題を感じておりました。開発面においては、dbt<->BigQueryのツール感の往復があり、複雑なロジックのデバッグ作業など、効率良く出来ませんでした。

どのような状態を目指していたか

Google Cloud内で管理と開発を完結させることで、開発・運用の両面でガバナンスが効いた高効率な状態

dbt

使いやすさと開発効率

Google Cloud内で完結し、BigQueryとのシームレスな連携が出来る点

改善したかった課題はどれくらい解決されたか

• 保守・運用面: Google Cloud内に全て完結されたことで、分散していたものが一元管理できるようになりました
• 開発面: Dataform上で即時に実行できるようになり、開発効率が改善されました

dbtとDataformどちらも遜色なく良いサービスですし、学習コストもそれほどかからないと思います。 保守・運用を考えると、Google Cloudに集約し、管理をシンプルに保てるということがDataformを使っているメリットだと感じております。 機能面においてはdbtに劣る面もあるかもしれませんが、ツール自体の利用が無料ですので、試してみて判断されるのが一番良いかと思います。