オプティマインドにおけるDataform導入によるデータ品質向上への取組事例

ツール導入前の課題

有用なデータが散在しており、それらのデータを組み合わせて行うアドホックな分析などの際には開発者が各チームに情報収集を行いアクセス方法を確認し、ローカルなどから適宜アクセスする形で利用していました。そのため解析に関する作業が容易に属人化し、各種解析モデルの一貫性の担保や組織としてのナレッジ蓄積に対して課題がありました。

どのような状態を目指していたか

上記のような課題感から以下を達成するための手段を探していました。

• 共通として切り出せるデータの前処理のモジュール化
• ステップ毎のデータ整合性の担保
• 容易にレビューできチームとして開発できる体制

dbt

コストやUI/UXの観点でスモールスタートが切りやすいシステムであること。

BigQueryのエコシステムとして位置付けられているため無料であり、GoogleCloudConsoleから簡単に始めることができた点。

改善したかった課題はどれくらい解決されたか

BigQueryのRemoteFunctionsを用いた処理の共通化やAssertionによるデータレイヤー単位での整合性の担保、またそれらのレビュー体制を構築することで課題に関しては十分に改善されたと思います。

どのような成果が得られたか

BigQuery周りのエコシステムを活用しつつ簡易かつ高速にスタートを切ることができました。
データレイヤー単位で整合性を担保することができるので問題が起きた際の検知速度が上がり、最終結果に不整合のあるデータが混じるリスクも低減できました。

2022年当時はチーム開発として必要な機能が揃っているとは言い難かった。
※当時の話はこちらにまとめました。(https://zenn.dev/optimind/articles/56a40ed34b7268)

2022年当時はスケジュール実行はCloudSchedulerなどと組み合わせる必要があったが、そのあたりの必須機能が揃ってきており、ある程度のことはDataformだけで完結できるようになってきたように思います。
やはりよく比較されるdbtとでは周辺ツールの充実度などで負ける印象ですが、自分自身の用途に対して必要十分な機能が揃っていると判断した上で簡易にELTツールを導入したい方にはお勧めします。

Gemini in BigQuery(※)などのBigQuery周辺の別機能の恩恵にあずかれる点も非常に良い点だと思っていて、BigQueryとの親和性の高さを活かした強いアップデートが今後も行われることを期待しています。
※ただし2025年より有料化するとのことなので、その点は注意が必要です。(https://cloud.google.com/bigquery/docs/release-notes#November_14_2024)