ファインディ株式会社でのdbt-core活用事例

ツール導入前の課題

SpreadsheetやGASから利用されているBigQueryへのクエリが管理できておらず、分析クエリの質を担保できませんでした。 また、スケジュールクエリやSpreadsheet内でデータが変換されており、データリネージが追えない状態になっていました。

どのような状態を目指していたか

• 定常分析のクエリをデータエンジニア・データアナリストが適切にレビューできる
• データリネージを可視化し、変換処理を変更した際の影響範囲を特定できる

• Dataform
• dbt Cloud

• ツールのコミュニティが活発で知見が探しやすいこと
• 導入コストが低いこと

• dbtのエコシステムやコミュニティがDataformと比較して充実していること
• dbt利用者に開発経験のある人が比較的多く、ある程度運用コストを許容できること

改善したかった課題はどれくらい解決されたか

dbt-coreの導入で、定常分析のクエリを適切にレビューする体制が整いました。 dbtに処理を集約してdbt docsをGithub Pagesで公開することで、開発者・利用者がリネージを簡単に追うことが出来るようになりました。

どのような成果が得られたか

データ整備によりモデル開発が活発になり、dbtレポジトリへのコミッターは2人→7人になりました。

Embulk・TROCCOによるデータ転送とdbtによる変換のタイミングを人手で合わせているので、全体を統括するワークフローエンジンを導入したいと考えています。