株式会社High Linkのdbt導入事例

導入時の詳細については過去のブログにてご紹介しておりますので、こちらもご参照いただけますと幸いです。

dbtを導入して小規模チームでも運用可能なデータマネジメント体制を構築した話

ツール導入前の課題

Data WarehouseとしてBigQueryを採用し、データパイプラインを整備、BigQuery内のテーブルはコンソール上のスケジュールクエリで定義していました。

しかしながら、コンソール上で定義したテーブルが増えてくるに従い、次のような問題が露呈してきました。

• コンソール上でテーブル定義を自由にできてしまうため、クエリのレビューの仕組みがない（担当者同士がケアするしかない）
• テーブル定義の変更履歴を管理できない
• テーブル同士の依存関係のトラッキングが大変
• テーブル定義のドキュメントをアドホックに管理するのが大変

特に当時の運用ポリシーでは、事業の担当者がある程度自由にテーブルを増やすことができるようにしていたため、このまま野良のテーブルが増えていくと管理がますます難しくなることは目に見えていました。

こういった課題を解決するために、仕組みの改善が求められました。

どのような状態を目指していたか

当時やりたかったことは以下です。

• データモデリングをチームで管理できる体制を構築する
• テーブル定義をGitHub上で管理して、CI/CDの基盤を整える
• データリネージを構成する
• ドキュメントを自動生成する

• dbt Cloud (マネージド版)
• dbt Core (OSS版)
• Dataform

• テーブル定義のコード管理やデータリネージの構成などやりたい機能が満たせるかどうか
• コスト面（ツールコスト・メンテナンスコスト）

dbt も Dataform も機能要件は満たしていました。 しかしながら Dataform は当時 GCP への統合作業が進んでおり、新規サインアップを停止していたため dbt を選択しました。

dbt Core であれば OSS なので無料で利用できるというメリットはありますが、インフラを管理するリソース的な余裕はなかったためマネージドインフラを提供してくれる dbt Cloud を選択しました。

改善したかった課題はどれくらい解決されたか

1/ コンソール上でテーブル定義を自由にできてしまうため、クエリのレビューの仕組みがない（担当者同士がケアするしかない）

• dbtの導入と併せて、warehouse層/mart層のテーブルに関しては全てデータエンジニアリングチームが dbt で管理するようにし、野良のテーブルが乱立しないようにしました
• テーブル定義は GitHub 上で管理しているので新しいテーブルを定義する際には必ずコードレビューが入り、品質が担保されるようになりました
• また、dbt のテスト機能を活用することでデータ品質の担保もできるようになりました

2/ テーブル定義の変更履歴を管理できない

• GitHub 上のコミットログが残るようになったので解決しました

3/ テーブル同士の依存関係のトラッキングが大変

• dbt がデータリネージを構成してくれるので、upstream/downstream の影響範囲が明確になりました
• また、exposure を活用することでダッシュボードとテーブルの依存関係も可視化できるようになったので不要なテーブル削除オペレーションがかなりやりやすくなりました

4/ テーブル定義のドキュメントをアドホックに管理するのが大変

• テーブル定義の yml でカラム description を一緒にを定義できるようになり、これが自動的に BigQuery 上(Count 上)のコンソールに反映できるのでドキュメントの管理はかなりやりやすくなりました
• dbt で description を管理することをベースに、開発チームと連携したテーブル・カラム説明文の拡充フローも構築することができました（参考: スプレッドシートを活用して組織横断的にテーブル・カラムの説明文を入力した話）
• さらに、dbt-osmosis を利用することで上流モデルのカラム説明文を継承することができるようになったことで実装の手間がかなり削減されました

dbt の基本的な実装は SQL をベースとしているのでスムーズに理解できましたが、dbt 上でモデリングする上でのディレクトリ構成や、自分たちの出力先データセット環境に合わせたカスタムスキーマの設定など、自分たちの環境に合わせたカスタマイズをするのに一定キャッチアップが必要でした。

無料で使い始めることができますし、ドキュメントもたくさんあるのでまずは使ってみて実際の運用イメージを掴んでいただくのが良いかと思います。

dbt を軸とした開発・運用のフローを整備することでチームでのデータマネジメントは格段にやりやすくなりました。

今後は引き続き事業成長を加速させるためのデータ基盤整備を進めつつ、重要なデータに関しては unit tests や anomaly detection tests (elementary を導入することで利用可能) を拡充しデータ品質の向上を目指していきます。