コミューン株式会社における、dbt-coreとdbt Cloudを併用したデータ処理基盤

dbtとは

dbtは、データ変換（ETL）のプロセスをシンプルにし、データパイプラインの管理を効率化するツールです。
従来、データの変換や整形は認知負荷が高く、複雑で記憶頼りの作業が多く、ロジックの差分や不整合エラーが発生しやすいものでした。
そこでモダンデータスタックを構成できるdbtを導入することで、以下のような問題が解決されます。

1. データの整形・変換作業の効率化
   複雑なSQLクエリの共通化やマクロを用いたループ処理やパラメータ化により、
   可読性を保ったまま再利用可能なデータモデルを定義・実行できるようになります。

2. データパイプラインの可視化と管理
   モデルの依存関係を可視化し、データの流れを把握しやすくなります。
   これにより、エラーの発見やトラブルシューティングが迅速に行えるようになります。

3. CI/CDによる効率的な運用
   dbtはCI/CD（継続的インテグレーション・継続的デリバリー）と組み合わせて使用することで、
   データパイプラインのテストやデプロイを自動化し、品質の維持が容易になります。

さらに、データ収集からBIでの活用まで、dbtの周辺ツールがサードパーティーからも数多く提供されていてエコシステムが成熟してきております。

開発体験の良さ

VSCodeの機能拡張「dbt-power-tools」は、dbtを活用した効率的な開発を支えるための必須ツールです。
ローカル開発環境に取り入れることで、次の機能が使えます。

• どのテーブルに依存していて、どのテーブルに参照されているか図としてテーブルのリネージュが見られる
• 参照しているテーブル(モデル)のスキーマ構造と説明文がマウスホバーしたら見える
• モデル名などの補完入力が行われるので打ち間違えない
• SQLの実行結果をプレビューしたり、過去の実行結果を別のタブで開いて見比べられる
• テーブルが開発環境になければ、本番環境のDWHテーブルを参照できるdefer to prodが使える

データ品質テスト

世界中の各種データ活用企業のニーズによって生み出された、さまざまな品質テストを行うパッケージが dbt Tests Hubにて提供されています。
ユースケース毎の絞り込みがあり、目的毎に探索できる形で公開されております。

人材の教育のしやすさ

dbt Learnというオンライン講座ではビデオ学習コンテンツが充実しています。
基礎的な入門編から、応用編、運用編の範囲で、それぞれ細かなチャプター毎に受講できるので進めやすいです。
こちらのdbt 基礎コースだけでも一通り受講すればかなりの即戦力になるのでお勧めです。

dbt Cloud

実行環境のバージョンアップ運用をせずに、常に最新安定版を使えることがメリットです。