KDDIアジャイル開発センターのdbt導入事例：dbtとGitHub ActionsでシンプルなELTを実現

ツール導入前の課題

社外とのデータ連携プロジェクトの立ち上げの際にデータモデリングツールとしてdbt Coreの採用を決めました。

どのような状態を目指していたか

データモデリングを適切に行いデータ品質を担保できる状態

• dbt Core
• dbt Cloud
• SQLMesh

• DWH：Snowflake
• コードホスティングサービス：GitHub Enterprise Server
• CI/CD：GitHub Actions（Self Hosted Runner利用）
  

という条件の中で利用できるELTツールを求めていました。

• CI/CDへの組み込みが容易
• ネット上での日本語・英語の知見が豊富
• ELTツールとしてのデファクトスタンダードの地位を獲得しつつある
  

といったポイントからdbt Coreの採用を決めました。

dbt CoreをGitHub Actionsと組み合わせて使用することでデータモデルのコードを書いてそれをデータ基盤に反映するまでのプロセスをスムーズに行うことができています。更にGitHub Actionsの定期実行の機能を利用することで簡易的なデータパイプラインとして動作させることもできています。
またdbtのmacroを活用して作成したデータモデルをSnowflakeのアカウントへシェアすることもdbtで完結させることができました。

チームメンバーにdbt Coreの利用経験があるメンバーが少ないことが課題でしたが導入に際してdbtの研修を実施しているちゅらデータさんにお願いして研修を実施しdbt Coreについての知識を短期間で一定引き上げてプロジェクトへの導入に移ることができました。

データモデリングを行う上で非常に使い勝手が良いツールです（データモデリング界の十徳ナイフと勝手に呼んでいます）。
まずはお手軽にデータモデルの管理ツールとして利用するもよし、dbt snapshotやincremental modelなどの機能を活用して高度なデータモデリングを実現するもよしといった利用する開発者のレベルに応じた使い方ができるツールかと思っています。

• Unit Testsの活用
  dbt 1.8からUnit Testsが行えるようになりました。
  これまでも似たようなことができるPackageはありましたがコア機能としてUnit Testができるようになっています。
  プロジェクト内である程度複雑なロジックを含んだSQLに対してこの機能が活用できるのではないかということで機能の検証を行っています。
• ワークフローオーケストレーションツールの導入
  現時点ではシンプルにデータモデルの作成のみしか行っていないのでGitHub Actionsから直接dbt Coreを呼び出すアーキテクチャとしていますが今後Snowflake上にあるデータを活用した機械学習パイプラインの構築も予定しているのでより複雑なデータパイプラインの構築が行えるDagsterやAirflowのようなワークフローオーケストレーションツールの導入を行いたいと考えています。