Ubie株式会社のLightdashの導入事例

ツール導入前の課題

• [データ利活用までの速度毀損]
  これまで利用していたBIツールはエンジニア以外にとって使いづらく、データ活用がなかなか進まなかった。結果アナリティクスエンジニアの工数がボトルネックになることが多かった

• [データ利活用までの信頼性・生産性毀損]
  同じような指標でもダッシュボードによって数値が揃わないことによる信頼性毀損が起こることで、データ利活用の生産性に課題があった

• [データガバナンスの適正化が煩雑]
  ユビーでは事業上センシティブなデータを扱うことが多いため、個人情報や各種ガイドラインに準拠したデータプライバシーやそれを会社として適正化していくためのデータガバナンスが求められる。一方、それを実現するために、これまで利用していたBIツールではエンジニアリングによる効率化や徹底化が困難だった

どのような状態を目指していたか

• 非エンジニアを含むデータ利用者がSQLを書かずデータ分析が容易になり、データドリブンな意思決定が活発化している状態

• 各ダッシュボードの数値がSSoT (Single Source of Truth)で更新され、定義や集計結果が異なるといったことを防ぎ、関係チーム間でデータを共通言語とした意思決定がスムーズに行える状態

• IaC (Infrastructure as Code) でデータガバナンスの徹底と効率化が容易に行える状態

• Looker
• Preset
• Redash
• Cube など

誰でも簡単に使える操作性がある

非エンジニアでも探索的にデータ分析したいニーズが多く、LightdashはGUIベースで直感的に操作できるUIを備えていたため、SQLの知識がなくてもデータ分析が可能でした。

dbtとの連携によるSSoTの実現ができる

ユビーはすでにデータトランスフォーメーションツールとしてdbtを採用しており、それとのシームレスな連携が実現できた。また、Metrics Layerの役割をdbtで利用するファイルで実装できるため、SSoTをシームレスに実現でき、生産性および信頼性の向上ができました。

Validation機能によるダッシュボードの可用性を向上できる

データソースの変更に対してチャートやダッシュボードが壊れないかをチェックするValidation機能があります。具体的には Preview projectの機能を使って、Deployする段階で検証・検知できる仕組みを開発できました。

オープンソースのカルチャーとIaCでデータガバナンスを実現できる

自分たちで開発に参加できることで、細かな修正だけでなくFeature Request の透明性が高められ、自分たちが欲しい機能の追加を進めやすいです。また、様々なAPIを提供してくれていることで、柔軟にカスタマイズでき必要な機能は社内開発できました。ユビーではIaCでデータガバナンスを適正化するために、Lightdashのリソースを管理するためのTerraform Providerを開発し公開しています。 コードによる適切な権限管理の徹底さが実現できています。詳細は下記を見ていただければと思います。

https://github.com/ubie-oss/terraform-provider-lightdash

https://yu-ishikawa.medium.com/lightdash-at-ubie-part-2-governance-at-scale-b8d38251ab18

その他にも、Experimentalな取り組みではありますが、Lightdashに関するdbt exposureが自動で作成され、更新があればGithub PRが日々自動的に作成されるCI/CDを運用しています。また、Lightdashに必要なYAMLプロパティの半自動挿入やカスタムリンターをデータエンジニアが開発して社内で運用しています。このようなカスタマイズが可能な点が非常に強力です。

開発の活発さと将来性

開発チームのコミュニティや今後の開発ロードマップがUbieにとっても適していました。またサポート体制も強く、Slackで気軽に質問や要望依頼もできるので助かっています。

• 非エンジニアでも探索的にデータ分析できるようになり、データ利活用の増加・アナリティクスエンジニアがボトムアップになるケースが減りました。

• dbtと連携することで、SSoTが実現できてるケースが増えました。とくに数値ズレなどが起こりにくくなり、だれもが同じ数値を見れる環境が整ってスムーズに意思決定できるシーンが増えました。

• データ利活用の生産性だけでなく、データガバナンスの適正化もIaCで管理できたことで、スケーラビリティの高い状態で厳格さを維持できています。

導入時はアナリティクスエンジニアやデータアナリスト以外のメンバがdbtによるテーブルを作成する頻度は多くはなかったので、いきなり各チームに導入するのは難しかった。

一方、dbtの開発が浸透すると同時にLightdash成功のモデルケースが複数でてきたことで、浸透が進んでいきました。時間はかかるとは思いますが、着実にやっていくことが必要でした。

dbtが前提とはなりますが、まずは気軽にOSS版を試してみるのがよいと思います。 https://github.com/lightdash/lightdash

導入後1年以上経過しましたが、以前使ってたBIツールを使う頻度は大きく減少し、各チームLightdashをベースとしたダッシュボードが増加しており、期待していた効果が出ていることを感じています。また、APIによる拡張性も強力で、ユビーにとって欲しい機能が独自開発できた点も開発生産性の向上に寄与しています。

さらなるLightdashの機能拡張とともに、他企業さまでも利用者が増えていってほしいと思います！