データ調査の工数を1/10にするデータ品質モニタリングツール「elementary」の導入事例
参考になった
6
コミューン株式会社 / shomaekawa
シニアマネージャー / データサイエンティスト / 従業員規模: 101名〜300名 / エンジニア組織: 101名〜300名
| 利用プラン | ツールの利用規模 | ツールの利用開始時期 | 事業形態 |
|---|---|---|---|
Starter | 10名以下 | 2024年9月 | B to B |
| 利用プラン | Starter |
|---|---|
| ツールの利用規模 | 10名以下 |
| ツールの利用開始時期 | 2024年9月 |
| 事業形態 | B to B |
アーキテクチャ
会員限定コンテンツ無料登録してアーキテクチャを見る導入の背景・解決したかった問題
導入背景
ツール導入前の課題
データチーム発足前からの野良コードが散在しており、その野良コードによる不具合問い合わせが頻発していた。影響範囲特定やそもそもの不具合の検知に膨大な時間を取られていた。
どのような状態を目指していたか
elementaryのリネージで社内のあらゆるデータを一元把握できる状態。
まずはデータチームの普段の業務やデータの調査で活用し、ゆくゆくデータの民主化をする時には一般社員がリネージを見ながらデータの疑問を自分で解決できる状態にしたい。(その時にリネージの一元把握が重要になる)
比較検討したサービス
- Datadog
- DataPlex
比較した軸
カラムレベルのリネージ、BIまでのリネージ繋ぎこみの容易さ
選定理由
10X吉田さんの記事を参考にしました。
▼記事はこちら▼
https://speakerdeck.com/10xinc/elementarywoyong-itadetapin-zhi-noke-shi-hua-todetaji-pan-noyun-yong-gai-shan
導入の成果
改善したかった課題はどれくらい解決されたか
現在社内のほとんどのコードがリネージで追えるようになり、1回あたり5-20分かかっていた問い合わせによるデータの影響調査が影響箇所の特定は1クリック、その後処理を2-3分見ることで解決できるようになり、生産性が劇的に向上しました。
どのような成果が得られたか
- データ確認業務の生産性向上
- 監視結果をSlackで誰でも把握できる状態
導入時の苦労・悩み
すでに導入している方々にご助言いただきスムーズに導入できました。
導入に向けた社内への説明
上長・チームへの説明
目指したいデータ民主化の未来の説明と、データ調査の工数削減の見積もりを提示しました。
活用方法
データ分析やテーブルの整備をする都度、毎日何回も利用します。
よく使う機能
カラムレベルリネージ
ツールの良い点
- カラムレベルのリネージが可能でデータの影響調査の生産性が劇的に向上する
- LookerやTableauのデータソースもリネージの対象とできる
- テストをUIで作れるのでジュニアなメンバーでも運用しやすい
- データ監視を簡単に設計できてSlack連携なども容易
ツールの課題点
特になし
ツールを検討されている方へ
カラムレベルのリネージがあると日々のテーブル確認やデータの不具合調査がスムーズになり楽しくなります！
dbtご利用中の企業におすすめです。
今後の展望
データカタログとelementaryで非データ分析者が迷うことなく正しいデータを利用できるような状態までデータの民主化を進めていきたいです。
コミューン株式会社 / shomaekawa
シニアマネージャー / データサイエンティスト / 従業員規模: 101名〜300名 / エンジニア組織: 101名〜300名
ヤフーなどの大規模会員データを持つ企業でデータアナリストを担当し、前職ではBtoBSaaSのデータ基盤を 1から構築。2023年6月よりコミューンに入社。データチームの組成やデータ基盤の運用リード、データプロダクトの開発などに従事する。
コミューン株式会社 / shomaekawa
シニアマネージャー / データサイエンティスト / 従業員規模: 101名〜300名 / エンジニア組織: 101名〜300名
ヤフーなどの大規模会員データを持つ企業で...
レビューしているツール
目次
- アーキテクチャ
- 導入の背景・解決したかった問題
- 活用方法