マルチプロダクト・マルチデータソースでの品質を担保するデータ加工パイプライン
マルチプロダクト・マルチデータソースでの品質を担保するデータ加工パイプライン
会員限定コンテンツです。無料登録すると制限なしでお読みいただけます。
最終更新日 投稿日
アーキテクチャの工夫ポイント
アーキテクチャ選択の背景や意図
estie では不動産領域で多数のプロダクトを開発していますが、ベースとなるデータはデータチームが開発しているデータ加工パイプラインで生成されています。
提供するプロダクト数やデータの種類が増えるにつれデータ品質が課題となってきたため、従来の dbt Snowflake でのパイプラインに監視・異常検知基盤として Elementary を導入しています。
Elementary で監視する dbt テストはデータパイプライン開発者・プロダクト開発者双方の合意のもと実装されたデータコントラクトとして機能しており、プロダクトへの品質の担保とプロダクトからの品質の要求を同時にコード上で表現しています。
異常発生時には双方の開発者に通知が行われるほか、重大な異常の場合はサーキットブレーカーが作動しプロダクトに異常データを移送しないようにしています。
現在の課題と今後の改善予定
まだテストの整備は完全ではないので、今後はデータテストやコントラクトをより充実させることで品質を高めていければと思います。
◆執筆：山本 亮介
アーキテクチャを構成するツール
会社情報
株式会社estie
従業員規模 51名〜100名
エンジニア組織規模 11名〜50名
estieは、「産業の真価を、さらに拓く。」をパーパスに掲げ、商業用不動産業界が抱えるデータ流通の課題をデジタル化により解決し、業界の取引を円滑にするサービスを不動産デベロッパーや機関投資家などに提供しています。相互運用が可能な複数サービスを同時提供することで、一連の業務課題を解決するコンパウンドスタートアップとして、不動産業界のDXを推進しています。
