【投票キャンペーン対象】ヤプリのプロダクトとビジネスを支える2系統のデータアーキテクチャ
アーキテクチャの工夫ポイント
アーキテクチャを選定された背景や意図
ヤプリは、ノーコードのアプリプラットフォーム「Yappli」を開発している企業です。弊社では、「プロダクト用」と「ビジネス用」の2つのデータ基盤を運用しています。
プロダクト用データ基盤
この基盤は、Yappliから生成されるデータを収集・加工し、Yappli管理画面の ダッシュボード での表示や、その生データをお客様へ提供するサービス「 Yappli Data Hub 」を支えています。
特長は、データの ①取り込み、②加工、③提供の3フェーズを完全に分離 している点です。取り込みと提供はエンジニアチーム、加工はデータチームが担当しています。この分業により、加工処理の改修がデータチームだけで完結するようになり、データチームにとっては改修に取り組みやすく、エンジニアチームにとっては工数を取られなくて済むようになりました。
さらに詳しい情報は、以下の記事をご覧ください:
- 基盤の成り立ち: #みん強 に『プロダクト観点で考えるデータ基盤の育成戦略』という題で登壇しました! - Yappli Tech Blog
- dbtの導入経緯: データ組織・基盤をスケール可能にするために dbt Core を導入した話
- 責務分離の話: DataOps Night #7に『他チームへ越境したら、生データ提供ソリューションのクエリ費用95%削減へ繋がった話』という題で登壇しました! #dataopsnight - Yappli Tech Blog
ビジネス用データ基盤
この基盤は、日々の営業やカスタマーサクセス(CS)といったビジネス活動から生まれるデータ(ビジネスデータ)を収集・加工し、営業利益やチャーンレートなどのビジネス指標をモニタリングするために活用されています。
以前は、ビジネス活動のデータが主にSalesforceで管理されており、部署や目的ごとにSalesforceレポートが乱立し、どのデータを信頼すべきか不明瞭な状況でした。また、一部のデータはスプレッドシートで管理され、データのサイロ化も進んでいました。そこで、 TROCCO®、BigQuery、Looker を活用し、安心してデータを信頼できるSingle Source of Truth(SSOT)な世界の実現を目指しました。
具体的には、TROCCO®やBigQueryの外部テーブル機能を使ってSalesforceやスプレッドシートのデータをBigQueryへ集約しています。データの加工については、まずTROCCO®で共通データマートを作成し、その後Lookerで目的や用途に合わせたデータモデリングを行っています。
ビジネスデータを分析する際は、データソースとしてLooker上のデータモデルのみを使用することで、SSOTを確実に保っています。
現在の課題や今後の改善予定
プロダクト用データ基盤
Yappli CRM(=内製データソリューション)は、歴史的な経緯からYappli Data Hubのデータ提供経路と共用していますが、今後は専用経路を設け、そちらへ切り替えることを検討しています。現状、経路が共用であるために保守工数が発生しており、専用経路へ移行することでこの工数を大幅に削減できると見込んでいます。
ビジネス用データ基盤
データ基盤の成長に伴い、TROCCO®のみでデータ加工処理を管理することが困難になってきました。そのため、プロダクト用データ基盤と同様に、dbtで加工処理を管理し、TROCCO®でオーケストレーションを行う構成への変更を計画しています。
◆執筆: 開発統括本部 プロダクト開発本部 データサイエンス室 山本 雄太 (X: @__Y4M4MOYO__)
【ヤプリのエンジニア組織の情報】
アーキテクチャを構成するツール
会社情報
株式会社ヤプリ
従業員規模 101名〜300名
エンジニア組織規模 51名〜100名
「Yappli」はアプリ開発・運用・分析をノーコード(プログラミング不要)で提供するアプリプラットフォームです。導入企業は700社を超え、店舗やEコマースの集客と販促支援、従業員のエンゲージメント向上を目的とした社内アプリ、学校法人や自治体のDXアプリなど、幅広い業界の課題解決に活用されています。