ファインディのデータアーキテクチャ

ファインディでは、エンジニアと組織の転職マッチングプラットフォームやエンジニア組織支援SaaS事業を開発しています。その中でも今回は、エンジニア向けの転職サービス「Findy」、フリーランスエンジニア向けのエージェントサービス「Findy Freelance」のデータ基盤についてご説明します。
アーキテクチャとしてはプロダクトごとにデータ基盤を構築するデータメッシュを採用しています。以前は中央集権的に BigQuery へデータを集約していましたが、メンバーやデータ活用の用途が増えるにつれ、影響範囲の見積もりづらさや複雑な IAM 管理が問題になりました。事業部ごとに IAM やデータリネージを管理すべく Google Cloud のプロジェクトを分けてそれぞれの BigQuery へデータを集約するように変更しました。
また以前は BigQuery のデータセットも役割ごとに整理できていませんでした。現在は source/staging/intermediate/mart とそれぞれに役割を設けてテーブルを管理しています。
データインテグレーションやリバース ETL ツールには TROCCO を使っており、事業部からの様々な依頼に対応できるようにしています。

弊社のデータ基盤の変遷と詳細な技術スタックについてはテックブログでも紹介していますので、ぜひご参考ください。
Findyデータ基盤のアーキテクチャと技術スタック

現在の課題と今後の改善予定

Transform ツール（dbt, Dataform）が事業部間で違っており、ノウハウが蓄積できないことが課題と感じています。現状はデータ利活用の機会を増やすことに重きを置いているため事業部と相談しながら柔軟にツール選定しています。
またアーキテクチャ上、事業部ごとにプロジェクトを分けたことによりデータ連携のハードルが上がったことも課題です。この点に関しては Google Cloud の Analytics Hub などを使って組織内でシームレスにデータ連携ができるように調整していく想定です。

◆執筆：CTO 室/データソリューションチーム　アシスタントチームリーダー/データエンジニア　開 功昂　 @hiracky16

【サービス公式サイト】
IT/Webエンジニアの転職・求人サイトFindy
Findy フリーランス