新卒ダイレクトリクルーティングサービス「OfferBox」のデータアーキテクチャ

株式会社i-plugは、「つながりで、人の可能性があふれる社会をつくる」をグループミッションに掲げ、新卒ダイレクトリクルーティングサービス「OfferBox」を主力事業としながら、一人ひとりが自分らしいキャリアを育てられるプラットフォームの実現を目指しています。今回は「OfferBox」のデータ基盤について解説します。

従来のデータ分析環境はイベントログを記録するMySQLのテーブルやファイルログが散在しており、ユーザー行動の包括的な分析が困難でした。また、データベースに蓄積されるイベントログテーブルがストレージ全体の圧迫要因のひとつとなっており、ファイルベースによる蓄積に変えていく必要がありました。 通常のアクセスログは既にfluentdを経由して長期保存用のAmazon S3と短期間のモニタリング用としてDatadogに転送する仕組みがあります。 そこで、以下の方針で新たにログ集積に基づいたデータ分析環境を構築することにしました。

1. バックエンドサーバーへのリクエストに、分析しやすい付加情報を追加したフォーマットに修正する
   
2. 集積されたログに対して障害調査用のAmazon Athena環境と、データ分析用のETL処理を新設し、データ分析の基礎データをログベースのものに変更していく
   

まだ導入したてですが、調査タスクでの利用で既存環境と同等以上の精度で結果が得られることがわかりました。分析データはこれから蓄積されていくことになりますが、よりよい精度で結果を得られると期待しています。

現在の課題と今後の改善予定

現在の環境はバックエンドリクエストが発生する箇所のログ集積を達成していますが、アプリやフロントエンドにおける画面操作の分析データは集積できていません。現状はサードパーティ製品の分析を利用しておりますが、サードパーティデータの自社の分析環境への取り込みを進めるか、イベントログデータ自体を自社集積するように変更するかを検討予定です。

◆執筆：
小椋 隆史 プロダクト開発部技術基盤グループ
手﨑 隆介 プロダクト開発部技術基盤グループ

【サービス公式サイト】
https://offerbox.jp/