ファインディ株式会社におけるEmbulkの導入事例

ツール導入前の課題

ユーザー行動ログとデモグラフィックデータを掛け合わせた分析をしたいが準備の負担が大きいという課題がありました。具体的には、Web Serverのコンテナからユーザーの行動ログを取得する作業、Web Serverのコンテナを踏み台にDBのデモグラフィックデータを取得する作業が必要でした。

どのような状態を目指していたか

ユーザーの行動ログとデモグラフィックデータを掛け合わせた分析が、単一のデータウェアハウスでSQLを実行することで可能である状態。

• Embulk on ECS
• Embulk on Cloud Run with VPC Peering
• Datastream

費用と工数の2軸で判断しました。Findy Toolsは現在、リアルタイム・ニアリアルタイムでデータを処理する社内ニーズが無いです。Datastreamは強力なデータ送信技術で、候補にもあがりましたが、今回の構築ではオーバーエンジニアリングと判断しました。また、AWSのMySQLと通信する時にAWS側においておくとVPC Peeringの開通作業が不要になり、工数を減らせるのでECSを選択しました。

EmbulkはCLIで、設定ファイルを書くだけで機能するため、開発にかかる工数がプログラムを書くより少なく済みます。また、社内の他のプロジェクトで導入実績があり、知見があることも選定の後押しになりました。

改善したかった課題はどれくらい解決されたか

滞りなく解決されました。

どのような成果が得られたか

SQLが書ければ誰でも行動ログとデモグラフィックデータを掛け合わせたデータ分析を始められるようになりました。

開発環境からAWSのMySQLに直接アクセスすることができないため、ローカルのDockerでの検証が難しい課題がありました。そこで開発時はAWSの検証環境で検証しています。なお、生のawsコマンドは指定する綱目が多く負担になるため、ラッパーコマンドを自作しています。

Embulkは枯れた技術ではありますが、2024年秋頃からメンテナンスに動きがあるので、よく確認してから使うべきと考えます。

作成したデータ基盤を用いて、Findy Toolsのデータ活用を進めていく所存です。