【投票キャンペーン対象】Mirrativを支えるシンプルで堅牢な分析基盤

アーキテクチャ選択の背景や意図

Mirrativは、スマホ1つで誰でも簡単にゲーム配信ができる、スマホ画面共有型ゲーム配信プラットフォームです。
子どものころ、友だちの家に集まってテレビを囲んでゲームを楽しんだような世界観をプラットフォーム内で再現しています。
Mirrativでは、ユーザーさんが配信や視聴を楽しんでもらうために様々な分析を行いユーザー理解に努めています。

Mirrativの分析基盤の特徴を一言で表すなら、「シンプルで堅牢」です。

基本的な構成は上記にあるように、ユーザーの行動ログRaw(Log)と本番環境のデータベースから取り出したユーザーの状態レコードRaw(DB)を毎朝企画運営担当者が使いやすい構造化されたテーブル(DWH)に集計しています。
データウェアハウスは大規模なデータでも比較的短時間で集計結果を返してくれるBigQueryを活用することでデータマートは作らずにRawデータと集計されたテーブルの２種類のみを使っています。

Logの取り込みはFluentd,データベースからデータロードはEmbulkを使っています。
両方とも実績があり安定して稼働しています。
本番環境とは別の環境に分析基盤を作ることで分析基盤でなにかトラブルがあった際に、本番環境が影響を受けないようにしています。

データベースのロードやDWHの生成にはDigdagを使用しており、あまり複雑ではない構成にしています。

現在の課題と今後の改善予定

現在、分析対象が配信情報や視聴情報の構造化データが主です。
しかし、Mirrativはライブ配信サービスなので、ユーザーのコメントや動画そのものなどの非構造化データも存在します。
それらの非構造化データも分析対象に出来ないか検証を始めています。

また、Mirrativ自体が10周年を迎え、分析者に今までに行った様々な施策に対する深いドメイン知識が必要になってきました。
それらのドメイン知識をサポートするため、どのテーブルのどのカラムにどのような情報が格納されており、どのような意味を持っているかを整備するデータカタログ構築を進めています。

※ミラティブのシステムアーキテクチャ全体については、こちらの記事でも詳しく紹介されています。

◆執筆：芝尾幸一郎　@shibacow