DatastreamによるMySQLデータの分析環境改善

ツール導入前の課題

TVerでは、基本的にBigQueryにデータを集約し、BIツールとしてRedashを利用することで各種分析を行なっています。

取り扱うデータの一つとしてTVer IDの会員マスタ情報があるのですが、これはAmazon RDSで構築したMySQLでホストしています。従来、RedashからはEC2による踏み台経由でMySQLへアクセスすることで、随時更新される最新のデータを分析できるようにしていました。

この従来の構成では、以下のような課題がありました。

• Redashで作成するクエリは大部分がBigQueryのSQLであるにも関わらず、BigQueryとMySQLをJOINするような分析が行えないという制約がありました。
• 当時のMySQLインスタンスのスペック上の制約でもありますが、従来の構成ではMySQLに対して実行したクエリのレスポンスに数時間かかっていました。結果、分析担当者がRedashで実行したクエリの実行状況を見に行く必要があったりRedashのワーカーを長時間占有したりするなど、分析が滞る原因となっていました。

どのような状態を目指していたか

BigQueryに会員マスタ情報のデータを同期することで、下記2点の実現を目指しました。

• 会員マスタ情報の分析を全てBigQueryのクエリで完結させられるようにすること
• BigQueryのサーバレスなコンピューティングリソースを活用することによる、会員マスタ情報の分析業務のリードタイムの短縮

• AWSで稼働しているMySQLのダンプをバッチでエクスポートした後にGoogle Cloudへ転送する方式

導入および運用が簡単であること

• MySQLとの接続に必要な設定が簡単にできること
• リソースの監視やエラー時のデータ取り込み直しなどの運用が簡単であること

従来のように、RedashからMySQLのテーブルに直接アクセスする構成では、

• MySQLのテーブルとBigQueryのテーブルのJOINができないため、一つのクエリでは、会員マスタ情報に閉じた分析しかできませんでした。
• また、一つのクエリ実行に数時間かかっていたため、会員マスタ情報の分析のリードタイムが実用的ではありませんでした。

Datastreamを導入することにより、BigQueryにMySQLのテーブルを同期させることで、

• 会員マスタ情報の分析は全てBigQueryで完結させられるようになりました。
• サーバレスであるBigQueryのコンピューティングリソースを活かして会員マスタ情報を分析できるようになりました。

その結果、成果としては、

• MySQLにあるデータと既存のBigQueryにあるデータを一つのクエリの中でJOINすることが可能になり、より幅広い分析ができるようになりました。
• また、一つのクエリ実行が十数秒で完了するようになり、会員マスタ情報の分析業務のリードタイムが大幅に短縮されました。

従来、同期先のテーブルには変更内容をmergeする機能しかありませんでした。最近追加されたappend-onlyのモードを利用すると、レコード追加・変更・削除といったイベントが同期先のテーブルに追記されていくようになります。これにより、過去の任意の時点の同期元のテーブルの状態を、同期先で復元できるようになります。Datastreamの利用の幅が広がる機能です。

https://cloud.google.com/blog/products/data-analytics/understanding-datastream-append-only-mode