プロダクト分析サービスの超高速集計レイヤーとしてのTiDB

ツール導入前の課題

• 大量のユーザー行動データによる高度な分析サービスを提供する中で、クエリの高速な実行と可視化が分析機能の価値に直結する。そのため常日頃より高速化できる方法を模索していた。
• DWHを中心として構築しているが、よりUser facing層にマッチするDBの探索も行なっていた
• immutableデータのみで考えればOLAP特化型のDBが候補だが、mutableデータも単独で扱いやすいHTAP DBがマッチすればシンプルな構成にもなると考えていた

どのような状態を目指していたか

• 0.x秒以内で分析処理を捌ける状態
• 複雑なデータパイプライン(ETL/ELT)は構築しない

それぞれ特性が大きく異なるが、多角的に検討/検証

• AlloyDB
• ClickHouse / Druid / Pinot
• BigQuery

• パフォーマンス
• スケーラビリティ
• 組み込んだ時にどれだけアーキテクチャをシンプルにできるか
• コスト

• OSSである
• TiDB各コンポーネントは独立的に開発されていて、選択的に導入し拡張できる構成ながらシンプルなオペレーションで実現できるモダンな作り
  • TiDBを通して、TiKV/TiFlashを透過的に使える
• 水平スケール性が重視されていて、多様なお客さまの大量のデータを扱うマルチテナント型サービスのDBとしても十分使える可能性をアーキテクチャに感じた
• PingCAP社によるフルマネージド型サービス・サポートの存在
• 当初JSON_EXTRACTなど使用したいJSON関数がTiFlashでサポートが無くFeature requestとなったがその次のverで対応された開発サイクルの速さ

検討から検証の実行、結果それぞれについて、詳細はこちらのスライドをご参照下さい。