カイポケデータプラットフォームにおける Datastream の活用

ツール導入前の課題

新規で導入しました。

新しいカイポケのデータプラットフォームの構築にあたり、Amazon Aurora PostgreSQL 上に存在している既存のデータベースからBigQueryを中心とするGoogle Cloud のデータ基盤へデータをコピーする手段の一つとして検討しました。

どのような状態を目指していたか

データプラットフォームの構築にあたりGoogle Cloud 上に構築された BigQuery を中心としたデータ基盤にデータをコピーする手段として、チーム内で運用可能で支払い/運用コストがリーズナブルな範囲で収まっている状態

比較対象となりうる手段は以下がありますが費用面や運用工数の面で大きな差があり詳細な比較は行なっていません。

• TROCCO
• debezium (セルフホスティング)

データプラットフォームには潤沢な人的リソースはないため、マネージドな手段で変更データキャプチャ(CDC)が行えることが主要な条件となっていました。当然ですが費用が高額すぎないことやセキュリティやガバナンス上の懸念などもベースラインとしてクリアしている必要があります。

Google Cloud のデータスタックを利用するにあたり標準的な構成であり、他のデータスタックを決めた時点で半ば自動的に決まっていく構成であり、それほど大きな論点はありませんでした。

改善したかった課題はどれくらい解決されたか

新しいカイポケのデータプラットフォームの構築は概ね順調に進んでおり、プラットフォームの新規構築手段としての成果には満足しています。

どのような成果が得られたか

カイポケのデータプラットフォーム自体がまだ正式な運用が始まっていないため、運用が始まっている段階での評価ではありませんが、構築・テスト段階における現在までの運用コストは期待通り低いものに治っていると考えています。

マイナーなトラブルは生じているものの、Google Cloud のサポートの十分な助けを得ることができているためトラブルに対する強い不安は感じていません。

Datastreamそのものに対するものではないですが、導入時に必然的に必要になる連携先のコンポーネントであるPostgreSQLやネットワーク構成上依存関係にあるクラウド間のVPNなどに対する担当者のノウハウ不足があり、これをキャッチアップしながら構築を進行するのに時間を要するケースがありました。

Datastream自体の概念は難しいものでも複雑なものでもないと思いますが、周辺のシステム・サービスと連携を行う際にはそれぞれに対する知識やノウハウ、例えばPostgreSQLのレプリケーションの仕組み、レプリケーションに関する権限構成の仕組み、VPN接続を使ったネットワーク構成といったものです。