【投票キャンペーン対象】Vポイントのデータ×AI活用を最大化するSnowflake/Databricksハイブリッド基盤

アーキテクチャ選択の背景や意図

弊社は日本最大級の共通ポイントサービス「Vポイント」を運営しており、1.3億人のV会員の属性データや購買データなどのライフスタイルデータを活用したデータベースマーケティング事業を行っております。

そのVポイントの分析基盤は、以前はオンプレのOracle Exadata、Vertica、クラウドのAzure Synapse Analyticsに分散しており、これらを2021年から数年がかかりでSnowflakeへ統合しました。
このような大規模な移行を確実に実現するに辺り、SnowflakeのDWH性能や他のDBからのSQL互換性は非常に重要でした。
またシンプルで使いやすく高度のマネージドされたSnowflakeは少数のデータエンジニアのリソースでも効率良く運用できること、また学習コストも低いというメリットがありました。

AI領域については2022年にDatabricksを知り、その充実した開発運用機能がデータサイエンスに効果的と判断し、既存のIaaS構成をDatabricksにフルリプレイスしました。
これによりデータサイエンティストやAIエンジニアは分散技術やOSSへの学習コストは発生するもののインフラに関して制約がほぼなくなり、
モデル開発やAI研究に注力できるようになり、生産性の高い開発業務を実現できています。
またLakehouse Federationの機能により、データコピーを持つことなく、Snowflakeにあるデータを直接活用できるようになり、データサイエンティストやAIエンジニアは、sparkの得意とする大規模データ処理やGPUを含む柔軟なマシンリソースにより、自由度高くモデル開発やAI研究を行っています。
その成果の1つとして、Vポイント会員1.3億人に対する、数百項目のライフスタイル推計を実現する大規模機械学習モデルをDatabricksで運用しており、これらはSnowflakeに逆連携され、V会員のペルソナ分析や各種DMやキャンペーン、クーポンなどのメディア配信や販促セグメントなどに日々活用しています。
開発したモデルやAIの運用は、Databricksに統合されたMLflowによるMLモデルとAI Agentの性能評価とバージョン管理によって、常に品質が担保されたMLモデル、AI Agentが利用できる環境を構築しています。

またデータ活用の民主化としては、2020年にTableauを導入し、現在は全社員が活用しており、またデータアナリスト向けの統計分析やデータ加工処理向けにはモダンな環境へ強化するためにレガシーなツールからDataikuへの移行を行っている最中です。

現在の課題と今後の改善予定

①AI開発環境

SnowflakeとDatabricksで重複する領域がかなり増えてきており、またDataikuも活用が進むため、特にAI開発はカオスになっていくリスクが考えられます。
一方で現時点ではワンプラットフォームに寄せて他方を停滞させるよりも、カオスを許容しながら、データエンジニア、データアナリスト、データサイエンティスト、AIエンジニアのそれぞれが得意なプラットフォームを併用し、より多くのAIサービスを開発することによるビジネス貢献の最大化を目指すべきと現時点では判断しています。
現在、社内利用を中心にAIエージェントの開発は進んでおり、コールセンターのサポートAIやBIレポートの読み解きAIなど広い用途での適用を進めています。

②基盤整備

コストおよび性能観点では、Snowflake Warehouse Gen2を適用し、コスト/パフォーマンスの改善を実施中です。
性能とコストのバランスを取りつつ、より効率の良い基盤を目指したいと考えています。
またBronzeと一部Silver層のIceberg化によるストレージコスト圧縮も段階的に実施したいと考えています。

③機能面

機能ごとの最適化を段階的に進めてきましたが、ETLとしてAzure Data Factoryを長年採用してきましたが、更なる開発生産性向上やAI等による開発効率化のため、よりモダンなETLツールへの移行を検討しています。

④セキュリティ面

データ基盤には匿名加工済のデータのみ格納する運用によりプライバシー保護を強化していますが、Saas連携など外部連携も増えているため、Saas向けにさらに匿名化を進め、プライバシーを強化した環境をSnowflakeのデータシェアリングを用いて構築しようと考えています。

◆執筆：松井 太郎 @TARO9652512797