CARTA MARKETING FIRMのデータアーキテクチャ

CARTA MARKETING FIRM（当時Zucks）は、アドテク企業として以下の課題に直面していました。

• 大規模データ処理
  
  • 日々生成される膨大な量の広告イベントデータ（主にJSON形式）の効率的な処理と活用。
    
• パフォーマンスとコストの最適化
  
  • 多様なワークロードに応じた効率的なクエリの高速実行と、増大しやすいストレージ・クエリコストの抑制の両立。
    
• 運用負荷
  
  • 既存のデータ基盤では、上記の要件を満たすための運用負荷が無視できないレベルに達しており、データエンジニアリングリソースの多くが日々の運用管理に費やされていました。
    

これらの問題を解決するには、既存のものをうまく使い回すより作り直す方が早いと判断し、新たに構築することにしました。

新しいデータ基盤のゴール

Single Source of Truth（SSOT）を実現する低コストで拡張性の高いデータ基盤を目指しました。
当時は2名体制だったこともあり、1年間この体制が続いたとしても、様々なユースケースに耐えられるような仕組みの構築を徹底しました。
参考：ぼくのかんがえる最高のデータ分析基盤

Snowflakeをメインのデータウェアハウスに採用した理由

このゴールを達成するために、メインのデータウェアハウスにSnowflakeを採用しました。主な採用理由は以下の通りです。

• 大規模データ処理に対する高いパフォーマンス
  
• ストレージとコンピューティングの分離による効率的なリソース利用
  
• マルチクラウド対応によるデータ転送コストの削減
  
• 高品質なサポートと活発な日本コミュニティ
  

参考：

• アドテクのビッグデータを制するSnowflakeの力
  
• 膨大なデータを扱うアドテク企業が直面するサイロ化の解消にSnowflakeを採用　データ利活用の効率化と基盤運用の大幅な省力化を実現
  
• Snowflakeと共に過ごした一年間。その進化過程と未来へのVision
  

このSnowflakeをベースとしたデータ基盤には、様々な技術を採用しています。
以下、私たちが選択した主要な技術とその役割を紹介します。

1. Snowpipe（マイクロバッチロード）
データロードの90%をSnowpipeで処理。
ログファイル要件の見直しにより、広範囲のワークロードに適用可能となっています。

2. External Table（データレイククエリ）
アドホックな分析や低頻度クエリに活用。
大規模データにはパフォーマンス上の問題が起きるケースがあり、その場合はSnowpipeでのロードを推奨しています。

3. Fivetran（ELサービス）
複数のデータソースへの迅速な接続。
これらが高い安定性でフルマネージドとして提供されるため、運用負荷が実質ゼロ。
参考：データロードの苦しみから解放。FivetranでAmazon Auroraデータ連携を数週間で実現した株式会社Zucks

4. dbt（データ変換ツール）
SQLのみでのデータパイプライン実装を可能にし、保守・学習コストを低減してくれます。
本来注力すべきデータモデリングに集中でき、品質向上に貢献。
参考：Snowflakeの力を引き出すためのdbtを活用したデータ基盤開発の全貌

5. Elementary Cloud（データオブザーバビリティツール）
dbtとネイティブに統合されたデータオブザーバビリティツール。
自動モニタリング、データリネージ等の機能、Slackへの通知機能を提供。
dbtを使っていて、本番環境で何が起きているかの把握に困っているなら、まず検討したいツール。
参考：中央集権体制からDataOpsへの転換

6. SELECT（Snowflakeコスト最適化ツール）
Snowflakeの使用状況の可視化と効果的なコスト管理。
自動化された節約機能によるコスト削減が行われ、何もしなくても費用が抑えられる優れもの。
コスト最適化にかかる高いコストのジレンマから開放されます。
参考：SELECTを使った手間なしSnowflakeコスト最適化

これらを統合的に活用することで、CARTA MARKETING FIRMは効率的なデータ基盤を構築し、データ活用の加速とビジネス価値の創出に注力できるようになりました。

現在の課題と今後の改善予定

特筆すべきデータ基盤に関する技術的課題は現在なく、目下取り組んでいる課題は、データに関する業務のデジタル最適化です。

具体的には、扱いやすいデータになっていないデータ（営業活動や法人、顧客などのマスターデータなど）を整備することや、各所に散らばっている外部の広告プラットフォームデータ（X, Meta, Google Adsなど）の統合などです。
最近のデータ系のツールは非常に便利で、多くの技術的課題を解決してくれます。
データ系業務で難しくなるケースのほとんどは、データの複雑性に起因しています。入ってくるデータを鵜呑みにするのではなく、データ自体の改善を始め、データ基盤に乗せやすい形に整備することで、多くの技術的課題は解決されます。
もちろんこれから扱うデータが増えて活用され始めると、また新たな技術的課題が見えてくるはずなので、それを楽しみに日々データ改善を継続して行っています。

◆執筆：近森 淳平（pei）　Vice President of Data　X：@pei0804 , GitHub：pei0804

【公式サイト】
https://carta-marketing-firm.co.jp/