Snowflake と dbt / Terraform を組み合わせモダンなデータ基盤を構築

ツール導入前の課題

• 多くのデータパイプラインが一つのAWSアカウントで開発・運用されていた
  • リソースやクォータ(AthenaのDMLの制限など)の食い合いがあった
  • 一方、一部のデータは別のAWSアカウントで管理・加工されており、サイロ化もしていた
• 複数のデータプロダクトが各チームによってそれぞれ開発されていた
  • データがサイロ化されており、データの置き場所やフォーマット、品質保証・マスターデータ管理などもバラバラだった
  • 似たような問題を各チームが独自の技術スタック・開発で解決しており、知見の共有がされにくかった

どのような状態を目指していたか

• サイロ化を解消し SSoT なデータ基盤を作ること
  • 権限管理はしっかりやる
  • 複数のデータを組み合わせた分析をやりやすくする
• モダンな技術を利用したナウキャストのパイプラインの標準構成を用意することで、新規パイプライン開発の工数を下げること

• Amazon Athena (既存の環境)
• Amazon Redshift Serverless

• ストレージとコンピュートが分離されており、ワークロードごとに計算資源を簡単に用意・管理できること
• Python との統合
  • 弊社では元々 Python で ETL やデータ分析をしていた関係で、開発メンバーは基本的に Python が使えます
  • 既存の複雑なパイプラインを移行する際に SQL ではなく Python で書くこともできると開発しやすいと考えていました
• エコシステムの成熟度
  • dbt や Terraform などのサポートがどれくらいあるか、というのは気にしていました

• Python との統合
  • Python udf など Python で一部の処理を描くのが比較的簡単にできること
  • Streamlit in Snowflake を利用することでシームレスにデータの可視化ができること
• エコシステムの成熟度
  • dbt と Snowflake を組み合わせて使っている事例は多く、また Redshift Serverless に比べるとライブラリのサポート範囲やアップデートも早いと感じる部分が多かった
  • （導入時はまだ不安定な部分はあったものの）Terraform provider が開発されており、 Snowflake の主要なリソースは Terraform で管理することが可能だった
• Marketplace で様々な公開データを簡単に利用開始できること
• Private Sharing で顧客へのデータ伝送が簡単に実現できること

Snowflake と dbt そして Terraform を中心としたデータ基盤を作ったことで、データのサイロ化を解消し複数のデータを組み合わせた複雑な分析なども気軽に始められるようになりました。適切なモジュールやテンプレートを用意したことでパイプライン立ち上げの工数は大幅に削減されました。

また Snowsight が使いやすく、非エンジニアメンバーも簡単な SQL のクエリを書いてデータを確認・分析したり、 Streamlit を利用してインタラクティブにデータを確認しやすくなりました。

まず初めに Platformチームが主導しある程度のインフラ・基盤を作りましたが、既存のパイプラインを Snowflake へ移行開始するまでに時間がかかりました。 社内で Snowflake の勉強会を開いたり、パイプラインを Snowflake で立ち上げるための手順などを解説したドキュメントを用意し、利用開始するハードルを下げるような施策をしました。

Snowflake もどんどん機能が増えているとはいえ、他のクラウドに比べるとデータエンジニアリング・データ分析に特化しているぶんシンプルで使いやすくキャッチアップもしやすいと思います。 直近事例も増えていますしコミュニティも活発なため、トライアルしながら様々な情報を集めて検証を進めるのがおすすめです。