Snowflakeの導入効果をレビューでご紹介(yamnaku-ノバセル株式会社)

2020年時点で、弊社で提供しているTVCM分析サービス「ノバセルアナリティクス」の分析データ結果がRDBに保管されており、大量の分析データを随時RDBから抽出する必要がありました。RDBのパフォーマンスに影響を及ぼす状態になっていたため、データ基盤の導入を検討しました。

• Amazon Redshift
• Google BigQuery
• Snowflake

Redshift、 BigQuery、 Snowflakeをそれぞれ比較し、分析にかかるコスト・運用コストのバランスが良く、かつ学習コストも少なくて済むSnowflakeの導入を決めました。以下はそれぞれとの比較になります。

Redshift vs Snowflake

• 当時のRedshiftは、常にインスタンスを起動する必要があり、利用していない場合にも費用がかかってしまっていた。一方で、Snowflakeはウェアハウスの起動時間に対する従量課金だった。
• Redshiftは柔軟なインスタンスサイズの変更が難しく、テーブルのインデックス設計などの運用に必要な知識も多く要求された。一方でSnowflakeは、インスタンスサイズを非常に柔軟に変更できる点や、インデックスやパーティションの設計を自動で設定してくれるなどの運用にかかる労力が少ない点で魅力的だった。

BigQuery vs Snowflake

• 当時のBigQueryは、データスキャン量に対して課金される料金体系になっていることもあり、分析時にかかるコストがやや読めないところがネックになっていた。一方で、Snowflakeはウェアハウスの起動時間に対する従量課金であった。
• BigQueryではパーティションなどの設計が必要だったのに対し、Snowflakeは直感的に操作可能で、パーティションの設計も不要だった。
• 弊社ではAWSを利用しているため、AWSにホスティング可能だった。

既存のアプリケーションシステム内で集計処理を実装するより、Snowfalke上での集計処理を実装する方が高速に実装・動作できるようになりました。また、データ分析に関わる周辺ツールとの連携も充実しているため、効率的な開発を進めることが出来るようになりました。
もし、BigQueryやRedShiftを利用して開発をしていたら、Snowflakeほどのシンプルさや統一的なインターフェースが提供されていないため、やや取り回しに困っていただろうと思います。 （Snowflakeの登場により、これらのDWHサービスの革新も進んだ点があり、Snowflakeが与えている影響は非常に大きいです。）

当時、データエンジニアの採用をしていなかったこともあり、Snowfalkeに関する組織内の理解度は低かったです。そのため、Snowflakeが何か、どう活用すべきなのか、という点についての理解は進んでいませんでした。
そのため、以下の施策を通してSnowflakeのユースケースに関する認知の拡大を図りました。

• 社内でのSnowflakeに関する勉強会の開催
• 競合TVCM効果分析サービス「ノバセルトレンド」の開発において、Snowflakeでのデータパイプライン構築の実施

バランスの取れた製品のため、ビジネス規模やユースケースによらず導入しやすい製品で、あまり注意点らしい注意点は無いです。前述したように、ベンダーごとに相性の良いツールがあるので、それが外せない場合には注意が必要です。 Snowflakeの場合、周辺ツールを別途色々導入していく必要があり、自由度は高い反面、各クラウドベンダーのように、その環境内で全ての周辺ツールを完結させるには至っていません。