Snowflakeの導入効果をレビューでご紹介(株式会社サイバーエージェント-kurochan)

導入背景

ネット広告、スマホゲーム、社内システム等プロダクトが多岐にわたるので理由は様々ですが、コストが高騰していたり、運用面の手間がかかっていたり、満足いく性能が得られなかったり等の課題がありました。そこで既存で利用していたDWH(Amazon Redshift, Amazon Redshift Spectrum, Amazon Redshift Serverless, Amazon Athena, Amazon EMR, Databricks, BigQuery等)の更改のタイミングで次世代のプラットフォームの検討をすることが多かったです。

比較検討したサービス

• Amazon Redshift
• Amazon Redshift Spectrum
• Amazon Redshift Serverless
• Amazon Athena
• Apache Spark
• Databricks
• BigQuery
• BigQuery Omni

比較した軸

• 費用や性能
• 運用の手間
• 既存環境への導入のしやすさ

選定理由

SnowflakeがマッチしたプロダクトはSnowflakeによってDWHの運用の手間が軽減され、コストも移行前の環境よりは上がらない程度であることが決め手であることが多かったです。

また、AWSの東京リージョンでホストできることによりAWS上で稼働しているシステムからのデータ転送の追加コストがほぼ発生しないことが魅力でした。

導入の成果

特に運用面の手間が大幅に軽減され、パフォーマンスが平均的に安定するという点で課題が解決されました。具体的には以下のような点での改善がみられました。

• クラスタのアップデートに伴うダウンタイムが発生するような製品を使っていた場合はSnowflakeの導入によってメンテナンススケジュールやそれに伴う周辺システムの停止対応等が不要になった。
• コンピュートとストレージが分離されているアーキテクチャにより大量のデータ書き込み時に読み取り性能が大幅に悪化したり、同時に走っているクエリによって他のクエリの性能が影響され安定しないといったトラブルがなくなった。（特に1日あたり数TB以上書き込みするような環境では改善が顕著でした。)
• クエリの性能に関してはピーク性能(最速の場合の性能)が大幅に向上するケースはあまりなかったですが、平均的に安定した性能が出ることの方が重要で、悪化するケースはほぼなかったため満足しています。

導入時の苦労・悩み

SnowflakeがマッチするプロダクトはSnowflakeを採用し、他の製品の方がマッチしていたり、移行コストをかけることが見合わないプロダクトは無理に採用していないため、特に展開にあたっての苦労はしていません。

別の製品からSnowflakeへ移行するにあたってはクエリの互換性の維持やデータ型の違いによる誤差の発生の許容可否、移行期間中のデータの整合性の担保等に苦労しました。

導入に向けた社内への説明

よく使う機能

ツールの良い点

ツールの課題点

ツールを検討されている方へ

1ヶ月、400ドルまでは決済手段の登録なしに無料で利用することができ試用のハードルが非常に低いため、まずはぜひ触ってみてほしいです。

400ドルあればひととおりの機能を触ることができ簡単な性能検証はまかなえるため、実際の検証結果を持って導入するかどうかの判断をしてみてください。