Snowflakeの導入効果をレビューでご紹介(motoy3d-REVISIO株式会社)

参考になった

レビュー投稿日の情報になります

REVISIO株式会社 / motoy3d

EM / EM / 従業員規模: 51名〜100名 / エンジニア組織: 11名〜50名

最終更新日2024/06/20投稿日2023/12/14

利用プラン	ツールの利用規模	ツールの利用開始時期
非公開	101名〜300名	2022年12月

利用プラン	非公開
ツールの利用規模	101名〜300名
ツールの利用開始時期	2022年12月

導入の背景・解決したかった問題

導入背景

データウェアハウスとしてAWSのRedshiftを7年ほど使用してきたが、データ規模の拡大、提供プロダクト・顧客数の増加に伴い、速度・コスト・安定性における課題に直面した
当社のデータはテレビ視聴の状態を1秒毎に記録するもので、データ量がどんどん増えて15TBほどになっていた
数十億単位のテーブルを複数JOINするようなSQLがあり、場合によって急に速度が低下することもあった
上記のようにRedshiftをスケールアップせざるを得ない状況になり、コスト増加が課題となっていた

そんな時にネット上でSnowflakeの名前や、高速で運用コストが低いといった良い噂を聞くことが増えてきていました。

当初はRedshiftからSnowflakeへの移行がどれだけ大変なのかを想像できておらず、トライアルで細かく検証することで、移行コストやSnowflakeが当社にフィットするのかを判断しました。トライアルでの検証項目は事前に定義しておき、実際に約1ヶ月間、実施してみると非常に良い結果が得られたので移行をする決断をしました。

比較検討したサービス

Redshift Serverless

選定理由

処理速度
運用コスト
クラウドコスト
将来性
移行コストはかかるが、それでもトータルで移行した方が良いと考えた

導入の成果

以下のように、全体的に速度が高速になったことで、利用者から感謝の声も多く聞かれるようになり、移行してよかったと思いました。

処理速度が遅くてスペックを一時的に上げたり下げたり、SQLチューニングに苦労したりといった運用の手間がなくなった
TimeTravelで、過去のある時点のデータでSQLを実行できるようになり、不具合調査の時間が大幅に短縮できた
ゼロコピークローンによって本番データを簡単に開発環境にクローンして使用できるので、開発環境のデータを定期的に最新の本番データと同期させる手間が低くて助かっている

導入時の苦労・悩み

Redshift向けに書かれたSQLがSnowflakeで同じように動くのか、動いているように見えているがちゃんと同じ結果を返すのかの検証を進め、必要に応じてSQLを変更する作業が大変でした。
データ作成側・使用側の運用をできるだけ止めないように並行稼働させて、その後、完全移行させる段取りやデータ確認作業の設計が大変でした。

導入に向けた社内への説明

上長・チームへの説明

経営陣には普段から現状のデータウェアハウス分野での処理速度や運用コスト・クラウドコストの課題については共有していたので、多くの説明をしなくても理解は得られました。トライアルで実際に一番処理が重い部分の検証を行うことで、移行後のコストの試算を行い、コストが下げられる見込みである説明をしました。

活用方法

よく使う機能

自作のコスト分析ダッシュボードで各構成要素の使用量や料金推移を監視しています。
クエリ履歴画面でクエリプロファイルを見てパフォーマンスチューニングを行っています。
タスク履歴画面でタスクの実行状況を監視しています。

ツールの良い点

優れた処理速度とコストバランス
- 大量データ（例えば100億行あるテーブルが複数ある、トータルサイズが1TB以上のような）を高速に集計・分析したいというニーズがある場合、処理速度と運用コスト、クラウドコストのバランスを求める必要が生じると思います。そのようなケースでSnowflakeは非常に良い選択肢になると考えています。ウェアハウス（サーバ）の起動が非常に速く、SQLの処理速度も高速で安定しており、使用していない時にはコストがかからないのでコスト効率が非常に良いです。
豊富な機能とアップデートの速さ
- TimeTravelやゼロコピークローン等、運用や開発で役立つ機能も多く、進化のスピードも速いです。
- サポートの対応も良く、チューニングのアドバイスやエラー対策についても迅速に解決方法を提示してくれます。
コミュニティが活発で情報収集がしやすい

ツールの課題点

移行が少し大変
- RedshiftやBigQueryは、他のDB/DWHからのSQL変換ツールを公式が提供していますが、Snowflakeにはそれがないので、移行は少し大変かもしれません。
改善提案機能があると嬉しい
- Redshiftには、SQL実行履歴を機械学習で分析して、テーブルのDISTKEYやSORTKEYをこう変更すると改善するかもしれない、という提案をしてくれる機能がありますが、Snowflakeでも改善提案を自動でしてくれるようになると嬉しいです。