Snowflakeの導入効果をレビューでご紹介(kurochan-株式会社サイバーエージェント)
参考になった
8
株式会社サイバーエージェント / kurochan
メンバー / 従業員規模: 5,001名以上 / エンジニア組織: 1,001〜5,000名
| 利用プラン | ツールの利用規模 | ツールの利用開始時期 |
|---|---|---|
Standard Edition および Enterprise Edition（複数アカウントを運用） | 501名〜1,000名 | 2019年 |
| 利用プラン | Standard Edition および Enterprise Edition（複数アカウントを運用） |
|---|---|
| ツールの利用規模 | 501名〜1,000名 |
| ツールの利用開始時期 | 2019年 |
導入の背景・解決したかった問題
導入背景
ネット広告、スマホゲーム、社内システム等プロダクトが多岐にわたるので理由は様々ですが、コストが高騰していたり、運用面の手間がかかっていたり、満足いく性能が得られなかったり等の課題がありました。そこで既存で利用していたDWH(Amazon Redshift, Amazon Redshift Spectrum, Amazon Redshift Serverless, Amazon Athena, Amazon EMR, Databricks, BigQuery等)の更改のタイミングで次世代のプラットフォームの検討をすることが多かったです。
比較検討したサービス
- Amazon Redshift
- Amazon Redshift Spectrum
- Amazon Redshift Serverless
- Amazon Athena
- Apache Spark
- Databricks
- BigQuery
- BigQuery Omni
比較した軸
- 費用や性能
- 運用の手間
- 既存環境への導入のしやすさ
選定理由
SnowflakeがマッチしたプロダクトはSnowflakeによってDWHの運用の手間が軽減され、コストも移行前の環境よりは上がらない程度であることが決め手であることが多かったです。
また、AWSの東京リージョンでホストできることによりAWS上で稼働しているシステムからのデータ転送の追加コストがほぼ発生しないことが魅力でした。
導入の成果
特に運用面の手間が大幅に軽減され、パフォーマンスが平均的に安定するという点で課題が解決されました。具体的には以下のような点での改善がみられました。
- クラスタのアップデートに伴うダウンタイムが発生するような製品を使っていた場合はSnowflakeの導入によってメンテナンススケジュールやそれに伴う周辺システムの停止対応等が不要になった。
- コンピュートとストレージが分離されているアーキテクチャにより大量のデータ書き込み時に読み取り性能が大幅に悪化したり、同時に走っているクエリによって他のクエリの性能が影響され安定しないといったトラブルがなくなった。（特に1日あたり数TB以上書き込みするような環境では改善が顕著でした。)
- クエリの性能に関してはピーク性能(最速の場合の性能)が大幅に向上するケースはあまりなかったですが、平均的に安定した性能が出ることの方が重要で、悪化するケースはほぼなかったため満足しています。
導入時の苦労・悩み
SnowflakeがマッチするプロダクトはSnowflakeを採用し、他の製品の方がマッチしていたり、移行コストをかけることが見合わないプロダクトは無理に採用していないため、特に展開にあたっての苦労はしていません。
別の製品からSnowflakeへ移行するにあたってはクエリの互換性の維持やデータ型の違いによる誤差の発生の許容可否、移行期間中のデータの整合性の担保等に苦労しました。
導入に向けた社内への説明
上長・チームへの説明
プロダクトごとに技術選定の裁量があるため、特に経営層を説得しなければ採用できないようなことはありませんでした。
プロダクト内で選定するにあたっては、Webサービスを提供する企業という性質上、データ基盤を持たない選択肢はないため、比較検討した上で採用理由が説明できること(なんとなく流行っているからだけでは採用しない)だけ満たしていれば導入することができました。
活用方法
よく使う機能
Snowpipe
オブジェクトストレージにアップロードされるログのニアリアルタイム転送ゼロコピークローン
Copy on Writeによりストレージのコピーなしに高速なテーブルのクローンが作成できるSnowsight
ブラウザからクエリができる
ツールの良い点
- コンピュートとストレージが分離されていることにより性能が安定し、ストレージ単体でのスケールができること
- TimeTravel機能により、意図しないデータ削除等の事故が発生したときも復元できること
- ドキュメントが充実しているため、ドキュメントをひととおり読めば使い方やトラブルシューティングが行えること
ツールの課題点
バーチャルウェアハウスの最小課金単位が60秒であるため、大きなバーチャルウェアハウスを短時間起動するような使い方ではコストパフォーマンスが悪くなってしまうこと
Snowflakeとの通信はMySQLやPostgreSQLといったオープンなプロトコルではないため、Snowflake対応している周辺ツールの選定や実装をしなければならないこと
GCP東京リージョンに対応していないこと(2024年2月時点)
ツールを検討されている方へ
1ヶ月、400ドルまでは決済手段の登録なしに無料で利用することができ試用のハードルが非常に低いため、まずはぜひ触ってみてほしいです。
400ドルあればひととおりの機能を触ることができ簡単な性能検証はまかなえるため、実際の検証結果を持って導入するかどうかの判断をしてみてください。
株式会社サイバーエージェント / kurochan
メンバー / 従業員規模: 5,001名以上 / エンジニア組織: 1,001〜5,000名
AI事業本部にて広告配信プラットフォームのバックエンドエンジニアを経て、現在は小売企業向けのアプリやデータ基盤の開発をしたりセキュリティ関連の業務をしたりしています。サイバーエージェント CTO統括室兼務。
よく見られているレビュー
株式会社サイバーエージェント / kurochan
メンバー / 従業員規模: 5,001名以上 / エンジニア組織: 1,001〜5,000名
AI事業本部にて広告配信プラットフォーム...
