Snowflakeのコスト最適化のためにSELECTを導入
参考になった
3
株式会社ナウキャスト / mugumugu
テックリード / データエンジニア / 従業員規模: 51名〜100名 / エンジニア組織: 11名〜50名
| 利用機能 | ツールの利用規模 | ツールの利用開始時期 | 事業形態 |
|---|---|---|---|
Complete Cost Visibility, Automated Savings, Insights, Prebuilt Integrations, Comprehensive Alerts, Usage Groups & Budgets | 11名〜50名 | 2024年7月 | B to B |
| 利用機能 | Complete Cost Visibility, Automated Savings, Insights, Prebuilt Integrations, Comprehensive Alerts, Usage Groups & Budgets |
|---|---|
| ツールの利用規模 | 11名〜50名 |
| ツールの利用開始時期 | 2024年7月 |
| 事業形態 | B to B |
アーキテクチャ
アーキテクチャの意図・工夫
https://select.dev/security#select-architecture より引用
SELECTは弊社のSnowflake環境のメタデータのみを取得している(データ自体は取得していない)
導入の背景・解決したかった問題
導入背景
ツール導入前の課題
- Snowflakeのコストが増え、コスト削減の必要があった
どのような状態を目指していたか
- Snowflakeの利用状況の適切なモニタリング
- Snowflakeのコストの最適化
比較した軸
- コスト
- サポートが充実しているか
- 事例が多いか
- UIの充実度
選定理由
- Automated Savingsが確実に機能していること
- またUIがよく、コストを最適化するにあたっての現状確認や、改善策の示唆(Insights)が簡単に確認でき、改善のアクションが取りやすいこと
導入の成果
改善したかった課題はどれくらい解決されたか
- コスト削減のためのアクションが取りやすくなり、課題を解決する上でのきっかけとなった
どのような成果が得られたか
- Automated SavingsでSELECT利用料以上のコストが削減できた
- ダッシュボードの機能でチームごと、dbt modelごとのコストの細分化、コストの可視化ができることでコスト最適化施策の取り組みの優先度を立てアクションを行うことが容易になった
- 各プロダクトチームが、自主的にSELECTのダッシュボードを確認し、コスト最適化のアクションを行うようになった
導入時の苦労・悩み
SELECTのコストは年間のSnowflake利用料の3%。Snowflakeのコストが多いと大きくなる。これに関して費用対効果を示すことができるか
導入に向けた社内への説明
上長・チームへの説明
SELECTのコストは年間のSnowflake利用料の3%と高いが、Automated Savingsでそれ以上のコスト削減はできること、また、モニタリングダッシュボード、Insightでコスト最適化のアクションを取りやすいということで費用対効果が満たせる
SQLクエリのフィルタリング条件に個人情報や機密情報が含まれるSQLクエリが存在するため、SQLクエリをQuery HistoryからSELECTが取得する上で、実データが取得されないことが重要になるが、こちらに関しては、Query Text Sanitizationで適切にreplaceが行えていることを確認した。
活用方法
- データプラットフォームチームでほぼ毎日確認。コスト最適化の余地があればプロダクトチームにアナウンスを実施
- また、プロダクトチームでも新規パイプライン構築時にコストがどれだけかかっているかの確認を行っている
よく使う機能
- Automated Savings
- Snowflakeの全てのWarehouseに対して有効化している。特に設定することなく、SELECTのコスト以上のコスト削減が実現されている
- dbt integration
- dbt側でquery tagの設定を行うことで、dbtのproject、target、materialization、resource typeごとにコストを可視化可能 参考
- dbt modelごとにコスト最適化するのに有益
- ダッシュボード・Insights
- Snowflakeアカウント全体のコストをさまざまな軸で分類してコストの現状把握をするのに使用
- 例えばチームごとにカスタムにgroupを作り、チームごとのコストの可視化などを実施
- コストを削減・最適化するにあたっての示唆が提案されるため、実際にアクションの参考にしている
ツールの良い点
- UIの良さ
- Automated Savingsで確実にSELECT自体のコスト以上のコスト削減の効果がある
- サポートも充実
- Slack上で問い合わせができ、またリクエストした内容に柔軟に対応していただける
ツールの課題点
- SELECT自体のコスト
ツールを検討されている方へ
Snowflakeのコストにお悩みの方はとりあえず導入することをお勧めします。Automated SavingsでSELECT自体のコストより削減されるかつ、ダッシュボードを見て問題のあるクエリの特定などが楽になります。
株式会社ナウキャスト / mugumugu
テックリード / データエンジニア / 従業員規模: 51名〜100名 / エンジニア組織: 11名〜50名
株式会社ナウキャスト / mugumugu
テックリード / データエンジニア / 従業員規模: 51名〜100名 / エンジニア組織: 11名〜50名
レビューしているツール
目次
- アーキテクチャ
- 導入の背景・解決したかった問題
- 活用方法