Snowflakeの導入効果をレビューでご紹介(harry-dely株式会社)
dely株式会社 / harry
メンバー / 従業員規模: 101名〜300名 / エンジニア組織: 11名〜50名
利用プラン | ツールの利用規模 | ツールの利用開始時期 | 事業形態 |
---|---|---|---|
Enterprise | 10名以下 | 2021年10月 | B to C |
利用プラン | Enterprise |
---|---|
ツールの利用規模 | 10名以下 |
ツールの利用開始時期 | 2021年10月 |
事業形態 | B to C |
アーキテクチャ
アーキテクチャの意図・工夫
データ分析用途・ML用途でSnowflakeを活用しています。
導入の背景・解決したかった問題
導入背景
- Snowflake導入前はAWSのサービス上にデータ基盤が構築されていました。
- 当時はある程度最適化されており、性能面もある程度許容できるデータ基盤として稼働をしていました。しかし、今後の分析以外のワークロード(MLやアプリケーションでの利用)を考えると、性能面等で許容ができないためスケールできる基盤が必要でした。また、データを利用可能にするまでのリードタイムも既存のデータ基盤は長かったため、できるだけリアルタイムに近づけられることも必要でした。
- Snowflakeは前職で利用をしており、様々なワークロードにも対応できるだけのスケーラビリティや性能面のメリットがあることは知っていました。
比較検討したサービス
- Google BigQuery
- 既存のデータ基盤(AWS Athena/Glue)
選定理由
データを利用するための時間がほぼリアルタイムになったことや、分析に対しての性能も既存のデータ基盤よりも高速であり、自社のユースケースにおいて、競合製品と比べて同等以上の性能であったことも決め手になりました。
トライアルもPoCの環境整備も爆速で完了できたことと、整備したデータパイプラインもエラーすらほぼなく稼働してくれたので安心して本稼働まで進めることができました。
導入の成果
導入の背景にあった、データをMLやアプリケーションで利用する上で、リードタイムを短縮するという目的が達成できたのは大きかったです。また、Snowflakeの機能を活用することで、運用の工数を掛けずに、安定して、成果に繋げることができるようになった点で満足しています。
導入に向けた社内への説明
上長・チームへの説明
コスト面については利用量に応じて課金がされる仕組みなので、説明コストもそれほどなく、とにかくミニマムでスタートしやすかった印象はあります。
活用方法
よく使う機能
- 主に分析用のデータパイプラインをSnowflake上にdbtを利用して実装し、BIツールへのデータ提供をしています。
- 一部レコメンド処理用のデータパイプラインも稼働しています。
よく使う機能
- Warehouse
- Serverless Task
- Snowpipe
ツールの良い点
運用が楽である
メンテナンスなどの運用はほぼなく、データエンジニアリングに集中できるところ。エラー等もほぼ発生したことがないです
ツールの課題点
実装がもう少し楽だと嬉しい
プラットフォームで提供されているDWHで実現できているようなマネージドなサービスやデータ連携機能等は、自前で実装が必要になってしまうので、そこがもう少し楽になることを期待しています。
ツールを検討されている方へ
DWHの利用量はストレージコストとコンピューティングリソース(ウェアハウス)の稼働時間単位で課金がされるが、ウェアハウスは稼働後最低1分は稼働し続けるので、単純な分析時間だけではないことに注意です。
dely株式会社 / harry
メンバー / 従業員規模: 101名〜300名 / エンジニア組織: 11名〜50名
筑波大学大学院修了後、2011年にマーケティングリサーチ企業に新卒入社。小売データの分析基盤構築等に従事。2021年8月にdely株式会社に入社し主にクラシルデータ基盤の新規構築を担当。これまでパーソナライズレコメンド関連のチームにてデータエンジニアとして活動。
よく見られているレビュー
dely株式会社 / harry
メンバー / 従業員規模: 101名〜300名 / エンジニア組織: 11名〜50名
筑波大学大学院修了後、2011年にマーケ...
レビューしているツール
目次
- アーキテクチャ
- 導入の背景・解決したかった問題
- 活用方法