Snowflakeの導入効果をレビューでご紹介(こみぃ-株式会社GENDA)

参考になった

会員限定コンテンツです。無料登録すると制限なしでお読みいただけます。

無料登録してアーキテクチャを見る

レビュー投稿日の情報になります

株式会社GENDA / こみぃ

チームリーダー / データサイエンティスト / 従業員規模: 1,001〜5,000名 / エンジニア組織: 11名〜50名

最終更新日2024/09/13投稿日2023/12/14

利用プラン	ツールの利用規模	ツールの利用開始時期
Standard	51名〜100名	2023年11月

利用プラン	Standard
ツールの利用規模	51名〜100名
ツールの利用開始時期	2023年11月

アーキテクチャ

会員限定コンテンツ無料登録してアーキテクチャを見る

アーキテクチャの意図・工夫

現状は比較的オーソドックスでシンプルな構成で利用しています。社内のデータの統合が徐々に進んできていますので、ここからさらなる取り組みを仕込んでいるところです。

導入の背景・解決したかった問題

導入背景

ツール導入前は特定のデータウェアハウスを持たない、ややアナログなデータ基盤がある状態でした。事業判断に必要なデータが各所に散っていたり（いわゆるデータのサイロ化）、社員それぞれがExcelで分析作業をする関係でツール自体やネットワークの重さが深刻になるなどのつらい状況でした。ですので、モダンなデータ基盤を作る必要性に迫られていました。

データウェアハウスの候補を探している中で、当時（2022年）日本でも徐々に知名度が上がってきていたSnowflakeを見つけ、トライアルを実施しました。結果として、他で候補に上がっていたサービス（Amazon Redshiftや Google BigQuery）に対して感じていた課題感がかなり解決されていた印象でしたので、採用を決めました。

選定理由

AWSとの連携のしやすさ
データシェアリング機能などの新機能に感じたサービス自体の将来性

導入の成果

これはデータウェアハウスすべてに共通するお話なのですが、会社のデータを一元管理できることと、コンピュートリソースをデータウェアハウス側で持っていることは、弊社の従来のデータ基盤と比較して非常に画期的で、これにより全社でのデータ活用が大幅に進みました。運用者の観点でいうと、Snowflakeはフルマネージドなサービスですので、定常的な管理にほとんど工数がかからない点が最大のポイントだと思います。

導入時の苦労・悩み

当時はまだ日本語の資料が少なく他社事例などもあまり参考にできなかったため、自分がやっている方法がベストプラクティスから外れていないかなど不安はありました。

どのように乗り越えたか

積極的にカンファレンスに参加して事例を収集したり、コミュニティに参加して他社の方々と交流しながら質問させていただいたりしました。コミュニティが活発で参加しやすい雰囲気なのは、後から気づいたSnowflakeの良さでした。

導入に向けた社内への説明

上長・チームへの説明

導入に向けてCTOの梶原と何度か相談をしましたが、データウェアハウスの導入及びデータ基盤刷新の必要性はすでに共有できていました。技術には積極的に投資していくという方針だったのもあり、説得において苦労することはありませんでした。費用対効果については、Snowflakeが従量課金のサービスである点は説得を簡単にする要素でもありました。トライアルの時点で、従来は2分程度かかっていたデータ集計が数秒で終わるようになるなどの効果が見られていましたので、効果は十分にあるだろうと思ってもらえました。

活用方法

よく使う機能

全社の事業判断に必要なデータの集約
BIツールを接続して各種データ抽出・集計・分析
自社のシステムにデータを転送してサービスで活用（Reverse ETL）
ML基盤のデータソースとしての活用

ツールの良い点

構築・運用がしやすい
- 特にAWSでサービスを運営している方には、構築や運用のしやすさを実感いただけると思います。また、複数のクラウドにまたがってサービスを展開されている企業の方はSnowflakeが持つマルチクラウドという特性が十二分に活用いただけると思います。
データ活用のためのソリューションが豊富
- アカウント同士でデータを即座に共有するダイレクトデータシェアリングなど、データの活用を簡単にする様々な機能がSnowflakeにはあります。株式会社GENDAはグループで多種多様なサービスを展開しており、それらを統合しやすいデータ基盤であるSnowflakeとは非常に相性が良かったです。また、他社が公開しているデータをすぐに使うことができるマーケットプレイスなど、データの収集を助けるツールも充実しています。

ツールの課題点

事例がまだまだ少ない
- 徐々に事例が増えていっているとはいえ、まだまだ各利用者がベストプラクティスを探りながら運用している状況ですので、BigQueryやRedshiftのような成熟したサービスと比較して、指針が少ないと感じることはあります。しかし、今後導入する企業が増えていく中で、そのあたりの問題は自然に解消していくと思っています。
GCPとの連携
- たまにGCPのサービスとの連携が弱いと感じることがありますが、それはGoogle BigQuery以外の大体のサービスがそうですし、弊社の運用のベースはAWSなのでそこまで大きくは気にならないですね。

その他

Snowflakeは、料金体系がコンピュートの起動時間という非常にわかりやすい数字なのですが、時々Snowflake自体及びBIツール等の仕様によって思わぬクレジット消費が発生していることがありますので、費用の管理は気をつけて行った方が良いと思います。

ツールを検討されている方へ

Snowflakeは競合する他のデータウェアハウスに引けを取らない非常に良いサービスです。競合する各サービスに対して突出して優れているというわけではありませんが、あなたのユースケースにおいてSnowflakeが最善である可能性は少なくないと思いますので、ぜひ候補としてご検討ください。また、何か不明点などありましたら、ぜひコミュニティに質問をしてみてください。非常にフレンドリーで頼れるコミュニティメンバーがあなたをサポートしてくれることでしょう。

▼Snowflakeのユーザーコミュニティはこちら▼
https://usergroups.snowflake.com/japan/

株式会社GENDA / こみぃ

チームリーダー / データサイエンティスト / 従業員規模: 1,001〜5,000名 / エンジニア組織: 11名〜50名

新卒でDeNAに入社、インフラ・サーバーエンジニアを経験してからデータエンジニアの道に足を踏み入れました。 2社目であるFiNC Technologiesでデータ系のキャリアに舵を切り、3社目となる現職の株式会社GENDAでもデータエンジニアとしての業務を中心にデータ活用に関わる様々な業務を手掛けています。株式会社GENDAでデータウェアハウスの技術選定の過程でSnowflakeに出会い、プロダクトの思想に共感して精力的に発信活動をしていたところ、コミュニティへの貢献が認められて2023年にSnowflake Data Superheroesの一人に選出していただきました。