少人数データ基盤チームの効率化:Snowflake導入による運用改善(スターフェスティバル株式会社)
スターフェスティバル株式会社 / koonagi
シニアマネージャー / EM / 従業員規模: 101名〜300名 / エンジニア組織: 11名〜50名
利用プラン | ツールの利用規模 | ツールの利用開始時期 | 事業形態 |
---|---|---|---|
エンタープライズ | 10名以下 | 2023年4月 | B to B B to C |
利用プラン | エンタープライズ |
---|---|
ツールの利用規模 | 10名以下 |
ツールの利用開始時期 | 2023年4月 |
事業形態 | B to B B to C |
アーキテクチャ

導入の背景・解決したかった問題
導入背景
ツール導入前の課題
スターフェスティバルでは、データ活用において以下の課題を抱えていました。
課題① 多様なデータソースの分散による非効率性
- スターフェスティバルでは、RDS、BigQuery、kintone、Salesforceなど、複数のデータソースを活用していましたが、データが一箇所に集約されていないことが大きな課題となっていました。この状況により、BIツールや分析者ごとに参照するデータソースが異なり、同じ分析を行っても異なる結果が出てしまうことがありました。また、分析やレポート作成のために加工したデータが各自のローカル環境に保存されることで、データのサイロ化が進み、情報の一貫性や再現性が損なわれていました。
課題② データ基盤整備のリソース不足
- データ基盤専任のメンバーが不在で、少人数のデータ基盤チームは日々の問い合わせ対応やデータパイプラインの構築、レポート作成に追われていました。そのため、メンテナンスや検証環境の整備、データ基盤の整備に十分な時間を割くことが難しい状況でした。
どのような状態を目指していたか
シンプルかつ安定したデータ基盤を構築し、日々のメンテナンス負荷を最小限に抑えることを目指していました。特に、障害対応やメンテナンスが簡素化されることで、データ基盤チームがデータを収集する部分や社内にデータドリブンを浸透させる業務に集中できる体制を作りたいと考えていました。
比較検討したサービス
- Databricks
- AWSサービス(Amazon Redshift/Amazon Athena/AWS Glue)
導入の成果
改善したかった課題はどれくらい解決されたか
導入前に抱えていた課題は概ね解決、もしくは軽減したと考えています。
課題① 多様なデータソースの分散による非効率性 → データの集約
- Snowflakeを導入したことで複数データソースを一括で管理できるようになりました。これにより、BIツールや分析担当者ごとに異なるデータソースを参照していた際に発生していた、データの整合性に関する問題が大幅に解消されつつあります。
課題② データ基盤整備のリソース不足 → 少人数で持続可能なデータ基盤運用
- Snowflakeは基本的にメンテナンスフリーであるため、インフラの管理負荷が軽減され、データ基盤チームが運用作業に追われることが少なくなりました。よくある運用作業としてはSnowflakeのIaCとして利用しているTerraformのアップデートの対応くらいで、データの収集や分析に時間を当てられるようになっています。その結果、少人数体制でも十分に運用が可能になりました。
どのような成果が得られたか(さらなる効果)
社内認知の向上
- 分析用のデータを参照したい場合はSnowflake見れば良いという認識が社内に広がり始めています。必要なデータがSnowflakeに集約されているため、各部署が同じ基盤をLooker Studioなどのツールから参照でき、データにまつわるコミュニケーションがスムーズになってきていると感じます。
横断的な分析の実現
- GA4のデータと注文データを組み合わせるなど、これまで別々に扱われていたデータを横断的に分析できるようになりました。その結果、分析結果をもとにオペレーションチームと連携したり、新たな売上を創出する施策を立案できるなど、ビジネス面での貢献が見え始めています。
<活用例>主要サービスのKPIの可視化
- SnowflakeとLooker Studioを組み合わせることで、主要サービスのKPIを誰でもいつでも確認できるようにしました。リアルタイムに近い形で横断したデータを把握できるため、データを見て状況を把握し、次の意思決定につなげるという場面が増えました。
導入に向けた社内への説明
上長・チームへの説明
データエンジニアの工数不足が深刻だったことから、「可能な限り運用を任せられるデータ保管場所で、データ分析も一元的に実施できる」という点を重視しました。その結果、他の選択肢と比較してもSnowflakeが最適であると判断し、ほぼ一択で導入を決めました。
活用方法
チーム/データ連携・モニタリング/日時
- BIツールに必要なデータを毎日自動でSnowflakeから連携し、経営やマーケなど各チームがそれぞれのKPIや進捗を随時モニタリングしています。
チーム/アドホック分析/適宜
- 新しい施策を考えるときには、データ基盤チームや各アプリチームのエンジニアがSnowflake上でワークシートを使いながらアドホック分析を行っています。
よく使う機能
データ集約
- 多様なデータソースからのデータをSnowflakeに集約して活用しています。
Snowflakeダッシュボード
- 他のチームへ分析結果を共有で利用しています。
- 抽出条件の履歴が残るため、同じ条件での再分析が可能です。
- ブログ: Snowflake ダッシュボードは結構良いぞ...!
データパイプライン(Snowflakeコネクタ)
- Embulkなどのデータ連携ツールを使用し、さまざまなデータソースから自動的にデータを取り込みます。
- GA4のデータなどSnowflakeコネクタがあるものはコネクタ経由でデータ取り込みをしています。
データマスキング
- ダイナミックデータマスキングにより、個人情報を保護しながら分析業務を行うことができます。
- ブログ: TerraformでSnowflakeタグベースのマスキングを実装する
Snowflake Copilot
- SQL作成時に、事前にスキーマ情報を認識し、自動的に素案を生成してくれるのでSQLの作成時間を短縮できます。
ツールの良い点
メンテナンス対応コストがほぼない
- データ基盤のインフラの管理(ミドルウェアのアップデートなど)をSnowflakeに任せられるため、データ基盤の運用が楽になります。
パフォーマンス
- Snowflakeでは、パフォーマンスチューニングをある程度自動で任せられるため、インフラ面での負荷調整や最適化に時間を割きすぎずに済みます。(必要に応じてクエリのチューニングを行うケースもあります。)実際、Redashで数十分かかっていたクエリがSnowflake上では数秒で完了するといった事例もよくあります。
ツールの課題点
ML機能の活用不足
- SnowflakeのML関連機能を十分に使いこなせておらず、高度な分析や予測モデルの構築がまだ進んでいない状況です。Snowflakeには数値予測などを簡単に行うための関数が多数用意されているものの、実際の業務との乖離を調整するためのチューニングや、分析結果を現場の業務フローに反映させる段階にはまだ至っていません。
ツールを検討されている方へ
少人数でデータ基盤を運用するなら、Snowflakeは有力な選択肢の一つだと考えています。最低利用料金があるものの、データを活用してビジネス側へ大きなインパクトをもたらせば、十分に投資を回収できるコスト感だと感じています。
スターフェスティバル株式会社 / koonagi
シニアマネージャー / EM / 従業員規模: 101名〜300名 / エンジニア組織: 11名〜50名
2014年に新卒としてSESエンジニアとしてITのキャリアを開始し、その後、AWSクラウドベンダーや外資系コンサルタント企業などを経て、2022年7月にスターフェスティバルに入社。スターフェスティバルでは各アプリケーションのインフラ全体、データ基盤の構築、そして分析業務などを担当。入社後しばらくしてからエンジニアの採用活動にも関与し、スカウト、カジュアル面談、採用イベントの企画・運営なども担当。
よく見られているレビュー
スターフェスティバル株式会社 / koonagi
シニアマネージャー / EM / 従業員規模: 101名〜300名 / エンジニア組織: 11名〜50名
2014年に新卒としてSESエンジニアと...
レビューしているツール
目次
- アーキテクチャ
- 導入の背景・解決したかった問題
- 活用方法