スマートバンクを支えるデータ基盤の現在地

ツール導入前の課題

事業の立ち上げから数年間はプロダクト構造やデータへの要求もシンプルだったため、積極的な投資は行わず Redash × MySQL の必要最低限なシンプル構成で取り組んでいました。

しかし、事業・組織が一定の規模を超え成長していくにつれ、データに纏わる課題を目にする場面が増えてきていました。

• データ量の増加に伴うパフォーマンス劣化
• データのサイロ化。それによって引き起こる人力データ集計
• 付け焼き刃に拡張され乱立する集計ロジック

ボディブローのように「ジワ...ジワ…」と判断のスピードと質が落ちてきている状況でした。

どのような状態を目指していたか

導入前に抱えていた課題の解消をはじめ 「戦略と実行を爆速でつなぐ。」 をプリンシプルに、スタートアップの限られた時間の中でいかに戦略を実行にうつせるか、打席に立てる回数を増やせる状態を作れるかを目指していました。

• BigQuery
• Athena
• Redshift

• 価格
• 運用コスト
• エコシステムとの親和性
• コミュニティやユーザーが活発か

Snowflakeを採用した理由はいくつかありますが、その中でも意思決定を後押したポイントは下記です。

1つ目は、プロダクトと同じクラウドサービス上で運用ができることです。 運営するプロダクトはAWS上で構築されており、メインのデータはAWSのクラウドにあります。

Snowflakeは構築するクラウド環境をユーザーが選択できる柔軟性があります。 AWS環境で構築することで、クラウド間のデータ転送のコストや煩わしさ、社内のエコシステムの恩恵やチームメンバーからの支援の受けやすさなどがありました。

2つ目は、コストコントロールの観点です。

Snowflakeはウェアハウスの実行時間によって課金されるため、比較的コストの予測がシンプルになると考えました。

管理者観点、利用者観点でも 1発の不慮のクエリ事故で課金爆発… といった不安を抱えないで良いといった、心理的な面での後押しもありました。

その他にも、インスタンスサイズを高速かつ柔軟に変更ができたり、インデックスやパーティショニングの調整など運用面で考慮する事項が少ないことが、少人数な体制でも運用出来る見通しを立てられたことが大きかったです。

Snowflakeとdbtを中心としたデータ基盤を構築し、導入前に顕在化していた課題への対処や経営企画部門との協業しての事業計画策定の支援など一歩ずつではありますが着実に改善しています。

主なユースケースとしては下記のような箇所で活用が進んでいます。

• 事業計画の策定支援
• 事業数値のSSOT
• プロダクトへのリバースETLでのデータ活用

専任のエンジニアやデータエンジニアリングに詳しい人材が不在だった点や、Snowflakeに関する運用ノウハウがなく、解像度が低かったこと。データにまつわる課題の解像度も人や部門によって差がある状態でした。

以下のような営みを通じて、少しずつ理解者や仲間を増やしながら導入を進めました。

• 社内勉強会での啓蒙
• マネジメント定例での課題や進捗の共有
• 社外のプロフェッショナル人材とのコラボレーションし不確実の軽減

AIの発展によって、データの重要性は不変でありながらも、データ活用に求められる期待やユースケースや取り巻くインテグレーションは大きく変容してきていると感じています。AI-Ready なデータ基盤を目指して試行錯誤を繰り返していきたいなと思ってます。