【投票キャンペーン対象】複数顧客対応AWS+Snowflakeデータ基盤アーキテクチャ

アーキテクチャ選択の背景や意図

数百社規模の法人顧客に対応するKDDIの外販サービスで共通利用するデータ基盤を構築しました。
将来的に顧客データと自社データのかけ合わせを行うため、自社データ基盤と同じくSnowflake・AWS構成としています。

上記の実現にあたり「①顧客ごとの構成差分による構築・運用コスト増大」「②データパイプラインの可視化・制御の困難さ」「③Snowflake規約への準拠」「④顧客ニーズに応じた多様な連携要件」の課題について以下の通り対応しました。

①については、Terragruntを用いて共通部分と顧客固有の設定を両立したリソース管理を行うことで、運用コストの低減を実現しました。

②については、MWAAを用いることで、顧客毎の要件に合わせたDAGの柔軟な管理・制御を実現しました。

③については、通常のSnowflakeアカウントでは他社ユーザの発行が禁止されているため、Reader Account構成を採用しました。

④については、WEB UI・OCI連携を用意することで初期の顧客ニーズに対応しました。

現在の課題と今後の改善予定

④に関して連携方法の拡充が課題であり、今後はAzureやGoogle Cloud等への対応や、API提供などを追加予定です。

また初期はBI環境からの利用想定ですが、AIエージェント環境からのデータ利用ニーズがあるためMCPの導入を検討しています。

◆執筆：宮嵜仁志、福田陽一、星遥介、佐々木貴美