【投票キャンペーン対象】AWSで実現するセキュアで柔軟性の高いデータ活用

アーキテクチャ選択の背景や意図

当社は多数のサービスを提供し、それらのデータを集約したデータ基盤を提供しています。

決済のリーディングカンパニーという責任における厳しいセキュリティとコンプライアンスへの準拠と、タイムリーなデータの提供を両立する必要があります。
これを実現するため、「投入は厳格に、分析は柔軟に」をコンセプトとして環境を構築しました。

各サービスからデータ基盤へのデータ投入は、本番プログラム変更と同レベルでセキュリティとリスクの判断を経て設定されます。
このプロセスには一定の時間がかかりますが、このプロセスを経ることで投入されたデータから個人情報などの機密情報の無害化を担保する運用を徹底しています。

これにより、投入されたデータに対しては、非エンジニアを含めた幅広い部門が編集権限を持ち、現場の視点で自立的にETLや分析を作成することを可能にしています。

現在の課題と今後の改善予定

課題はデータ基盤の利用拡大に伴うETL処理の頻繁な追加更新によってデータリネージが不明瞭となりパイプラインが複雑化・属人化しています。

結果として、データの重複が発生しストレージや処理コストも増加しています。
パイプラインの可視化と標準化で運用効率改善を目指します。

◆執筆：GMOペイメントゲートウェイ システム本部 システム企画統括部 R&D室 古後恵