開発ツールのレビューサイト
検索結果がありません

"ほぼ" GCPネイティブでつくる全社データ基盤

Xのツイートボタン
このエントリーをはてなブックマークに追加

"ほぼ" GCPネイティブでつくる全社データ基盤

会員限定コンテンツです。無料登録すると制限なしでお読みいただけます。
無料登録してアーキテクチャを見る

DWH

サーバレス

BI

データレイク

データ連携(ETL/ELT/iPaaS)

データパイプライン

メタデータ管理

最終更新日 投稿日
会員限定に表示されるアーキテクチャ図会員限定コンテンツ無料登録してアーキテクチャを見る

アーキテクチャの工夫ポイント

アーキテクチャを選定した背景や意図

多様なデータソースから、分析だけでなくプロダクト改善や営業施策にもつながる「信頼できる一元データ」の整備が必要だったため、BigQueryを中心としたGCPネイティブ構成を選定しました。

本基盤では BigQuery上にRaw/Staging/Datamartの3層構成を採用し、以下のように役割分担を設計しています。

  • Raw層(データレイク相当):ソースデータをそのまま蓄積し、再処理や遡及対応が可能な仕組みを確保
  • Staging層:加工や結合など、柔軟なビジネスロジックを記述する一時変換領域
  • Datamart層:分析・BIツール連携向けに整形されたデータを格納し、Qlikやスプレッドシート等で活用

これにより、保守性・再利用性・トレーサビリティの高い構造を実現しています。

※ 補足:GCSはデータ基盤内の中継点というだけでなく、他システムとのファイル連携や一時交換を担うDatahub的役割も果たしています。

現在の課題や今後の改善予定

現在の基盤では基本的な分析・レポーティングは安定しており、部門横断でのデータ活用も進んでいます。一方で、蓄積データを活かした機械学習基盤の構築や、バッチ処理では難しいリアルタイム性の要求への対応はこれからの課題です。
今後は、BigQuery MLやVertex AIを活用したMLパイプラインの構築を進め、プロダクト最適化や営業施策自動化など業務に直結する「攻めのデータ活用」を強化していきます。
また、Cloud Run JobsやPub/Subによるリアルタイム処理の導入にも取り組み、よりタイムリーな判断と施策実行が可能な基盤へと進化させる予定です。

◆執筆:yuto_muroshima
Wantedly: https://www.wantedly.com/companies/innovation-co

アーキテクチャを構成するツール

会社情報

株式会社イノベーション

従業員規模 101名〜300名

エンジニア組織規模 11名〜50名

株式会社イノベーションは「働くを変える」をミッションに、BtoB領域を中心としたDXサービスを展開しています。IT製品の比較メディア「ITトレンド」やビジネス動画プラットフォーム「bizplay」などを通じて、企業の業務効率化やビジネス成長を支援しています。

株式会社イノベーションの利用ツールレビュー

データ連携(ETL/ELT/iPaaS)

株式会社イノベーションにおけるEmbulkの導入事例

muroshima

株式会社イノベーション / muroshima

メンバー / データエンジニア / 従業員規模: 11名〜50名 / エンジニア組織: 51名〜100名

# 導入編

Web/UI自動化テスト

Playwrightでテストを一部自動化し、テスト工数と不具合発生率を同時に減らす

miyaken0805

株式会社イノベーション / miyaken0805

チームリーダー / フルスタックエンジニア・プロダクトエンジニア / 従業員規模: 101名〜300名 / エンジニア組織: 11名〜50名

# 導入編
# 活用編
"ほぼ" GCPネイティブでつくる全社データ基盤