データサイエンティストがBigQueryを導入して、管理負担も分析リードタイムも改善したって話

参考になった

会員限定コンテンツです。無料登録すると制限なしでお読みいただけます。

無料登録してアーキテクチャを見る

レビュー投稿日の情報になります

Insight Edge / hnakano

メンバー / データサイエンティスト / 従業員規模: 51名〜100名 / エンジニア組織: 11名〜50名

最終更新日2024/09/12投稿日2024/07/10

利用プラン	ツールの利用規模	ツールの利用開始時期	事業形態
オンデマンド	10名以下	2021年12月	B to B

利用プラン	オンデマンド
ツールの利用規模	10名以下
ツールの利用開始時期	2021年12月
事業形態	B to B

アーキテクチャ

会員限定コンテンツ無料登録してアーキテクチャを見る

アーキテクチャの意図・工夫

BigQueryはCloud Storage上のCSVファイルを直接読み取る機能もありますが、本件では文字コードの変換などいくつか前処理してBigQueryにデータを格納する必要があったため、 Cloud Functionsを使用してファイルを前処理して、BigQueryにデータを格納するようにしました。

導入の背景・解決したかった問題

導入背景

ツール導入前の課題

データサイエンティストとして、クライアントから不定期に大容量のCSVファイルを共有いただき、分析を行うプロジェクトを推進していました。 CSVファイルの前処理や分析には、pandas（Pythonのデータ分析ライブラリ）を使用してましたが処理時間がかかったり、共有されたファイルに誤りがあった場合はその都度クライアントへ問い合わせる必要があるなど、データ管理にも多くの時間を費やしていました。

どのような状態を目指していたか

クライアントから共有されたCSVファイルが自動的に検証・確認される状態
データを高速に処理できる環境が整備された状態

比較検討したサービス

Cloud SQL

比較した軸

導入や管理の容易性
データ分析の処理速度
運用コスト

選定理由

BigQueryはサーバーレスであるため管理の手間がかからない点
データの前処理がデータ量の増大にかかわらず高速に行える点

導入の成果

データの自動検証・確認の仕組みの構築
- Google Cloud Storage上にアップロードされたCSVファイルを、Cloud Functionsを使用して検証・処理し、BigQueryにデータを格納する仕組みを構築しました。
- その結果、CSVファイルの文字コードが適切でない場合など、エラーが発生した場合は自動的に検知できるようになりました。
分析リードタイムの短縮
- クエリにより、データの読み取りや処理時間を短縮できました。
- Pythonからも容易にデータをロードできるため、従来のCSVファイル読み取りと同様のコードでデータを読み取ることができました。
可視化ツールとの連携
- Looker Studioとの連携が容易であるため、データの可視化やレポート結果をクライアントへ容易に共有することができるようになりました。