監査ログ集計・分析基盤としての BigQuery 活用事例

参考になった

レビュー投稿日の情報になります

株式会社PR TIMES / shogogg

EM / EM / 従業員規模: 101名〜300名 / エンジニア組織: 11名〜50名

最終更新日2025/12/15投稿日2025/12/17

ツールの利用開始時期

事業形態

2025年10月

B to B

B to C

ツールの利用開始時期

2025年10月

事業形態

B to B

B to C

アーキテクチャ

アーキテクチャの意図・工夫

今回の BigQuery 導入に伴い、BaseMachina からの監査ログ転送先を、 Amazon S3 から Google Cloud Storage（GCS）へ変更しています。

これは BigQuery Data Transfer Service の自動転送が S3 の場合は最大で1時間ごとであるのに対して、GCS の場合は15分ごとに設定が可能であり、監査ログの記録から BigQuery への転送までのタイムラグを最小限に抑えるためです。

Data Transfer Service に Cloud Run や Cloud Functions を活用する等、もっと周期を短くすることは可能ですが今回はそこまでのリアルタイム性が求められる訳ではないこともあり、シンプルさを優先してこの構成にしました。

Data Transfer Service の処理中に発生したエラーは Cloud Logging のアラート機能を使って Slack へ通知しています。これによって、予期せぬトラブルでログの転送が止まった場合も速やかに検知できるようにしています。

導入の背景・解決したかった問題

導入背景

ツール導入前の課題

社内向け管理画面の開発に用いているローコードサービス「BaseMachina」ではユーザーの操作を記録する監査ログを Amazon S3 または Google Cloud Storage（GCS）に転送する「ストリーミング機能」があります。

弊社では当初この監査ログを Amazon S3 に転送・保管し、分析や調査が必要な場合は Amazon Athena を使っていたのですが、分析対象のログが多い場合は結果が返ってくるまでに時間が掛かってしまう状況でした。

また、BaseMachina では処理の呼び出しに最大1分という制限があり、Athena のレスポンスが遅すぎるとエラーとなり、結果を表示できなくなってしまいます。そのため、長期間のログを対象に分析したい場合はエラーを回避するため、細かく期間を指定して複数回に分けて検索する必要がありました。

どのような状態を目指していたか

大前提として、長期間・大量のログを対象に検索した場合でも高速に動作し、BaseMachina の画面上に結果が表示できる必要がありました。また、そのための仕組みとしては極力シンプルな構成とし、大幅なコスト増を避けて実現する方法を模索しました。

選定理由

他業務での導入・活用事例が既にあり、社内に知見があったこと
Data Transfer Service などを活用することで簡単かつシンプルな構成で Amazon S3 や GCS からデータを取り込むことができること
移行前の構成から比較して55秒のクエリが2秒に高速化されるなど、課題であったパフォーマンス問題がほぼ完全に解決されたこと

導入に向けた社内への説明

上長・チームへの説明

Amazon Athena の性能問題が明らかになった時点で BigQuery が移行先の最有力候補であることは意見が一致しており、既に他業務での導入・活用事例が社内にあったことから、特別な説明は必要ありませんでした。

活用方法

よく使う機能

直接利用している訳ではありませんが、前述の通り、 Data Transfer Service が今回の構成における「肝」になっています。特に何も設定しなくても差分転送に対応しており、溜まり続けるログを増えた分だけ BigQuery のテーブルに転送してくれます。また、スケジュール実行だけでなく手動での実行にも対応しており、どうしても直近のログを分析したい場合などはそちらを利用するようにしています。

ツールの良い点

Amazon S3 や Google Cloud Storage などに格納した大量のデータを Data Transfer Service により簡単な設定だけで自動で転送できる
列指向という特性は意識する必要があるが、使い慣れた SQL を用いて大量のデータが分析できる
JSON 型でネストされたフィールドを条件にするなど、複雑なクエリであっても高速に処理が可能
スキャンしたデータ量に基づく従量課金だが、 1.0 TiB/月の無料枠があり、コストを気にせずに試すことができる