ピクシブにおけるBigQueryの活用事例

非公開

BigQueryにアドホックにクエリを実行するユーザーのMAU（月間アクティブユーザー数）は150人に達し、正社員の40%が利用しています。さらに、LookerやLooker Studioなどのツールを介してBigQueryのデータに触れるユーザーを含めると、全社員の65%が何らかの形でBigQueryのデータにアクセスしているという状況です。

他のツール全般でもそうですが、権限設計やストレージの3層構造など、後から変更することが難しい要素については、初期段階でしっかりと設計しておくことを強くお勧めします。これらの設計が不十分な場合、運用開始後に様々な問題が発生し、大きな手戻りや運用コストの増加につながる可能性があります。

とは言うものの、最初から詳細に詰めようとすると何も進まないうえに、手戻りの発生も高くなるので、まずは大枠を決めた上でデータ利活用を重点的に進める、利用パターンが見えてきたタイミングで見直しを行うと上手くいくと考えています。

現在、弊社のデータ基盤には主に二つの課題が存在します。

１. 権限設定の複雑化と管理の甘さが顕著になってきた

組織の成長に伴い、弊社のデータ利用のニーズは多様化しています。設立当初は少数精鋭で始まったため、権限管理が比較的緩やかでしたが、メンバーの増加と利用ケースの拡大に伴い、権限設定の複雑化と管理の甘さが顕著になってきました。この状況を改善するため、現在、私たちは権限管理の見直しと最適化に積極的に取り組んでいます。

２. データが乱雑に蓄積され、必要な情報を見つけるのに時間がかかる

AIによるデータ分析の自動化によって、データ分析の試行回数を増やす事で、豊富なインサイトを得る、意思決定を早めることが今後重要になってくると考えています。 このAIによるデータ分析の自動化には、メタデータ管理とデータ品質が重要です。

例えば、簡単なSQLの作成エージェントを想定すると「今月のMAUを知りたい」とAIに聞いた時に、AIエージェントは

1. 該当するテーブルを探索・決定する
2. 該当するテーブルのメタデータを見る
3. SQLを作成する

というステップを踏むことが想定されます。SQLの作成自体は十分に出来るのですが課題になっているのが、どのテーブルを使うべきか？、このテーブルに関する注意事項は何か？といった部分になります。

今は、このようなメタデータが十分に整備されておらず、自動化への準備が不十分です。

結果として、人間の分析者が見ても他のプロダクトのデータが見づらい・把握しにくいので横断的なデータ分析がやりにくいという課題もあります。

このデータカタログの強化やビジネスメタデータ拡充で、人間が作成する分析とAIが作成する分析の両方で精度の向上と、作成時間の削減を狙っていきたいと考えています。