推薦システムへのVertex AI Pipelinesの導入

どのような状態を目指していたか

特に以下のようなパイプラインの最適化やメトリクス監視などが必要でした。

• 各データ処理ステップに最適化されたコンピューティングリソース（CPU/RAM/GPU）の動的割り当てによる処理効率の向上
• 依存関係を考慮したデータ処理パイプラインの自動並列化による全体処理時間の短縮
• エンドツーエンドのデータフローの可視化とメトリクス監視による障害検知・トラブルシューティング時間の大幅削減
• MLOpsのプラクティスに則った再現性の高い機械学習ワークフローの標準化

導入前はどのような状況だったか

GENIEE RECOMMENDでは、レコメンド配信先となる顧客サイトのエンドユーザーの行動データを活用した推薦システムを開発しています。 当時の推薦システムの処理はMLエンジニアが個別に実装し、実行できる形にパッケージングしていました。 GCSのデータ転送料金などを考慮し、簡易的にCloud Run functions/jobsで推薦処理を実行していました。

ツール導入前はどのような課題があったか

推薦システムで扱う行動データや商品データの数に応じた処理ステップごとの適切なメモリ管理が重要でしたが、Cloud Run functions/jobsでは柔軟なリソース調整が困難な状況でした。データ前処理、モデル学習、推論など各処理ステップで必要となるメモリ使用量が大きく異なるため、処理ステップごとに最適なリソース割り当てが必要でしたが、個別に計測・調整する仕組みが整っていませんでした。これにより、メモリ不足による処理失敗やリソースの無駄が生じていました。 また、パイプラインの実行状況の可視化やメトリクス監視が必要でしたが、Cloud Run functions/jobsではそのような機能が不足していました。

• AWS Step Functions + AWS Batch
• MLFlow

開発チーム自体が小さいということもあり、以下の点などの運用コストが低いことが特に重要でした。

• サーバレスコンテナ実行環境の有無
• パイプラインの可視化機能
• Google Cloud環境との統合性
• 機械学習処理との相性

Vertex AI Pipelinesは、以下の点が決め手となりました。

• Google Cloud環境との統合性が高く、機械学習処理との相性が良いこと
• Vertex AI Experimentsと連携することで実験履歴を管理し比較できること
• サーバレスコンテナ実行環境（Vertex AI Training Job）による簡単なリソース管理が可能なこと
• Dockerコンテナについては既にAWS ECSで頻繁に使用していたため、コンテナベースでの実行に抵抗がなかったこと
• パイプラインを作成するためのフレームワークとしてKubeflow Pipelines(以下 KFP)が使用でき、必ずしもVertex AI Pipelinesに縛られないこと

改善したかった課題はどれくらい解決されたか

• 各データ処理ステップに適したマシンリソースを柔軟に割り当てることが可能になり、データ量やアルゴリズムに応じたCPU/メモリ設定の最適化ができるようになりました
• Vertex AI Pipelinesではコンポーネントの入力と出力の関係から自動的に依存関係が構成されることで各ステップが自動的に並列化され、処理時間の短縮が実現しました
• 各ステップで生成される中間生成物(アーティファクト)とその容量をコンソールから視覚的に確認できるようになり、ボトルネックの特定や最適化が容易になりました
• パイプライン実行のステータスやエラーログをリアルタイムで確認できるようになり、問題の早期発見と対応が可能になりました
• 再利用可能なコンポーネントの整備により、新規顧客向けのパイプライン構築が効率化されました

どのような成果が得られたか

• 行動データの処理にRAMを8GBから16GBに増加させるなど、適切なリソース割り当てが可能になりました
• 依存関係のないステップが並列実行され、全体の実行時間が短縮されました
• これまでは途中で失敗した場合、推測でデバッグ用のログを追加することが多かったのですが、失敗したコンポーネントの入力を取得して部分的に調査することで問題の特定までの時間が短縮されました
• コンポーネントやパイプラインの再利用性が向上し、新規顧客への導入リードタイムが短縮されました

小規模の開発チームであったこと、また技術選定に関してはエンジニアに裁量が委ねられていたため、Vertex AI Pipelinesの導入決定自体はスムーズに進みました。しかし実際の実装段階では、以下の点で苦労しました。

• 実装としてはVertex AI Pipelinesよりも基盤となるKFPが大きな割合を占めるため、KFPの技術的なキャッチアップが必要だった点
• 日本語のドキュメントや具体的な実装例が少なく、大規模なパイプラインの設計方法やKFPコンポーネントの適切な分割方法などについて調査するのに時間がかかった点

KFPコンポーネントの実装においてPythonライブラリの依存関係管理のために複数のPoetryプロジェクトを使用していましたが、管理が煩雑になっていました。 この問題を解決するため、PythonとDockerのモノレポ管理をサポートするPantsbuildを導入することで複数のプロジェクトを統合管理できるようになり、重複していた設定やビルドとテストの効率化ができました。

また、以下の点に注意することも必要です。

• コンテナ起動時間のオーバーヘッドについては許容または改善する工夫が必要です
• アーティファクトの保存期間の管理を怠ると、ストレージ料金が膨らむ可能性があるため注意が必要です
• Vertex AI Experimentsと組み合わせることで定量的な評価に基づいたML開発プロセスを構築できるため、積極的に活用すると良いです

現状は、Google Cloud上で動作確認を行なっているため新規のパイプラインやコンポーネントのフィードバックが依然として遅い状況です。今後はより開発効率を上げるためローカルでのパイプライン動作確認環境の構築に取り組んでいきたいと考えています。