Vertex AI Pipelinesの効率的な開発、運用の取り組み

参考になった

会員限定コンテンツです。無料登録すると制限なしでお読みいただけます。

無料登録してアーキテクチャを見る

レビュー投稿日の情報になります

株式会社タイミー / ozeshun

メンバー / データサイエンティスト

最終更新日2025/03/04投稿日2025/03/04

ツールの利用規模	ツールの利用開始時期	事業形態
10名以下	2022年7月	B to C

ツールの利用規模	10名以下
ツールの利用開始時期	2022年7月
事業形態	B to C

アーキテクチャ

会員限定コンテンツ無料登録してアーキテクチャを見る

アーキテクチャの意図・工夫

上記アーキテクチャ図はタイミーの機械学習基盤の全体図になります。タイミーのDSグループでは、複数人が様々な領域に対してVertex AI Pipelinesを活用して、機械学習モデルを構築、運用しています。そのようなDSグループでは、下記のようなVertex AI Pipelinesの開発を効率的に行うための仕組みを構築しています。

モノレポ化を行い、グループ共通で運用していくシステムをそのモノレポ傘下に収めました。そうすることで、CI/CDの共通化、フォルダ構成、命名規則の統一、ベストプラクティスの共有が実現できています。
パイプラインで使用するコンテナイメージの共通化を行っています。その結果、脆弱性対応などの保守運用工数の削減が実現できました。
Vertex AI Pipelines内で使用するkfpを用いた処理を共通化して集約した社内ライブラリを構築しています。そのライブラリを活用することで、Artifactの受け渡し部分、Cloud StorageへのI/O処理、yamlで定義したコンポーネントの情報を取得してくる処理などの必要な処理が簡単に記述できるようになっています。

上記以外にもVertex AI Pipelinesをより開発しやすくする環境づくりをMLOps担当のメンバーを中心に継続的に行っています。

導入の背景・解決したかった問題

導入背景

ツール導入前の課題

OSSのML Pipelineツールを利用していたが、スケーラビリティやメンテナンス性、モニタリングやデバッグの難しさに課題を感じ始めていました

どのような状態を目指していたか

機械学習プロジェクトの増加に伴い、より堅牢でスケーラブルなML基盤の実現
モニタリングやデバッグの容易化

比較検討したサービス

Kubeflow Pipelines
AWS SageMaker

選定理由

Vertex AI PipelinesがGoogle Cloud内のサービスなので、既存のインフラストラクチャとの連携が容易であったこと
スケーラビリティが高く、大規模なデータ処理や複雑なパイプラインに対応できること
マネージドサービスであるため、運用コストを削減できること
モニタリングやデバッグ機能が充実しており、MLOpsの効率化に貢献できること

導入の成果

どのような成果が得られたか

どんなメンバー、プロジェクトでも、堅牢かつスケーラブルなML Pipelineを素早く構築できるようになりました
Google Cloudの周辺サービスとの連携がしやすくなり、データ処理からモデルのデプロイまでの一連の流れをスムーズに統合できるようになりました。これにより、単なる機械学習パイプラインの運用にとどまらず、リアルタイムデータの活用や高頻度な予測値の更新など、さらなる価値創出が可能になりました

導入時の苦労・悩み

構築された既存のパイプラインをVertex AI Pipelinesに移行する際の時間や工数
参照できる情報リソースが少なかったこと
パイプラインの設計と実装
- Vertex AI Pipelinesのコンポーネントやアーティファクトの理解
- データセキュリティに関する考慮事項
- 大規模な学習データの効率的な取り込みや前処理方法
チーム内でのVertex AI Pipelinesの利用に必要なスキルセットの習得
パイプラインの監視、エラー対応、バージョン管理などの理解