【大規模データのベクトル検索体験改善】Vertex AI導入事例
株式会社ミスミグループ本社 / 蘇侑晨
メンバー / 機械学習エンジニア / 従業員規模: 501名〜1,000名 / エンジニア組織: 11名〜50名
利用機能 | ツールの利用規模 | ツールの利用開始時期 | 事業形態 |
---|---|---|---|
Vector Search | 11名〜50名 | 2023年12月 | B to B |
利用機能 | Vector Search |
---|---|
ツールの利用規模 | 11名〜50名 |
ツールの利用開始時期 | 2023年12月 |
事業形態 | B to B |
アーキテクチャ
導入の背景・解決したかった問題
導入背景
ツール導入前の課題
- 既存ベクトル検索エンジンの拡張性・耐久性
どのような状態を目指していたか
オリジナル検索モデルの利用・カスタマイズができる検索エンジン
既存3倍のトラフィックに耐えられる耐久性
比較した軸
耐久性
速度性能
コスト
選定理由
机上評価を行いました
性能要件の充足
- インデックス更新
- 高負荷時のパフォーマンス
コスト効率
検索モデルの精度と既存モデルの再現性
導入の成果
- スケーラビリティの向上
スケーラブルな近似最近傍探索(ANN)により、高次元ベクトルでも高性能を維持可能。
大規模データに対してもシャード数の自動スケーリングが可能。
- パフォーマンス改善
ANNアルゴリズムが大規模データ向けに最適化されており、 クラウド環境でのANN検索として、Faissをベースとする他の実装と比較しても高いパフォーマンスを実現
Vertex AI Pipelinesを活用することで、キャッシュ、バッチ処理のパフォーマンス向上
- 運用負荷の低減
- サーバーレスであるため、インフラ管理が不要
導入時の苦労・悩み
既存ベクトル検索モデルの再現率を高めるためのチューニング、検証に時間を使った
導入に向けた社内への説明
上長・チームへの説明
導入推進時は、特に重要視していた以下の要件についての説明が行われました。
- インデックス更新速度
- 想定更新データの処理時間が目標値を満たしています。
- 単体検索速度
- 将来想定データ量においても、速度が大きく劣化しない結果となっております。
- レイテンシ最小化、可用性、稼働率の保証
活用方法
ECサイト内における商品検索エンジンとして本番稼働
よく使う機能
Vector Search の主な機能
ScaNNを利用した高速なベクトル近似近傍検索
メタタグフィルター
インデックス管理
Vertex AI の周辺機能との連携
- Vertex AI Workbench環境での開発
- BigQuery、 Cloud Storageなどと統合され、ベクトルデータの処理をスムーズに行えます。
- Vertex AI Workbench環境での開発
Vertex AI Pipelines
- ベクトルデータの定期更新を自動化し運用負荷を軽減
ツールの良い点
- スケーラビリティ
大規模データでも高速な検索が可能
自動スケーリング機能により、リクエストの増加に柔軟に対応可能
- 他サービスとの連携
- BigQuery、Cloud Storage、Vertex AIとの連携をスムーズにできる
ハイブリッド検索に対応可能
IAMの設定で権限管理を細かく設定できる
ツールの課題点
- Pre-Filter機能非対応
ツールを検討されている方へ
絞り込み関連機能の利用を検討してる方に対するアドバイス。
現在Vertex AI Vector Searchは Pre-Filter機能に対応しておらず、商品属性(ブランド、カテゴリ)を利用し、 網羅的に商品を絞り込みたいというユースケースを実現する際、検索結果に対してPost-filteringでの絞り込みを行う場合、 抜け漏れが発生してしまう可能性があります。
今後の展望
テキストだけではなく、マルチモーダル検索など多面的な利用を検討
株式会社ミスミグループ本社 / 蘇侑晨
メンバー / 機械学習エンジニア / 従業員規模: 501名〜1,000名 / エンジニア組織: 11名〜50名
自社ECサイトの検索エンジン開発に携わっております。
よく見られているレビュー
株式会社ミスミグループ本社 / 蘇侑晨
メンバー / 機械学習エンジニア / 従業員規模: 501名〜1,000名 / エンジニア組織: 11名〜50名
自社ECサイトの検索エンジン開発に携わっ...