WEDにおけるVertex AI Vector Searchの活用事例

ツール導入前の課題

レシート中に表記されている商品名に最も適切な商品を示すJANコードなどのIDを付与するシステムを構築しようとしていました。ベクトル検索を用いることで実装できそうな手応えはありましたが、日々数十万枚のレシートデータに対し、効率よく安定してIDコード付与を行えるようにする必要がありました。

どのような状態を目指していたか

日々アップロードされるレシートデータ中の各商品名に、数百万個の商品のデータベースから最も適切なIDを付与できること、さらにその商品データベースを定期的に更新し、新商品にも容易に対応できることを目指していました。

• Faiss library by Meta
• Myscale

• 運用時の速度とコストのバランス
• サービスの管理のしやすさ

他に比較したサービスと比較して、同程度の精度を保ちつつ高速であり、費用・運用面でのコストにおいて優位であったため選定しました。

改善したかった課題はどれくらい解決されたか

実現したかった、日々のレシートデータ中の商品名に対し安定してIDコード付与を行う環境を実現することができました。また、別途過去のレシートデータに対し遡ってIDコード付与処理を行うこともできるようになりました。

どのような成果が得られたか

現状まだ改善の余地はありますが、ある程度の精度で対象とするレシートデータにIDコード付与ができています。また、名前空間機能を使ってインデックスを選択的に適用することで、ベクトル検索にフィルタをかけることもできています。さらに、ベクトルインデックスを恒常的に更新することもCloud Composerを利用して容易にできるようになりました。

試行錯誤で適切な設定を探る必要があり、またベクトル検索を用いるために実行時に商品名をベクトルに変換する部分を別途実装して連携させる必要がありました。これらはCloud Run Jobsを用いて連携することで解決できました。

状況に応じてデータを更新したり設定を変更したりする柔軟性があるぶん選択肢が多いので、実運用前に小さいインスタンス・データで実際に複数の設定でテストするのが良いかと思います。

Vertex AI には新しい機能が随時追加されているので、今後も必要に応じてそれらを利用していきたいと考えています。