LangSmithによるQast AIの精度検証プロセス改善

ツール導入前の課題

弊社プロダクトQastにおいては、こましりchatというRAGに相当する機能を提供しています。Qastに蓄積したメモやファイルの内容をベクトル化し、それらをRAGを利用してチャット形式でユーザに返答することができる機能です。

こましりchatのリリースから約1年ほどが経過し、この期間においてもモデル変更やアルゴリズムの改良を常に行っていました。しかしながら、当時は自動化の仕組みを整えておらず、改善をおこなったものを手動でテストを実施し、まとめた結果を人間が目視で精度を確認し、その結果をスプレッドシートにまとめるという作業をしていました。

またGPT-3.5 → GPT-4のように、明確に精度向上を人間が確認できる場合は問題になりませんでしたが、改善結果が目視では判断できないことも多く、改善した結果を信用してリリースして良いか判断の拠り所がない状況でした

どのような状態を目指していたか

LLM Model, Chunking Strategy, Rerankerなどの調整に応じて、精度検証のPDCAプロセスを短縮化する、いわゆる実験管理としての効率化を目指しました。またこれまでは人間が目視で精度確認をしていたところから、定量化できる指標（コサイン類似度など）を導入することでオフライン評価の土台構築をしました。

• Langfuse
• Wandb

LLMOpsや実験管理に対する知見が薄い状態から始めたため、公式ドキュメントやインターネット上に情報がどれだけ公開されているかという点を特に重要視しました。

LangSmithがすでに利用していたLangChainとの親和性が高く日本語の情報量も多かったゆえです。また導入後に活用できなかったとしても、すぐに辞めることができる月額契約ができたためです。

実験管理としてStreamlit上にアプリケーションを作成し、そこからLangSmithの実行ができる状態に整っています。また同時にGitHub Actionsを経由して、リリースごとに精度をモニタリングする仕組みも同時に開発しています。結果として、精度改善のPDCAのサイクルを高速で回せるかつ、定点モニタリングをする土台をつくりだすことができました。

LangChainに密結合であればあるほどスムーズに導入できるのですが、QastにおいてはRetrieverは独自の仕組みを採用するなど、LangChainを利用していない箇所において、LangSmithにどのようにデータをためていけばいいか迷うことが多いです。したがって推奨していないようなHackyな実装になる箇所も若干ですがありました。

我々はAIエンジニアの人数が少なかったこともありますが、LLMOpsの分野はプラクティスが確立していないことまずは小さく始めてみることをオススメします。またLangChainをヘビーユースしている場合は特に便利さを実感できることかと思います。