LangChainを用いた効率的なAIアプリケーション実装

ツール導入前の課題

• 最初の生成AIアプリケーションの実装を始めた2023年前半ごろ、LangChainも未成熟で、OpenAI APIをそのまま実行するような実装が世の中ではまだ一般的だった
• 登場し始めていたRAGという概念に必要な周辺ツールとの接続なども自前で実装するかどうか、という時期で、世間的に模索状態だったと思われ、弊社でも同様の状況だった
• OpenAI社以外もモデルの提供を徐々に始めてきた時、LLM APIを直接実行する実装では、モデルごとの精度比較のために毎回再実装が必要で非効率だった

どのような状態を目指していたか

• どのLLM APIを実行するか、という知識とアプリケーションロジックの知識が切り離された設計
  • そのために自前のレイヤー実装をするのではなく、デファクトスタンダードとなりうる技術を選定したかった
• 周辺エコシステムとの簡単な連携

• guidance
• OpenAI APIなど、素のLLM API実行

• 世の中にナレッジが豊富にあり、デファクトスタンダードとなること（2023年時点では今ほど差がなかった）
• Modelの入れ替え容易性（アプリケーションを運用しながら、OpenAIのモデルやAnthropicのモデルなどを適宜スイッチングして精度検証しながら育てていくことを想定していた）
• 周辺ツール・エコシステムとの連携容易性
• OSSとしての進化スピードの速さ

【導入当時】

• 2023年当時にLangChainを選定した時は、上記の点がクリアになるかどうかは不透明であったものの、期待値が高いだろうと想定して社内アプリケーションから導入を始めた
• 合わせて、周辺ツールとの接続で足りない部分はLangChainにコミットすれば比較的容易に取り込んでもらえるだけのOSSエコシステムが育ちつつあった

【現在】

• 上記の社内向けアプリケーションでの実績があったこと、その際にモデル入れ替えが非常に容易だったこと（OpenAI API → Anthropic Claudeに変更した）から、ユーザー向けアプリケーションの機能にもLangChainを用いることを決めた
• その際はLangChainとしてもstable versionのリリースが終わり、coreやcommunityなどのpackage分離も進んでいたことから、必要な機能を選定してより軽量に導入することができると判断した
• また、OSSエコシステムは継続して成長しており、現在では連携していない周辺ツールを見つける方が難しいくらいには充実している。また、新しいモデルの対応速度も早く（大きなモデル変更は大体即日で取り込まれる）、ライブラリを利用することで時流に遅れるようなことも少ないと判断した

改善したかった課題はどれくらい解決されたか

• アプリケーションロジックはLLMレイヤーの知識を持たなくても済む実装ができている
• OpenAI APIからAnthropic Claude（w/ Bedrock)に変更する際、非常にスムーズに変更できた
  • https://speakerdeck.com/kzkmaeda/20231027-bedrockmian-qiang-hui-4d607835-1888-49dc-9d4c-c7a9cff889d7?slide=11
• Claude 3.7 Sonnetがリリースされた際も、LangChainが即日対応を入れてくれたので、翌日には新しいモデルの検証をすることができるなどスピーディな新技術検証にも追従できている

どのような成果が得られたか

• 上記の課題解決に加えて、
• JS版のライブラリも成熟してきているので、チームによってはJS版のLangChainを導入することで、プロダクトとの技術スタック親和性が高い中で同様のメリットを享受できている
• LangSmithによるモニタリングも実施しており、セッションレベルで実際にプロダクトで行われているLLMとのやりとりを見てデバッグやtoken試算など行うことができている

• 2023年当時はナレッジが少なく、また、ドキュメントも未成熟で実装のためにコードを追わないと理解できない部分が多くて苦労した
• 現在はドキュメントもかなり充実しているので、あまり迷うことはないと思われる

• LangSmithのプロンプト管理機能や、LangGraphなどより便利に利用できそうなツールがたくさんアップデートされているので、適宜検証して運用に取り込んでいきたい
• LangChainファミリーで複数のpackageに分割されており、バージョン追従の負荷が上がっているので、効果的にバージョン追従しつつ品質を担保できる仕組みの導入を目指したい