AIエージェント開発におけるインフラアーキテクチャ

アーキテクチャ設計の背景・意図
弊社では、AIエージェント開発において複数の重要な課題に直面していました。まず、ユーザーの質問に対して期待する回答が得られない場合、その原因がプロンプトにあるのか、中間で呼び出されるツールの結果によるものなのかが判断できず、開発難易度が大幅に上がっていました。特にLLMを多段で呼び出すアプリケーションでは、中間処理の可視化が困難でした。また、運用上変更の多いプロンプトをソースコードから切り離して管理し、デプロイを伴わない迅速なデリバリーを実現する必要がありました。さらに、ユーザーフィードバックやドメインエキスパートによる評価をLLMの回答と紐づけて分析し、サービス機能ごとの生成コストを正確に算出する仕組みが不可欠でした。

◆なぜそのツールを選択したのか
Langfuse選定の最大の決め手はセルフホステッド運用が可能な点でした。Langsmithもセルフホステッド版がありますが、エンタープライズライセンスが必要であるのに対し、LangfuseはOSS版が利用できるため、セキュリティ要件を満たしながらコストメリットを享受できました。技術的な観点では、ObserveデコレーターをはじめとするLangfuse SDKの充実により、観測したい関数にデコレーターを付けるだけで比較的手軽に可視化を実装できる点も高く評価しました。LangChainやLangGraph専用のCallbackも提供されており、実装の簡便性が他ツールと比較して優れていました。

◆実際にどのように運用をしているのか
現在、開発チームではLangfuseをほぼ毎日活用し、新機能開発時のAIエージェントワークフロー構築やデバッグ、コスト分析に利用しています。プロダクトオーナーやステークホルダーは週次でLangfuseから集計された利用状況やコストデータを確認し、サービス機能のブラッシュアップや予算・プライシング検討に活用しています。また、CI/CDパイプラインと連携させることで、プロンプトの他環境デプロイ自動化、機能ごとの詳細な利用状況・コスト通知をSlackへ配信する仕組みを構築し、運用効率を大幅に向上させました。開発工数は導入前と比較して1/3〜2/3程度に削減されたと実感しています。

◆ご執筆者のご情報

• お名前: 伊野瀬出（いのせ いずる）
• 役職:25新卒ソフトウェアエンジニア
• 所属: KDDIアジャイル開発センター
• X（旧Twitter）アカウント名: @i_inose0304