LiteLLMを利用した社内AI活用基盤構築事例

ツール導入前の課題

組織単位でのAIエージェントの導入推進過程で、多数を対象としたLLMサービス連携・管理の必要性が高まる中、以下の課題に直面しました。

1. ユーザー単位の利用量・予算管理の困難さ
複数のユーザーがLLMサービスを利用する環境において、以下のような課題がありました。

• 組織のLLM利用に対する年間予算が決まっており、これを超過しないよう管理が必要
• ユーザー、およびチーム単位での予算設定と管理が必要
• ユーザー別の利用量をモニタリング・制御する仕組みが必要

2. セキュリティ要件の確保
検討当時、以下の条件下での運用が前提となっていました。

• プライベートネットワーク環境でのLLM利用が必要
• 許可されたAWS環境以外のSaaS、パブリッククラウドサービスへの利用はNG

3. 複数LLMプロバイダー管理の複雑性
前述の課題より優先度は低かったものの、今後他のLLMサービス(AWS Bedrock、Azure OpenAI、Ollama等)への拡張を考慮した際、以下の課題を事前に対処したいと考えました。

• 各サービスごとに異なる接続先と認証方式が必要
• アプリケーション側で複数の接続設定を管理する必要
• 新しいLLMサービス追加時に各アプリケーションの修正が必要

どのような状態を目指していたか

• ユーザー・チーム・組織全体単位で利用量と予算を簡単に管理できる基盤
• プライベートネットワーク環境で安全に運用できるLLMプロキシ
• 複数のLLMプロバイダーを統一的に扱える単一エンドポイント

• LiteLLM ⭐️選定
• bifrost
• any-llm
• OpenRouter
• AWS管理 (※LLM Proxy未導入)

前述の課題解決有無、および保守の容易さを重要視して比較と評価を行いました。

■ 補足

• LiteLLM (*選定)
  • 比較軸のすべての部分において優位、または同等レベルを満たす
  • 認知度の面で優位 (GitHub Star 3.5万以上)
  • ※詳細は決め手になったポイントにて後述
• bifrost
  • 認知度の面でLiteLLMに比べて劣る (GitHub Star 0.2万)
  • 認知度以外の部分は同等。処理速度が速いという利点が主に強調される
• any-llm
  • 認知度の面でLiteLLMに比べて劣る (GitHub Star 0.1万)
  • 認知度以外の部分は同等。Mozilla.aiが主導するオープンソースプロジェクト。軽量、簡潔性、直感性等が利点として主に強調される
• OpenRouter
  • オンプレミス非対応
• AWS管理 (※LLM Proxy未導入)
  • ユーザー別利用量管理が未提供。AWS上で当該機能を実現するには別途仕組みの構築が必要
  • 拡張性と柔軟性において不足していると判断

事前リサーチを通じて、前述の評価基準に対しての適合度に置いて、LiteLLMが一番高いと思いました。

1. ユーザー・チーム単位の利用量管理・制限機能の充実度

LiteLLMは以下の点で優れていると思いました。

• ユーザー・チーム・仮想キー単位のロール管理機能
• 利用量上限設定(日・週・月単位)
• コストと利用状況の可視化機能

これらの機能により、AWS Bedrockだけでは複雑だったユーザー単位の管理を実用的なレベルで実現できると思いました。

2. オンプレミス対応

Dockerを利用したオンプレミス対応が容易で、以下の要件を満たすことが可能と考えました。

• VPNのようなプライベートネットワーク環境での構築
• 社内マシンのようなネットワーク制約がある環境でも導入可能

3. 拡張性と柔軟性

標準化されたインターフェース提供により、以下のような拡張性と柔軟性を確保できると考えました。

• 100種類以上のLLMモデルに対するOpenAI互換API提供
• 単一エンドポイントへの統合により、今後のLLMプロバイダー追加が容易
• OpenAPIドキュメント(Swagger UI)提供により、API仕様が明確
• LLM仕様が変更されてもアプリケーション側の修正を最小限に抑えられる

4. 保守の容易さ(認知度および参考資料の豊富さの観点)

以下の観点から、保守の容易さに優位性があると思いました。

• 認知度の面で優位 (GitHub Star 3.5万以上、他のオプションより数倍〜数十倍)
• LLM Proxy分野で代表的なツールの一つとして実績が豊富
• 日本の技術ブログ等での構築事例も他の選択肢に比べて豊富 (Zenn、Qiita、DevelopersIO等)

あとは、LiteLLMをローカルにインストールして評価内容を実証し、問題ないと判断して選定に至りました。

改善したかった課題はどれくらい解決されたか

「ツール導入前の課題」で前述した課題は概ね解決することができ、期待通りの効果が実感できています。

どのような成果が得られたか

1. ユーザー・予算管理および統制の実現

LiteLLMで仮想キー、およびチームに対する利用料金制限を設定することで、組織の年間予算の超過リスクの防止策を用意することができました。

2. セキュリティの確保

社内マシン、およびVPN環境でのプライベートネットワーク運用により、ネットワーク面でのセキュリティ性を確保し、社内合意のもと無事に導入することができました。

3. 運用効率化、および拡張性の向上

複数LLMの統合管理が可能となり、今後新しいLLMプロバイダー(Azure、GCP等)の追加が容易になり柔軟性の向上が得られました。
実際に、現在AWS BedrockとOllamaのエンドポイントを単一エンドポイントに集約して統一されたAPI規約で連携可能になっています。

1. 最新LLMモデルの即時対応が困難な場合がある

導入当時、Claude haiku 4.5がリリースされた直後でもあり、LiteLLMで正常に動作しない問題が発生しました。
調査の結果、当時の問題としては新規モデルのAPIパラメータがLiteLLMの既存マッピングと互換性がなかった事例と見られました。

https://github.com/BerriAI/litellm/issues/15818
上記のように公式GitHub Issueにも同様の報告があり、LiteLLM側のアップデートにより解決されました。

最新モデルがリリースされた直後は即座に使用できない場合があることを認識し、安定化するまで待つか代替モデルを準備する必要がありました。

2. 必要要件に合った設定過程での試行錯誤が必要な場合がある(膨大な設定オプション)

例えば、社内ポリシー上AWS Bedrockとの連携でAWS STS(Security Token Service)を利用した認証設定が必要でした。

https://docs.litellm.ai/docs/providers/bedrock#sts-role-based-auth
公式マニュアルの上記セクションに該当しますが、当該マニュアルページおよび設定可能なオプションが比較的膨大な部分もあり、詳細を確認しながら設定を進め、若干の試行錯誤を経て最終的に連携することができました。

設定可能なオプションの豊富さは高い自由度と柔軟性を提供しますが、我々に必要な要件にぴったり合う正解を見つけるのには多少時間が必要になる可能性があると感じました。

# config.yaml
model_list:
  - model_name: # プロキシサーバーで外部に公開するモデルの別名 (例: bedrock-claude)
    litellm_params:
      model: # 実際に呼び出すBedrockモデルID (例: bedrock/jp.anthropic.claude-sonnet-4-5-20250929-v1:0)
      aws_role_name: # STS AssumeRoleのために切り替え(Assume)するIAM RoleのARNまたは名称
      aws_region_name: # モデルがデプロイされているAWSリージョン
      aws_access_key_id: # (任意) STSリクエストを送る権限があるIAMユーザーのアクセスキー (環境変数推奨)
      aws_secret_access_key: # (任意) STSリクエストを送る権限があるIAMユーザーのシークレットキー (環境変数推奨)

複数ユーザーがLLMを利用する環境において、LiteLLMは非常に有効なソリューションです。推奨するケースとしては以下となります。

• 複数のLLMプロバイダーを統合管理したい場合
• ユーザー・チーム単位で利用量と予算を管理したい場合
• プライベート環境でLLM Proxyを運用したい場合
• OpenAI互換APIで統一的にLLMを利用したい場合

当面は社内サーバーを利用した小規模運用を想定していますが、今後の利用用途・規模の拡大になる際は、以下の点を検討していきたいと考えています。

• 利用者および利用量増加に伴う安定性担保(スケールアウト実現方法の検討、Private Cloud化など)
• モデルルーティングおよびフォールバック戦略などの活用を通じた利用最適化可能性の検討
• LiteLLM提供追加ツールの活用(MCP Server、Vector Store、Caching、Prompts機能など)