LiteLLMとは？機能や特徴・製品の概要まとめ
LiteLLM
LitelLLM
LiteLLMのプロダクト概要
LiteLLMとは
LiteLLMは、100以上の大型言語モデル（LLM）へのアクセス、コスト追跡、フォールバック機能などを統一APIで提供し、開発者やプラットフォームチームのLLM活用を簡略化するライブラリ／プロキシサーバです。
| 利用企業数 | 非公開 | 日本語サポート | なし | 無料トライアル | なし |
|---|---|---|---|---|---|
| カスタマーサクセス | あり | 公式ドキュメント | あり |
LiteLLMの特徴
1. Spend Tracking
複数プロジェクトやチームにおけるLLM利用のコストを自動で追跡し、タグ付けやログ出力も可能です。
2. LLM Fallbacks
複数プロバイダー（OpenAI／Azure／Bedrockなど）間での再試行やルーティングによって冗長性の高いモデル呼び出しを実現します。
3. OpenAI-Compatible Proxy
OpenAI形式のリクエスト／レスポンス互換APIを提供し、既存のOpenAIベースツールとの互換性を保ちつつ100以上のモデルを扱えます。