LLM開発、運用がラクになる！OpenRouterを導入し開発に専念できる環境にした

ツール導入前の課題

AIエージェント機能を開発していくにあたり、LLMモデルの性能がプロダクトの品質に大きく影響する要件であったため、複数のLLMのプロバイダ（OpenAI、Anthropic、Google等）で精度比較をしながら開発を進める必要がありました。

その際に、以下のような課題が発生していました。

• モデルごとの性能を検証をしたいが、プロバイダ（OpenAI、Anthropic、Google等）が増えるとその分、開発が必要になる
• プロバイダごとのAPIキー管理・請求管理が煩雑になる
• コストがモデルごと・プロバイダごとにバラバラで、監視／管理が難しい

どのような状態を目指していたか

「複数モデルを簡単に切り替えられて」「コスト監視がしやすく」「請求・管理も一本化できる」ような状態を目指し、よりコアなビジネスロジックの開発に集中できる状態を目指していました。

改善したかった課題はどれくらい解決されたか

上述の課題についてはすべて解消されました。

どのような成果が得られたか

OpenRouterを介することで、通常よりコストは上がるものの、 開発工数は当初の1/3以上圧縮され、その後の新規モデル追加なども追加の開発コストが発生せずに運用、保守できています。

自動スマートルーティングとフォールバック機能というのがあり、リクエストを最速または最もコスト効率の良いプロバイダに自動的にルーティングすることが可能となります。また、特定のプロバイダに障害が発生した際には、自動的にバックアッププロバイダに切り替えるフォールバック機能により、高い可用性を実現します。

使用モデルの性能をそこまで厳密に選定する必要がないケースにおいては、これらの機能を用いることで、高い可用性とコストの最適化が実現できるため、ユースケースに応じて検討していきたいと考えています。