Promptfooとは？機能や特徴・製品の概要まとめ
Promptfoo
Promptfoo, Inc.
Promptfooのプロダクト概要
Promptfooとは
CLIとライブラリでLLMアプリケーションのプロンプト・RAG・エージェントをテスト＆レッドチーミングできるオープンソースツール。YAML構成で評価、脆弱性対策、自動評価をローカルやCI/CDで実施可能。
| 利用企業数 | 非公開 | 日本語サポート | なし | 無料トライアル | なし |
|---|---|---|---|---|---|
| カスタマーサクセス | なし | 公式ドキュメント | あり |
Promptfooの特徴
1. プロンプトテスト
YAMLで定義したテストケースとアサーションでプロンプトの品質を自動評価。複数のモデルやプロンプトバリエーションを比較検証可能。
2. RAG/エージェント評価
検索精度や回答品質、エージェントの振る舞いを自動テスト。データセットやメトリクスを使って継続的な品質確保を実現。
3. レッドチーミング
脆弱性や不適切な出力を自動的に検出し、セキュリティリスクを軽減。CI/CDパイプラインでの自動チェックにも対応。