Amazon Bedrockを活用し、サポートエンジニアの回答作成時間を最大30%短縮

ツール導入前の課題

• セゾンテクノロジーのテクニカルサポートセンターでは、サポートエンジニアが膨大な製品情報から回答を作成する際の負担が大きく、特に若手エンジニアのスキル育成と心理的負担の軽減が課題となっていた。

どのような状態を目指していたか

• 製品情報を読み込ませたRAG(Retrieval-Augmented Generation)を活用したシステムを導入することで、回答作成時間の短縮による業務効率化とエンジニアの負担軽減を目指した。また、業務の特性上、高い回答精度が求められていたため、複数のモデルを検証し、要件に最適な高精度の回答が得られるシステムの実現を目指した。

• Azure OpenAI Service

• Amazon Bedrockの基盤モデルの性能が、RAGを活用したシステムの要件に最適であるかどうかを重視して比較した。

• Amazon Bedrockを選択した決め手は、Anthropic社のClaude 3 Haiku、Cohere社のCommand R+、Embed Multilingual v3が利用可能であったこと。
• 今回採用したAdvanced RAGシステムでは、回答作成用の基盤モデルと、質問文からキーワードや類似語を抽出し複数の検索クエリを作成する基盤モデル、さらにベクトル検索のためにの高精度な埋め込みモデルが必要だった。
• 検証の結果、クエリ生成には日本語の理解と生成に優れ、高速な応答性能を示したClaude 3 Haikuが最適であると判断した。
• 埋め込みモデルには、日本語の精度が高いEmbed Multilingual v3が最適であると判断した。
• 回答生成には、開発が容易で説明可能性の高い回答が得られるRAG用途に特化した機能を持つCommand R+が最適であると判断した。

改善したかった課題はどれくらい解決されたか

• 導入により、サポートエンジニアの回答作成時間は最大30%短縮され、テクニカルサポートセンター全体で約10%の業務効率改善を達成した。

どのような成果が得られたか

• サポートエンジニアの半数以上が業務における心理的負担が軽減したと評価した。
• Advanced RAGを採用したことで、ベクトル検索のみのRAGと比較して、回答の精度を約33%向上することが出来た。

• Amazon Bedrockの導入にあたり、当社ではAzure Open AI Serviceの利用が先行していたため、Amazon Bedrockを選択した理由の説明に苦労した。

• Claudeモデルを呼び出す際は、Anthropic社が提供するプロンプトエンジニアリングのテクニックを活用することが重要。特に、基盤モデルに一定の形式で出力させたいタスクにおいては、プロンプトの最適化が必須。
• モデルの追加アップデートが頻繁に行われるため、呼び出し構文の変更に柔軟に対応できるアーキテクチャ設計が重要。

Agents for Amazon Bedrockを導入することで、以下の2点を実現し、システム全体の回答精度と安全性の向上を図りたい。

1. ユーザーからの質問をエージェントが事前に分析し、不適切な内容や機密情報に関する質問をブロック。
2. 回答に必要な情報が不足している場合、エージェントが追加の質問を行うことで、より正確で詳細な回答を生成。