Amazon Bedrockを活用し、サポートエンジニアの回答作成時間を最大30%短縮
レビュー投稿日の情報になります
株式会社セゾンテクノロジー / Naoki Ishihara
メンバー / インフラエンジニア / 従業員規模: 501名〜1,000名 / エンジニア組織: 301名〜500名
最終更新日投稿日
ツールの利用規模 | ツールの利用開始時期 | 事業形態 |
---|---|---|
11名〜50名 | 2023年9月 | B to B |
アーキテクチャ
![アーキテクチャ図](https://cdn.findy-tools.io/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsibWVzc2FnZSI6IkJBaHBBWmM9IiwiZXhwIjpudWxsLCJwdXIiOiJibG9iX2lkIn19--f8583897a2df9fbb73c2b67cfcc79efec6dff0a6/image%20-%202024-06-17T113422.637.png?disposition=inline)
アーキテクチャの意図・工夫
- このアーキテクチャは、Advanced RAGのプロセスをAWS Lambda単体で実行できるようにするために設計した。
- ユーザからのクエリに対し、Claude 3 Haikuが類似語やキーワードを生成し、全文検索とベクトル検索で関連するチャンクを抽出する。最後に、抽出されたチャンクと質問をCommand R+に渡して回答を生成する。
- 従来、RAGの実装には複数のサービスの組み合わせが必要だったが、このアーキテクチャではアプリケーション、ライブラリ、ドキュメントをコンテナイメージ内に収め、AWS Lambda単体で動作させることで、構成をシンプルにした。
- サーバーレスアーキテクチャにより、システムの運用負荷を大幅に削減し、かつ、回答作成は1,000件あたり30ドル以下の低コストを実現することが出来た。
導入の背景・解決したかった問題
導入背景
ツール導入前の課題
- セゾンテクノロジーのテクニカルサポートセンターでは、サポートエンジニアが膨大な製品情報から回答を作成する際の負担が大きく、特に若手エンジニアのスキル育成と心理的負担の軽減が課題となっていた。
どのような状態を目指していたか
- 製品情報を読み込ませたRAG(Retrieval-Augmented Generation)を活用したシステムを導入することで、回答作成時間の短縮による業務効率化とエンジニアの負担軽減を目指した。また、業務の特性上、高い回答精度が求められていたため、複数のモデルを検証し、要件に最適な高精度の回答が得られるシステムの実現を目指した。
比較検討したサービス
- Azure OpenAI Service
比較した軸
- Amazon Bedrockの基盤モデルの性能が、RAGを活用したシステムの要件に最適であるかどうかを重視して比較した。
選定理由
- Amazon Bedrockを選択した決め手は、Anthropic社のClaude 3 Haiku、Cohere社のCommand R+、Embed Multilingual v3が利用可能であったこと。
- 今回採用したAdvanced RAGシステムでは、回答作成用の基盤モデルと、質問文からキーワードや類似語を抽出し複数の検索クエリを作成する基盤モデル、さらにベクトル検索のためにの高精度な埋め込みモデルが必要だった。
- 検証の結果、クエリ生成には日本語の理解と生成に優れ、高速な応答性能を示したClaude 3 Haikuが最適であると判断した。
- 埋め込みモデルには、日本語の精度が高いEmbed Multilingual v3が最適であると判断した。
- 回答生成には、開発が容易で説明可能性の高い回答が得られるRAG用途に特化した機能を持つCommand R+が最適であると判断した。
導入の成果
改善したかった課題はどれくらい解決されたか
- 導入により、サポートエンジニアの回答作成時間は最大30%短縮され、テクニカルサポートセンター全体で約10%の業務効率改善を達成した。
どのような成果が得られたか
- サポートエンジニアの半数以上が業務における心理的負担が軽減したと評価した。
- Advanced RAGを採用したことで、ベクトル検索のみのRAGと比較して、回答の精度を約33%向上することが出来た。
導入時の苦労・悩み
- Amazon Bedrockの導入にあたり、当社ではAzure Open AI Serviceの利用が先行していたため、Amazon Bedrockを選択した理由の説明に苦労した。
導入に向けた社内への説明
上長・チームへの説明
- 今回の用途に適したモデルがAmazon Bedrockにあること、および、Guardrails for Amazon Bedrockを利用することで機密情報の入力制限などのルールを設定し、安全に生成AIモデルを利用できる環境を整備できることを説明した。
活用方法
- 約20名のサポートエンジニアが利用しており、日々の業務における問い合わせ対応に活用している。
よく使う機能
- Claude 3 Haikuモデルを呼び出して、質問文から複数の検索クエリを生成する。
- Command R+モデルを呼び出して、関連するチャンクと質問から回答を生成する。
- Embed Multilingual v3モデルを呼び出して、テキストデータから埋め込みベクトルを生成する。
ツールの良い点
- Amazon Bedrockは、タスクに応じて最適なモデルを選択できる柔軟性が高く、ユースケースに合わせた最適化が可能なところ。例えば、RAGの用途でCohere Command R+を呼び出す際、関連ドキュメントと質問を同時に渡すことで、説明可能性の高い回答と関連ドキュメントを提示できる。
- Guardrails for Amazon Bedrockを活用することで、正規表現を用いて機密情報の入力及び出力をブロックできるところ。
ツールの課題点
- RAGで利用すると1リクエストで大量のトークンを消費する場合があり、リクエスト制限に達してしまうことから、負荷分散などの対策が必要なこと。
- Guardrails for Amazon Bedrockのトピックフィルタリング機能は、日本語であまり効果が発揮しないこと。
ツールを検討されている方へ
- Claudeモデルを呼び出す際は、Anthropic社が提供するプロンプトエンジニアリングのテクニックを活用することが重要。特に、基盤モデルに一定の形式で出力させたいタスクにおいては、プロンプトの最適化が必須。
- モデルの追加アップデートが頻繁に行われるため、呼び出し構文の変更に柔軟に対応できるアーキテクチャ設計が重要。
今後の展望
Agents for Amazon Bedrockを導入することで、以下の2点を実現し、システム全体の回答精度と安全性の向上を図りたい。
- ユーザーからの質問をエージェントが事前に分析し、不適切な内容や機密情報に関する質問をブロック。
- 回答に必要な情報が不足している場合、エージェントが追加の質問を行うことで、より正確で詳細な回答を生成。
株式会社セゾンテクノロジー / Naoki Ishihara
メンバー / インフラエンジニア / 従業員規模: 501名〜1,000名 / エンジニア組織: 301名〜500名
よく見られているレビュー
株式会社セゾンテクノロジー / Naoki Ishihara
メンバー / インフラエンジニア / 従業員規模: 501名〜1,000名 / エンジニア組織: 301名〜500名
レビューしているツール
目次
- アーキテクチャ
- 導入の背景・解決したかった問題
- 活用方法