Amazon Bedrockを使用した低コストRAG
株式会社Fusic / そのだ
インフラエンジニア / 従業員規模: 101名〜300名 / エンジニア組織: 51名〜100名
ツールの利用開始時期 |
---|
2024年4月 |
ツールの利用開始時期 | 2024年4月 |
---|
アーキテクチャ
アーキテクチャの意図・工夫
RAGを構築するにあたり、まずAmazon Kendraの使用について検討しました。しかし、社内ドキュメントの量が数十ページ程度と少なかったため、月額800〜1000ドルもの費用をかけてKendraを使用するのはコストパフォーマンスが悪いと判断しました。Kendraを使わない代替案として、OpenSearch Serverlessが挙げられましたが、他のサーバーレスサービスとは異なる課金方式で割高だったため、却下しました。
最終的に、Pinecone Serverlessを使用することで、大幅なコスト削減を実現しました。Pinecone Serverlessは、ベクトルデータベースであり、低コストで高速な検索を可能にします。
また、よくある質問や回答できなかった質問を分析するために、Amazon DynamoDBを使用して会話ログを保管しています。これにより、ユーザーからの質問内容を把握し、適切なドキュメントを追加することで、システムの回答精度を継続的に向上させています。
導入の背景・解決したかった問題
導入背景
当社には、社内の人しか閲覧できないドキュメントを掲載したWebページがあります。しかし、そのページには検索機能がなく、必要な情報を探すためには、毎回ジャンルを設定して確認しなければなりません。この作業は非常に面倒で、時間がかかるというのが現状でした。
社内の制度や手続きについて疑問が生じた際、わざわざ調べに行かなくても答えがすぐにわかるようにしたいと考え、最近流行りのAmazon Bedrockをを用いた低コストなRetrieval-Augmented Generation(RAG)の導入を検討することになりました。
導入の成果
社内ドキュメントを調べる時間を削減することができました。
導入時の苦労・悩み
最も大きな課題はハルシネーションの多発でした。ハルシネーションの発生は避けられないと考え、生成された回答に引用元のリンクを記載することで対処しました。これにより、ユーザーが情報の正確性を確認できるようになり、RAGシステムの信頼性と利便性を高めることができました。
導入に向けた社内への説明
上長・チームへの説明
Amazon Bedrockを使用してRAGを構築する際、データの使用については許可を得ることができましたが、コストが高すぎるという懸念が上長から示されました。
一般的にRAGを構築する際は、Amazon Kendraを使用することが多いですが、Kendraは月額800ドルと高コストであり、その分、高いパフォーマンスが求められます。しかし、Kendraを使わずに、Pinecone ServerlessやAWS Lambdaといったサーバーレスのサービスを活用することで、コストを抑えつつRAGを構築できることを提案しました。
これにより、使用した分だけの課金となるため、大幅なコストダウンが見込めます。実際にこの提案が受け入れられ、低コストでRAGを導入することができました。
活用方法
よく使う機能
社内制度に対する問い合わせ
ツールの良い点
使いやすさ・呼びやすさ
AWSを触ったことがあるエンジニアにとって、Amazon Bedrockは簡単に呼び出すことができるため、使い方を覚えるのにそれほど時間がかからず、とても楽だと感じます。豊富なモデル
Amazon Bedrockには豊富な種類のモデルが用意されているのも大きなメリットです。これにより、開発者はさまざまな用途に適したモデルを選択し、システムに組み込むことができます。Knowledge Base機能
Knowledge Base for Amazon Bedrockという機能があり、簡単にRAGを構築できるようになっているため、生成AIシステムの開発に関する参加障壁が下がっていると言えます。
ツールの課題点
- リージョンによる制約
Amazon Bedrockでは、モデルがリージョンによって使用できないものがあります。特に、東京リージョンでは他のリージョンと比べてモデルの更新が遅い傾向にあります。これにより、東京リージョンでは最新のモデルを使用したい場合に制限がある可能性があります。
したがって、案件の条件によっては、利用可能なモデルの中から精度が低いモデルを選択せざるを得ない場合もあります。モデルの性能が案件の成功に大きく影響する可能性があるため、リージョンによる制約は課題となり得ます。
ツールを検討されている方へ
Amazon Bedrockを使ってRAGを作成する際には、Knowledge Base for Amazon Bedrockを活用することをおすすめします。この機能を使うことで、非常に簡単にRAGを構築することができます。まずは、Knowledge Base for Amazon Bedrockを通じてRAGの基本的な知識を学ぶことから始めると良いでしょう。
RAGの構築方法を理解した後は、Amazon Bedrockの他の機能についても調査してみることをお勧めします。Amazon Bedrockには、様々な用途に応じたモデルやツールが提供されています。これらを探索し、自分のプロジェクトにどのように活用できるかを考えることで、Amazon Bedrockに対する理解がさらに深まるはずです。
今後の展望
Claude3系統が東京リージョンでできるといいなと思います。
株式会社Fusic / そのだ
インフラエンジニア / 従業員規模: 101名〜300名 / エンジニア組織: 51名〜100名
よく見られているレビュー
株式会社Fusic / そのだ
インフラエンジニア / 従業員規模: 101名〜300名 / エンジニア組織: 51名〜100名
レビューしているツール
目次
- アーキテクチャ
- 導入の背景・解決したかった問題
- 活用方法