Amazon Bedrockの導入効果をレビューでご紹介(kzk-maeda-atama plus株式会社)

参考になった

会員限定コンテンツです。無料登録すると制限なしでお読みいただけます。

無料登録してアーキテクチャを見る

レビュー投稿日の情報になります

atama plus株式会社 / kzk-maeda

EM / EM / 従業員規模: 101名〜300名 / エンジニア組織: 11名〜50名

最終更新日2024/09/12投稿日2024/01/31

利用プラン	ツールの利用規模	ツールの利用開始時期
＊＊＊	11名〜50名	2023年11月

利用プラン	＊＊＊
ツールの利用規模	11名〜50名
ツールの利用開始時期	2023年11月

アーキテクチャ

会員限定コンテンツ無料登録してアーキテクチャを見る

アーキテクチャの意図・工夫

元々OpenAI APIで実装していた部分をBedrockに置き換えたものではありますが、下記のような処理を実行しています

日次で実行されるIndexerレイヤで、Github Issuesに起票された既知バグをIndex化してPineconeに格納
Slackからの要求に応えるAppレイヤで、エラーメッセージからDatadogのエラーログを検索
Pineconeに格納されている既知のバグリストから類似のものを検索してきて、Slackに返却

工夫点は下記3点になります
- リソースはserverless frameworkで管理されたlambdaで実装することで、必要な時のみコストがかかる構成
- BedrockはLambdaでの実行とも相性が良く（権限をIAM Roleから付与できること、ログを一元管理できること）、今回の構成にもマッチしている
- RAGアプリケーション一般で課題になるIndexの更新は日次で実行されるLambdaで実現

導入の背景・解決したかった問題

導入背景

導入前は、LangChainを利用してツール内でOpenAI APIを実行していましたが、OpenAI APIを実行するためのクレデンシャル管理やコスト管理が個別に必要であることや、OpenAIの障害時に正常に実行できないという課題がありました。
そこで、よりメンテナンスコストが低い状態で内製の開発支援ツールの運用が叶うツールへの代替を検討するに至りました。

選定理由

1. 比較した軸・比較する際に重要視していた点

　- 管理のしやすさ（クレデンシャル、コスト、ログなど）
　- セキュリティ（プロンプトデータが学習に再利用されないか）
　- LLMの精度（OpenAI APIと比較して明らかに精度が落ちないか）

2. 決め手となったポイント

　- 実行基盤をAWS上に構築しているので、権限やコスト管理をAWS内で完結させられる点
　- トラフィックがAWS内ネットワークで完結する点

導入の成果

クレデンシャル管理やコスト管理の課題が解決できた

導入に向けた社内への説明

上長・チームへの説明

導入対象が社内ツールであり、また導入コストもAWS予算の中に組み込める状態だったので、経営陣への説明や承認申請が必要ない状態だった

活用方法

よく使う機能

活用方法

システムエラーが発生した際、過去に類似のエラーが発生していないか調べるツールとして利用している
開発者がエラー発生時にSlack経由で通知を受け取っている

ツールの良い点

LLMアプリに必要なスタック・クレデンシャルをAWSのみで完結できる
Cloudwatchでpromptログが確認でき、開発運用時のデバッグに利用できる
LangChainとネイティブに統合されていて実装が容易

ツールの課題点

1. LangSmith相当の運用支援ツールと統合されると嬉しい

LangChain + OpenAI APIを用いてアプリケーション開発する場合、LangSmithによる強力な開発支援を受けられる
Bedrockに同等レベルの開発支援ツールが備わっていると、AWSネットワークの中で簡潔するというメリットを享受しながら高レベルの開発体験が得られる期待値があるため、サービスとして取り込まれていると嬉しい