Azure OpenAI Serviceを活用したRAGシステムのアーキテクチャ

プレイドではカスタマーエンジニアが問い合わせ対応業務を行っており、回答作業の工数削減とナレッジの再利用性の向上が課題でした。この解決策としてAzure OpenAI Serviceを活用したRAG Botを構築しました。

社内の質問者やカスタマーエンジニアはBotに質問を入力するだけで適切な回答と回答の情報源になったドキュメントを即座に生成・取得できるようになり、既存ナレッジの再利用性の向上と回答作業の工数削減を実現することができました。

技術選定・開発について

要件としては、社内に限定公開されたナレッジを扱うため情報の機密性が保証されていること、AI自体が変化が激しい技術であるためそれに追随できるようにシステムをカスタマイズしやすいことの2点がありました。これらの要件を考慮し、RAGのコア機能を全てAzureに集約したシステム構成としました。

具体的には Azure OpenAI Service、Azure AI Search、Cohere Rerankerを組み合わた構成としました。簡単に高精度な検索と回答生成を実現することができ、機密性の要件も満たすことができました。

Azureを利用するための技術として、フロントエンドはSlack Botを採用し、RAGを実行するバックエンドはDify、n8n、Zapier を採用しています。また、ナレッジベースはAI Search に Workflows、Zapierを使って関連ドキュメントを自動的に集約する仕組みとしています。

Botの利用者がSlackから気軽にアクセスでき、Botの管理者はローコードツールを通してBotの振る舞いやナレッジを簡単に変更できるようにすることで、使う側にも作る側にも気軽にシステムにアクセスしてもらえるように工夫しています。

運用面について

回答の正確さの改善が長期運用時の課題であり、リリースから1年程度継続してチューニングを行って改善していく必要がありました。特に検索の時点で必要な情報を取得できないことが回答精度のボトルネックになることが多かったため、以下のような改善を行いました。

1. AI Searchのハイブリッド検索・Multiple vector fieldsを導入し、両者のスコアの重み付けをチューニングすることで、ベクタ検索とフルテキスト検索の長所を活かせるように改善
   

2. Rerankerモデルを導入した上でSelf-Routeを模した検索処理を採用し、コンテキストの量を増やした上で、ノイズになる情報を取り除くことに優れたo1モデルへモデル変更、回答に必要なコンテキストを十分な量取得できるよう改善
   

これらの改善の結果として正答率を大幅に改善することができました。Azureのマネージドサービスで使える範囲の機能だけで細やかなチューニングを完結でき、結果的に省コストに回答の精度を高められたことはAzureを採用してとても良かったポイントです。

成果と今後の展望

導入効果としてサポートチームの問い合わせ対応の工数を削減できました。それだけでなく、副次的な効果としてナレッジを資産に変える意識がチーム内に定着したことや、回答着手のハードル低下、質問者の自己解決力の向上、AIリテラシーの向上といった大きな成果もありました。

今後は自律型AIエージェントの開発、KARTEドメイン知識とのさらなる融合、マルチモーダル機能の実装などを通じて、単なる回答システムから高度な問題解決と知識伝達を行うプラットフォームへと進化させていきたいと考えています。

◆執筆：株式会社プレイド　カスタマーエンジニア　福田 一永　@Yoshida24