Azure OpenAI Serviceを活用した社内向け文書検索ツールのアーキテクチャ

PKSHA TechnologyにおけるAzure OpenAI Service活用について

弊社では、企業内に蓄積された大量のドキュメントが整理・活用されておらず、資料検索や情報取得に時間がかかる課題がありました。 生成AIを活用することで情報の検索体験が向上し、問い合わせが効率化されることを見込み、社内向けツールの開発に着手しました。
具体的には、企業内の業務マニュアルや規程、議事録など企業が保有するさまざまな文書を読み込み、従業員からの問い合わせに対して自動で回答の生成を行う機能で利用しています。

技術選定・開発について

自社プロダクトである「PKSHA AI ヘルプデスク」がAzureで開発されていたこと、また顧客の導入ハードルを下げる目的で、できるだけAzure内で完結させる構成を選択しました。また、全社でDatadogを導入しているのでLLMへのリクエスト監視に使用しています。
実装面では、TPMの枯渇に気をつけています。埋め込みモデルは、複数のサブスクリプションで可能な限り多くの埋め込みモデルをデプロイし、それらのTPM上限を上げる申請をすることで利用可能なTPM総数を底上げしました。Azure公式のopenai-aca-lbを参考にした独自実装でロードバランシングしています。

運用面について

速度・精度・API利用料はトレードオフの関係にあります。トレードオフの意思決定材料としてDatadog APMを用いた実環境のレイテンシー計測やtraceによるボトルネック可視化を行うことで速度面の性能低下を検知できる仕組みを構築しています。

生成AIを活用したことによる成果

生成AIを活用した文書検索機能の導入により、企業内問い合わせ対応の効率が大幅に向上し、業務時間の大幅削減やFAQ管理など関連作業の負担軽減が実現されました。
参考：https://prtimes.jp/main/html/rd/p/000000188.000022705.html
また、社内問い合わせデータをソースとして、どのFAQを学習対象とすべきかを提案する機能により、より多くの問い合わせに対する応答自動化が促進されました。
参考：https://voice.pkshatech.com/n/nde7d66516496

◆執筆：
成定怜士（AI Helpdesk開発グループ マネージャー) @_ri_sa_da
伊礼恭士（AI Helpdesk開発グループ ソフトウエアエンジニア）@irys33
藤岡和真（AI Helpdesk開発グループ ソフトウエアエンジニア）@kakka_q