Azure OpenAI Service活用最前線　5社の技術選定とアーキテクチャ

株式会社フライヤー

本の要約サービスflier（フライヤー）では、「書店に並ぶ本の数が多すぎて、何を読めば良いか分からない」「立ち読みをしたり、書評を読んだだけでは、どんな内容の本なのか十分につかめない」というビジネスパーソンの悩みに答え、ビジネス書の新刊や話題のベストセラー、名著の要約を1冊10分で読める形で提供しています。通勤時や休憩時間といったスキマ時間を有効活用し、効率良くビジネスのヒントやスキル、教養を身につけたいビジネスパーソンに利用されているほか、社員教育の一環として法人版サービス「flier business」を契約する企業も増えています。

Azure OpenAI Serviceを活用したレコメンドエンジンの構築事例

私たちは、利用ユーザーが閲覧した要約に基づいて、ユーザーにあった要約を提供するためのレコメンドエンジンにAzure OpenAI Service を活用しています。 レコメンドエンジンの要となるのが、要約のベクトル化処理です。Azure OpenAI Embeddingモデルを用いることで、要約をベクトル化し、これを元にベクトル検索することでユーザーにあった要約を提供しています。

技術選定について

ベクトル化したデータの保存先には、ベクトル検索が簡単に実装ができ、初期費用を安く抑えられるCosmos DBを選択しました。Azure OpenAI Embeddingモデルでベクトル化したものをスムーズにCosmos DBに連携することができます。

運用面について

Cosmos DBとAzure OpenAI Embeddingを活用したレコメンドエンジンは、Azureのフルマネージドサービスで構成されているため、自動スケーリング機能などにより運用面の負荷を大幅に軽減できています。

成果や今後の展望

レコメンドエンジンとして、精度を向上させるためベクトル検索のさらなる活用法や生成AIと組み合わせた高度なレコメンド方法を検討しています。

◆執筆：
伊藤博昭・ゼネラルマネージャー・プロダクトデベロップメント　@hir011o
柳川 拓也・リーダー・プロダクトデベロップメント/Webアプリケーショングループ

KINTOテクノロジーズ株式会社

KINTOテクノロジーズ株式会社は、「KINTO ONE」（クルマのサブスクリプションサービス）や「KINTO FACTORY」（既存車両の機能アップグレードサービス）をはじめとする様々なモビリティサービスの内製開発をおこなっています。

KINTOテクノロジーズでは、社内業務の効率化やナレッジ共有を目的として、Azure OpenAI Serviceを活用した社内向け生成AIツール「しぇるぱWeb」を現在開発しており、今回はそのアーキテクチャを中心に採用理由や設計・運用上の工夫について紹介します。

社内向け生成AIツール「しぇるぱWeb」の開発背景

KINTOテクノロジーズではAIファーストグループが中心となり、Slackベースの「しぇるぱSlack Bot」を提供してきました。AIリテラシーが高まるにつれ、より柔軟なWebベースのAIツールへの需要が高まり、「しぇるぱWeb」の開発が始まりました。

技術選定の理由と実装の工夫

「しぇるぱWeb」ではAzure OpenAI Serviceを利用し、主にチャット応答機能やEmbeddingを用いたドキュメント検索（RAG）を提供しています。また、GeminiやClaudeといったOpenAI以外の複数モデルも提供することで、各モデルの特性を実際に比較・体感できる環境を整えています。

Azure OpenAI Serviceの採用は、前身であるSlack Botからの技術的な延長線上にあります。Azureの高いプライバシー基準に加え、当時は高性能なAIモデルを最も利用しやすかったことも採用理由となりました。また、Azure Cosmos DBとの親和性が高く、VectorDB統合を活用することで、効率的なベクトル検索と運用のシンプル化が実現しています。複雑なワークフロー管理にはAzure Durable Functionsを採用しています。

成果と今後の展望

「しぇるぱWeb」の導入によって社内のAI活用が促進され、社員の業務効率向上や生成AIリテラシーの向上が進んでいます。今後はエージェント機能に加え、マルチモーダルやコラボレーション機能などを拡充し、より総合的なAIプラットフォームへと進化させていきます。

◆執筆：グループコアシステム部 共通サービス開発G　鳥居 雄仁　@yu_torii

株式会社LegalOn Technologies

当社は「法とテクノロジーの力で、安心して前進できる社会を創る。」というパーパスを掲げ、法務知見とAI技術などの最新テクノロジーを組み合わせたサービスを展開するグローバルカンパニーです。
日本と米国に拠点を置き、法務業務を全方位でカバーするAI法務プラットフォーム「LegalOn Cloud」や、グローバル向けAI契約レビューサービス「LegalOn Global」などを提供しており、グローバルにおけるリーガルテックサービスの有償導入社数は7,000社を突破しています。（2025年3月末現在）
2025年1月からはコーポレート領域を支援するAIカウンセル「CorporateOn」を提供開始し、あらゆる社会課題の解決に向けて事業を推進しています。

アーキテクチャ選定の背景・意図、今後の展望

私たちは生成AIが登場する以前から契約書をレビューするAIを提供してきましたが、生成AIの登場と急速な進化に対して、遅れをとらないように、感度高く対応をしてきました。

2022年11月のChatGPTリリースを皮切りにLLMは爆発的な注目を集める中、私たちはすぐに社内でプロジェクトを立ち上げ、半年後の2023年5月にはAzure OpenAIのLLMを利用した初の機能「条文修正アシスト」をリリースしました。

https://www.legalon-cloud.com/news/13

機能リリースに向けてLLMを選定する際、契約書という機密情報を扱うため、セキュリティとサポート体制を重視しました。Azure OpenAIはこれらの要件を満たす信頼性の高いプラットフォームであり、採用を決定しました。

セキュリティを担保しつつ、ユーザーに使いやすいプロンプト設計に注力し、大量のデータを学習させることでAIの精度を高める工夫を凝らしました。お客様に安心してご利用いただくために、迅速かつ素晴らしい選択ができたと考えています。

またその後も、多くのLLM関連機能をAzure OpenAIを活用してリリースしています。

運用面では、専門的な契約書レビューに対応するため、多様な契約類型に対応できるプロンプトを作成し、実際の法務担当者からのフィードバックに基づき継続的に改善しました。リリース前には、実際の契約書を用いた厳密なテストと検証を繰り返し、利用者のフィードバックを基にUI/UXの改善を重ねました。生成AIを活用したことで、契約書レビュー時間の短縮、レビュー品質の向上に貢献し、法務担当者の業務効率化、顧客満足度の向上に繋がっています。

生成AIの登場により、ソフトウェアの世界は大きく変化しました。進化の速度は非常に速く、常に最新技術を取り入れる必要があります。生成AIを前提とし、さらなる精度向上、多言語対応、他の法務領域への展開など、様々な課題に対し、どのようなソリューションをお客様に提供できるのかを全員で考え開発を行う必要があります。これは、従来の常識とは全く異なる製品開発を意味します。

私たちは、数年前には想像もできなかった製品を生み出す可能性に胸を躍らせ、刺激的な日々を過ごしています。今後は、生成AIを活用した契約書レビューの自動化、法務業務全体の効率化を目指し、世界中の法務を変える製品を提供できるよう、努力してまいります。

◆執筆：レビューインテリジェンスAG　Lead of Contract Review AI　井上慎太郎　Wantedly / LinkedIn

株式会社PKSHA Technology

株式会社PKSHA Technologyは「未来のソフトウエアを形にする」をミッションに企業と人の未来の関係性を創るべく自社開発した機械学習／深層学習領域のアルゴリズムを用いたAIソリューションの開発・AI SaaSの提供を行っています。
プロダクトの一つである「PKSHA AI ヘルプデスク」では、ヘルプデスクやバックオフィスなど、社内コミュニケーションが発生する部署において、AIエージェントを用いた業務改善や属人化の解消、企業ナレッジ共有の最適化などをご支援しています。

PKSHA TechnologyにおけるAzure OpenAI Service活用について

弊社では、企業内に蓄積された大量のドキュメントが整理・活用されておらず、資料検索や情報取得に時間がかかる課題がありました。 生成AIを活用することで情報の検索体験が向上し、問い合わせが効率化されることを見込み、社内向けツールの開発に着手しました。
具体的には、企業内の業務マニュアルや規程、議事録など企業が保有するさまざまな文書を読み込み、従業員からの問い合わせに対して自動で回答の生成を行う機能で利用しています。

■システム全体省略図

■生成AIを組み込んでいるシステムのアーキテクチャ図

技術選定・開発について

自社プロダクトである「PKSHA AI ヘルプデスク」がAzureで開発されていたこと、また顧客の導入ハードルを下げる目的で、できるだけAzure内で完結させる構成を選択しました。また、全社でDatadogを導入しているのでLLMへのリクエスト監視に使用しています。
実装面では、TPMの枯渇に気をつけています。埋め込みモデルは、複数のサブスクリプションで可能な限り多くの埋め込みモデルをデプロイし、それらのTPM上限を上げる申請をすることで利用可能なTPM総数を底上げしました。Azure公式のopenai-aca-lbを参考にした独自実装でロードバランシングしています。

運用面について

速度・精度・API利用料はトレードオフの関係にあります。トレードオフの意思決定材料としてDatadog APMを用いた実環境のレイテンシー計測やtraceによるボトルネック可視化を行うことで速度面の性能低下を検知できる仕組みを構築しています。

生成AIを活用したことによる成果

生成AIを活用した文書検索機能の導入により、企業内問い合わせ対応の効率が大幅に向上し、業務時間の大幅削減やFAQ管理など関連作業の負担軽減が実現されました。
参考：https://prtimes.jp/main/html/rd/p/000000188.000022705.html
また、社内問い合わせデータをソースとして、どのFAQを学習対象とすべきかを提案する機能により、より多くの問い合わせに対する応答自動化が促進されました。
参考：https://voice.pkshatech.com/n/nde7d66516496

◆執筆：
成定怜士（AI Helpdesk開発グループ マネージャー) @_ri_sa_da
伊礼恭士（AI Helpdesk開発グループ ソフトウエアエンジニア）@irys33
藤岡和真（AI Helpdesk開発グループ ソフトウエアエンジニア）@kakka_q

株式会社プレイド

プレイドでは、「データによって人の価値を最大化する」というミッションを掲げ、Webサイトやアプリに来訪しているエンドユーザーをリアルタイムに解析し、最適なアクションをシームレスに届ける、CX（顧客体験）プラットフォームの「KARTE」をはじめ、マルチプロダクトを提供しています。

KARTEは2015年にリリースされ、累計199億UU解析、解析速度0.x秒、秒間最高トラッキング数は134,000イベントなどの数値を記録する解析規模になってきました。また、リアルタイム解析したエンドユーザーの属性・行動データをはじめとした「1st Party Customer Data」を活用した複数のプロダクトを展開しています。

プレイドにおけるAzure OpenAI Service活用について

プレイドではカスタマーエンジニアが問い合わせ対応業務を行っており、回答作業の工数削減とナレッジの再利用性の向上が課題でした。この解決策としてAzure OpenAI Serviceを活用したRAG Botを構築しました。

社内の質問者やカスタマーエンジニアはBotに質問を入力するだけで適切な回答と回答の情報源になったドキュメントを即座に生成・取得できるようになり、既存ナレッジの再利用性の向上と回答作業の工数削減を実現することができました。

技術選定・開発について

要件としては、社内に限定公開されたナレッジを扱うため情報の機密性が保証されていること、AI自体が変化が激しい技術であるためそれに追随できるようにシステムをカスタマイズしやすいことの2点がありました。これらの要件を考慮し、RAGのコア機能を全てAzureに集約したシステム構成としました。

具体的には Azure OpenAI Service、Azure AI Search、Cohere Rerankerを組み合わた構成としました。簡単に高精度な検索と回答生成を実現することができ、機密性の要件も満たすことができました。

Azureを利用するための技術として、フロントエンドはSlack Botを採用し、RAGを実行するバックエンドはDify、n8n、Zapier を採用しています。また、ナレッジベースはAI Search に Workflows、Zapierを使って関連ドキュメントを自動的に集約する仕組みとしています。

Botの利用者がSlackから気軽にアクセスでき、Botの管理者はローコードツールを通してBotの振る舞いやナレッジを簡単に変更できるようにすることで、使う側にも作る側にも気軽にシステムにアクセスしてもらえるように工夫しています。

運用面について

回答の正確さの改善が長期運用時の課題であり、リリースから1年程度継続してチューニングを行って改善していく必要がありました。特に検索の時点で必要な情報を取得できないことが回答精度のボトルネックになることが多かったため、以下のような改善を行いました。

1. AI Searchのハイブリッド検索・Multiple vector fieldsを導入し、両者のスコアの重み付けをチューニングすることで、ベクタ検索とフルテキスト検索の長所を活かせるように改善
   

2. Rerankerモデルを導入した上でSelf-Routeを模した検索処理を採用し、コンテキストの量を増やした上で、ノイズになる情報を取り除くことに優れたo1モデルへモデル変更、回答に必要なコンテキストを十分な量取得できるよう改善
   

これらの改善の結果として正答率を大幅に改善することができました。Azureのマネージドサービスで使える範囲の機能だけで細やかなチューニングを完結でき、結果的に省コストに回答の精度を高められたことはAzureを採用してとても良かったポイントです。

成果と今後の展望

導入効果としてサポートチームの問い合わせ対応の工数を削減できました。それだけでなく、副次的な効果としてナレッジを資産に変える意識がチーム内に定着したことや、回答着手のハードル低下、質問者の自己解決力の向上、AIリテラシーの向上といった大きな成果もありました。

今後は自律型AIエージェントの開発、KARTEドメイン知識とのさらなる融合、マルチモーダル機能の実装などを通じて、単なる回答システムから高度な問題解決と知識伝達を行うプラットフォームへと進化させていきたいと考えています。

◆執筆：株式会社プレイド　カスタマーエンジニア　福田 一永　@Yoshida24