プロトタイプは作れる時代、問われるのは「本番品質」

開：本日は4つのトピックでお話しします。AIエージェントの本番品質、コンテクスト推論、安全なデータアクセス、そしてガバナンスです。まずは本番品質からお願いいたします。

大内山：AIエージェントを作っている、あるいは作ろうとしている方なら、誰もが気にするテーマが本番品質です。各種マーケットレポートを見ると、今年になってもエージェントの本番活用に苦労している企業が多いです。昨年より数字は少し良くなってきている印象はありますが、本番環境で使える回答品質やエージェントの振る舞いの向上に、まだ多くの方が苦労されています。

大内山：プロトタイピングを開発すること自体は、ノーコードツールやバイブコーディングの発達もあって、難しくありません。問題は、動くものを一旦作ったところから本番環境でしっかり使えるようにするまでに、乗り越えなければならない壁がたくさんあることです。特に本番品質の確保が大変で、お客様とよく議論になります。弊社としては、まずこの「継続的な評価と改善の仕組み」から着手することをおすすめしています。

エージェントを評価することが品質改善の第一歩

大内山：エージェントを評価することが品質改善の第一歩だと考えています。評価には開発時と運用時の2つのフェーズがあります。開発時にはLLMジャッジのような自動評価の仕組みを使い、その評価データセットも作る必要があります。評価データはエンジニアではなく、業務知見のある方を早期に巻き込んで作ってもらうのが推奨されるやり方です。

大内山：評価で課題が見つかれば原因分析をして改善し、このループを回していきます。運用フェーズでもエンドユーザーがフィードバックできる仕組みを一緒にデプロイし、監視ログを蓄積して開発側にフィードバックしていきます。こうした仕組み全体をLLMOps、あるいはAgentOpsと呼んでいます。このあたりのツールは整備・充実してきている印象です。

真嘉比：実際の現場では、LLMOpsやAgentOpsを導入しているケースはまだ非常に少ないと感じています。入力、出力、トークン数くらいは見ている。しかし、エージェントがどのツールを呼んだのか、どういう経路で最終アウトプットが出てきたのか、その軌跡を追いかけたり、各実行の正解率や、ユーザーが本当に満足していたかまで追いかけたりしているケースは、正直あまり見ません。

こうしたトレーシングができていないと、本番化のタイミングでKPIやKGIを設定しても、それが達成できているのか結論を出せません。結局「エージェントを導入したが、うまくいっているのかすら分からない」という状態になり、続けるべきかどうかの判断でつまずきがちです。本番運用のためには、まず追跡できる状態に持っていくことが非常に重要になります。

また、LLMの場合、精度はもちろんですが、コストの話も入ってきます。これらは往々にしてトレードオフの関係にあるので、そのバランスをどう取っていくのか。そのためには絶対にKPIが必要で、達成しているかどうかをモニタリングすることが重要になってきます。

エージェントに足りないのは「知能」ではなく「コンテクスト（文脈）」

開：2つ目のテーマは、コンテクスト推論（Contextual Reasoning）です。

大内山：エージェントを作りたい企業は、当然ながら自社のデータをエージェントに読み込ませて何らかの処理をさせたいわけです。ところが、エージェントだけを品質改善をしても、どこかで限界が来ます。エージェントとデータを一緒に整備していかないといけないというのが大きな課題です。

大内山： 直近では、社内のデータをきちんと整備して、きちんとエージェントに正しいコンテクスト（文脈）を与えるというトレンドが生じ始めています。

大内山：ここで登場するのがセマンティックレイヤーです。AIエージェントとデータの中間に位置し、データに関する意味やデータ同士の関連性を記述するレイヤーです。エージェントがデータを直接見るだけでなく、このセマンティックレイヤーの情報も含めて参照することで、より正しいデータに正しくアクセスし、アウトプットも精緻化されることが期待されます。役割としても、従来は人間がBIで使う「便利な通訳」だったものが、これからはエージェントの「必須の土台」へと格上げされていきます。

大内山：データブリックスではメトリックビューという機能を、まさにこのセマンティックレイヤー用の機能として提供しています。例えば「客単価」という単語に対して、社内での定義、同義語、そして計算式までを一つひとつ定義できます。この定義をエージェントに一緒に渡してデータにアクセスさせることで、回答品質を上げていく取り組みです。

開：実際にセマンティックレイヤーを導入された実績はありますか？

真嘉比：いわゆるAIレディなデータ基盤として、構築している事例は増えてきています。各単語に自然言語で意味を与え、Text-to-SQLなどで自然言語によるデータアクセスを実現する取り組みです。弊社の事例では、精度が40%程度だったものが90%を超えるまで向上したケースもありました。こうした情報を整備する重要性は、ますます高まっています。

ただ、課題になりつつあるのは「誰が整備するのか」、さらに「誰が運用するのか」という点です。定義はデータなので、生き物のようにどんどん変わっていきます。これを誰が責任を持って見ていくのか、データオーナーに相当する役割をしっかり定義しないと、長期の運用は難しいです。作るのはエンジニアでも、定義自体はビジネス側のユーザーが握っている。そういった運用をどうするかという課題が各社で出てきています。

大内山：また、部門によって「客単価」の意味合いが異なるとき、その合意形成をどうするか、という問題もあります。ツールは充実してきましたが、実プロジェクトを回していくための知見は、まだ世の中的に足りていない状況です。

真嘉比：部署ごとに「売上」の定義が違う場合に、それをどう吸収していくか。定義を1つにしたくても、どの部署も「自分たちの売上が売上だ」と主張し、それで既存業務が回っている。データ側がそれをどう吸収するのか。定義の呼び方を変えるのか、既存業務を見直して揃えていくのか。ここが整備できるかどうかが、AIレディかどうかに直結します。むしろそこが一番のハードルで、一番の仕事になると思います。

エージェント導入が招く情報漏洩

開：3つ目のテーマは、安全なデータアクセスです。

大内山：十分な検討をせずにエージェントを導入し、安易に利用してしまうと、エージェントが不適切なデータに勝手にアクセスしてしまいます。SailPoint様のレポートによると、約80%の企業が、エージェントが意図せず機密データにアクセスしてしまった経験があるとのことでした。

大内山：具体的には、未認証システムへのアクセス、機密データへの不適切なアクセス、機密データのダウンロード、機密情報の不適切な共有といったことがあります。

発生の原因は、エージェントのガバナンスやセキュリティ対策にまだ手が回っていない企業が多く、「エージェントが流行っているから入れてみた」という段階の会社が多かったのが実態のようです。

大内山：予期せぬデータアクセスを防ぐ設計を、3段階で見ていきます。最近のデータプラットフォームは、人間がアクセスする際には行レベルで「このユーザーはこのレコードにアクセスできる」という細かい設定ができます。問題は、エージェントにいろんな仕事をさせたいからと、深く考えずに全データにアクセスできるスーパー権限を与えてデプロイしてしまうパターンです。これだと日本担当のユーザーが自国の顧客データの閲覧を要求した際、エージェントが誤ってヨーロッパなどの顧客データを返してしまう可能性があり、データ漏洩につながります。

弊社のレコメンデーションは、エージェントには特定の権限を持たせず、あくまで人間の代理として、ユーザーの権限をそのまま引き継いでデータにアクセスする。そうすればアクセス制御はデータプラットフォーム側で担保されるので、エージェントを介しても安心安全にアクセスできます。データブリックスではユーザー代理認証という機能でこれを実現しています。

開：実際にちゅらデータ様でも同様の事例はありますか？

真嘉比：あります。ユーザー代理認証がないと、銀行や製薬など機密性の高いデータを扱うケースでは、エージェントの導入自体を見送るという結論になることもあるほどで、今すごく注目が集まっている領域です。

最近はマルチエージェントの考え方も出てきて、さらに複雑になっています。エージェント単体がアクセスできるデータだけでなく、このエージェントは別のエージェントを呼んでいいのか、エージェント間で依頼する際にどの情報まで開示するのか。ユーザーから見て、このエージェントは使えるがこのスキルは使えない、というところまで権限管理が必要になっています。エージェントレジストリの考え方にもつながりますが、「ユーザー×エージェント」さらに「エージェント×エージェント」で制御していくことが求められています。

これは既存システムをそのままエージェントに置き換えると適合しないケースが多く、エージェントを前提に業務全体を見直したうえで、改めて権限管理を設計し直す必要があります。整備されていない状況だと、エージェントが不適切なデータにアクセスしてしまった、という事故は私たちのお客様の事例でも実際に見たことがあります。

大内山：ツールやスキルへのアクセスも、今後は制御の対象にしていかなくてはいけません。スキルというのもここ最近出てきた概念です。今後もAIの技術が進化すると、新しいコンポーネントや概念が次々と出てくる。それらに追従して管理対象に含めていく必要があります。どの技術がデファクトになっていくのか、それをどう管理するのか、管理のためのプラットフォームは何か、という視点でこの業界の進化を眺めていただく必要があります。

真嘉比：エージェントからのアクセスだけでなく、ユーザーが入力してしまう情報も問題です。あるお客様からは、エージェントに個人情報を絶対に入力したくないという要件があり、ユーザーからの問い合わせに個人情報が含まれる場合は必ずフィルタリングしてほしい、という要望をいただいたことがありました。いわゆるAIゲートウェイの考え方です。エージェント自体のアクセスを制限するだけでなく、その手前にもガードレールを引く。基本的には多段構成で、エージェントが安全に動作するようにしていくのが昨今の流れです。

ガバナンスの要は「AIゲートウェイ」

開：最後のテーマは、ガバナンスです。

大内山：ガバナンスという言葉はいろんな意味を含みますが、ここではエージェントを一元的に管理するという観点でお話しします。AIエージェントにはさまざまな種類があります。

大内山：ピラミッドの頂上にあるような基幹エージェント、フラッグシップのエージェントは、コストをかけてしっかり作り込みます。一方、現場の方が今日の仕事を効率化するために自分でさっと作るパーソナルエージェントもあります。

ボリュームゾーンはピラミッドの下側のパーソナルなものほど数が多くなり、その分ミッションクリティカル度や複雑度は下がっていきます。実装複雑度・ミッションクリティカル度・影響範囲という3つの軸でエージェントを整理すると、こうしたエージェントの分類が今後より顕著になっていく、というのが前提になります。

大内山：エージェント開発の民主化や市民開発が進むと、企業の中に今まで以上にたくさんのエージェントが登場します。これをAgent Sprawl（エージェントの乱立）と呼んでいます。

乱立したエージェントは当然管理しなければなりません。誰がどのエージェントをどれくらい使っているかを把握しないと、よからぬコストに響いてしまいます。これをしっかり管理する基盤を整備していく必要があります。

AIガバナンスは今、非常にホットな話題として取り上げられています。エージェントを作ることももちろん重要ですが、作ったものをいかにきちんと管理するか、という視点をぜひ持っていただきたいと思います。

大内山：そこで今、非常に注目を集めているのがAIゲートウェイです。もともとは複数のLLMのプロキシのような役割で、エンジニアのユーティリティツール的な位置づけでしたが、最近はガバナンス基盤として地位を上げてきています。ゲートウェイを介してエージェントが使うLLM、MCPのツール、外部のサブエージェントへのアクセスを管理すれば、すべての通信がここを経由するので、ログが取れてリアルタイムにモニタリングもできます。誰がいつどのツールをどれくらい使い、各モデルにいくらかかっているかも一目でわかります。

データブリックスではUnity AI Gatewayとして、開発しています。Claude Codeなどのコーディングエージェントがデータブリックス上のClaudeモデルにアクセスする際も、このゲートウェイを経由することで、誰が何トークン使っているかをすべて把握できます。さらに、日本国内で通信を閉じることも可能です。

開：Unity AI Gatewayはちゅらデータ様でも利用されていますか？

真嘉比：そうですね。お客様からの需要、注目度が非常に高い技術です。こうした仕組みがないと、本番環境での失敗はそのまま事故に直結します。エージェントは従来のソフトウェア開発と違って自由に動いてしまうので、トレースをする、予兆を検知するといった仕組みを入れていないと、知らない間にいろいろなことが発生する事例につながりやすいです。

最近はClaude Code経由でアクセスしたい、というエージェントからエージェントへのアクセスでも、AIゲートウェイを必ず通すというのが標準的な設計プラクティスになってきています。弊社が支援するお客様でも、本番環境ではほぼ100%、AIゲートウェイを入れているのが実態です。すでに本番運用に必要なコンポーネントになってきていると思います。

ゲートウェイの機能を使って、トラフィックの8割を既存エージェントに、2割を新しいエージェントに流して改善効果を検証する、といったA/Bテスト的な使い方もできます。コストの最適化、パフォーマンスのモニタリング、セキュリティと、さまざまな観点で効いてくる機能です。モニタリングのダッシュボードをどれだけ簡単に作れるか、導入しやすいか、という点も本番化につなげるうえでのポイントになります。

まとめ：本格的なエージェント活用時代へ

開：最後に感想をお願いいたします。

真嘉比：本日のテーマにもあったように、作るのは簡単だけれど運用は難しい、というところは私たちも日々感じています。「やっぱりそうだよな」と改めて向き直ることができ、いろいろ発見のある場でした。

大内山：完全に本格的なエージェント活用時代に入ってきた、という印象です。いかに安心安全にエージェントを運用・管理していくか、その比重が非常に増えてきました。エージェント時代に向けて管理基盤をどう考えていくべきか、改めて考えるきっかけになれば幸いです。

アーカイブ動画・発表資料

イベント本編は、アーカイブ動画を公開しています。また、当日の発表資料も掲載しています。あわせてご覧ください。

▼動画・資料はこちら
AI Engineering Summit Tokyo 2026
※動画の視聴にはFindyへのログインが必要です。