【AI Engineering Summit】実開発で学んだ生成AI活用とプロダクト導入の壁

第二創業期に突入！製造業のDXを推進するキャディ

今井： 本日は生成AI活用について、「プロダクト化」と「開発生産性向上」という二つの観点からお話しします。

はじめに自己紹介をさせてください。私はキャディ株式会社でデータを分析・解析するData&Analysis部の部長を務める今井 武晃と申します。「技術で文化を創る」を人生のテーマとして、前職時代から現在まで、製造業×DXという領域に10年ほど携わっています。

キャディ株式会社は「モノづくり産業のポテンシャルを解放する」をミッションに、製造業向けのプロダクトを開発・提供している会社です。CADDiという社名は、祖業である部品調達支援事業「CADDi Manufacturing」のサービス内容を言葉で表した「CADからDirectに発注する」と「ゴルフのキャディのように『製造業のプレイヤーを支えるインフラになりたい』という想い」を掛け合わせた造語です。

2017年に創業して以来、モノづくり（部品調達支援）事業を続けてきましたが、2024年に事業を大きくアップデートしました。現在は製造業AIデータプラットフォームとして、第二創業期に突入したばかりの大きな変革の途中にあります。

キャディが向き合っている製造業が、どのような業界なのかについてもご紹介させてください。

今井： 一言でまとめてしまうと、製造業は暮らしを支えるインフラ産業です。例えば、PCやスマートフォンなどは1000個以上の部品で構成されており、その一つひとつに多くの人が関わっています。それだけでなく、医療や食、移動、通信など、暮らしに必要なあらゆるものに製造業は関わっているのです。IoTのみに焦点をあてて経済価値を業界別に産出した場合、製造業は3.9兆ドルもの価値があると言われており、日本の名目GDP4.1兆ドルにも迫る世界最大の産業でもあります。

そんな製造業には、「情報資産を活かしきれていない」といった課題があります。

製造業は業務毎に細分化されており、各工程でプロセスが最適化されているため、車輪の再発明のような状況が頻発しているのです。

・設計（過去と類似の図面作成）
・調達（イチから相見積・交渉）
・製造・品証（類似の品質不良対応）
・営業（イチから見積作業）

そこで私たちは、サイロ化している全てのデータをつないで活用可能な状態に整理し、製造業全体のテクノロジーを前に進めることを目指しているのです。

生成AI導入における難しさ～プロダクト化～

二つのレイヤーで構成される製造業AIデータプラットフォーム

今井： キャディのプロダクトは「CADDiデータ基盤」と「アプリケーション」という、二つのレイヤーで構成されています。

今井： CADDiデータ基盤では、図面や3D CAD、仕様書など、製造業におけるあらゆるデータを吸い上げています。データを資産化するためには、手書きの資料もきちんと読み取って構造化しなくてはいけませんし、バラバラにアップされた同じソースのものを紐付けする必要もあります。そういった部分にAI技術を活用しています。

一方で、アプリケーションでは、CADDiデータ基盤でデータ化したものを活用して、製造業プレイヤーの業務をアシストする機能を提供しています。
生成AIとの向き合い方
今井： 生成AIについては、CADDiデータ基盤で活用できるのではないかと日々チャレンジしています。

今井： ただ、ドメインの専門性が高いですし、製造業データの認識性能という意味ではあまり効果がないとも考えていて。現時点では、上図のように汎用的な生成AIとアルゴリズム／従来のMLをうまく掛け合わせながら、価値を出していくことにフォーカスをあてています。

アプリケーション部分については、蓄積されたデータをAIが活用できるようにすることで我々の業務も効率化されますし、将来的にはエージェントに置き換えることもできるのではないかと考えています。

今井： 設計から販売サービスまでの製造業のバリューチェーンにおいて、それぞれの課題を解決していく。それをAIエージェント層でCopilotやAutopilotに置き換えていくことができれば良いなと思っています。

現段階では、CADDiデータ基盤でまとめたものを使いやすいデータに置き換えて、AIエージェントやアプリケーションを使って各業務にAIを根付かせるためのワークフローを作ろうとしています。

なお、一部の機能はすでに運用フェーズに入っています。生成AIを組み込むチャレンジを続けるなかで、プロダクトライフサイクル（PLC）の各所で生成AI適用の壁が存在することを、ここ1年ほどで実感しました。

PoCの課題：評価や再現性担保が難しい

今井： 具体的にどのような課題にぶつかったのかについてもお話しします。

PoCでは、自然言語の回答やエージェントの行動結果を評価するのは非常に困難でした。定性的な感覚になるため認識を揃えるのが難しいですし、E2Eの評価ではどこがボトルネックなのか特定できないといったことも起こります。

またLLMのAPIには得意不得意があり、新しいバージョンにしたのに精度が下がったといった事例も確認されています。冪等性がなく、temperature＝0にしても同じ結果を返してこないという事例もありました。

こういった課題に対してどのような対策をとっているのかというと、RAGをプロダクトとして作っていく際に、PoCは定性評価ですり合わせながら改善していくというプロセスを回しています。

今井： まずはユーザーの課題をヒアリングして、はじめにQ&Aの評価を設計します。観点の網羅性や観点の適合性、回答の有用性、コンテキスト関連性など、観点を揃えて評価をすり合わせていく形です。その後、生成AIからもらった回答をユーザーに評価していただき、改善していく。こういったヒアリング～改善までのサイクルを1スプリントで高速に回すようにしています。

ただ、実際に使われないと分からない部分もありますし、最終的には「継続的に改善していく覚悟」を持ってリリースするかどうか判断する必要があります。

プロダクト化の課題：コストとスループットの壁

今井： 続いて、プロダクト化については、コストとスループットの壁がありました。

PoCはフィージビリティ寄りで質偏重になりがちですが、プロダクトとして運用していくとなると、コストとスループットについて考えなくてはいけません。

私たちの実験では、Retrievalの仕方によっては大量のtokenを消費してしまうため、1件のRAGで数十円ほどのコストがかかるケースがありました。当たり前のことではありますが、APIを使っていく上では、コストと性能のトレードオフを考慮した設計をする必要があると実感しました。

またプロダクトをクライアントに安定して提供するためには、スループットの要求をクリアしなくてはいけません。そのため、プロビジョニングスループットのような形で安定した供給ができるようにする必要があります。しかし、最近は世界的なGPUの供給不足の影響で、提供を確約できないケースが増えてきています。GPU関連は早めの申請を心がけておいた方が良い、という学びがありました。

LLMについては長期的な視点で選定しなくてはいけないというのも難しいポイントだと思います。例えば、OpenAI o3は現地時間の2025年4月16日にリリースされ、約3ヶ月後の6月10日には80%値下げされました。そのほかにも同様の事例がありますし、今のコストだけではなく、将来のコストも想定した選定が必要になってきていると感じています。

運用の課題：モデルのライフサイクルに追従する必要あり

今井： 実際にプロダクトの運用が始まったとしても、永続的にモデルが存在するわけではないというのも難しいポイントだと思います。

今井： こちらはAzure OpenAIのリリースと提供終了日を図にまとめたものです。これを見ると、2024年から2025年にかけて頻繁にアップデートされていて、それに従ってEOLされていることがわかりますね。

LLM APIがEOLされると、Embeddingを使っている場合はデータの洗い替えが必要になったり、コスト構造が変わることで精度とコストのトレードオフを測定し直す必要が出てきたりします。こういった変化に追従していかなくてはいけないというのは、運用の難しさでもあると思います。

新しいモデルが出た時には、素早く評価して適用できるのか判断しなくてはいけませんし、必要性能に応じてセルフホスティングなども視野に入れないと運用が難しくなってくるのではないでしょうか。

生成AI導入における難しさ～開発生産性～

生産性向上を実現するために必要な三つの要素

今井： 続いて、開発生産性についてもお話しします。
ここでいう開発生産性とは、例えばDevinやCline、Claudeなどを使って、日々の開発のスピードを上げていくというものです。

今井： 私たちは「導入」「浸透」「生産性向上」という三つのフェーズで考えています。キャディは「浸透」から「生産性向上」に移行しようとしている段階で、後者についてはまだ勉強中なのですが、活動を通して得た所見としてお話しさせてください。

今井： 上図は製造業のクライアントに私たちのプロダクトをどのようにしたら活用していただけるのかを議論する際の軸となる三つの要素です。これらは生成AIの組織内活用においても有効だなと思ったため、ご紹介します。

まず「コンパスとベット」では、生成AIが使われない未来はほとんどないと腹決めをする。どのような山を登ってどういったツールを使うのかという点で分岐はあるけれど、生成AIを使うことには変わりないのだから、意思を持って進めていくことが必要だという考えです。

真ん中の「ダブルループ」は、強制的にでもどこかで生成AIを使用してもらうなどして、短期的なサクセスを作る。そこで価値を感じてもらうことができると「どうやって使うか？」という話が出てくるため、中長期のループが回り始めるというものです。

「原則とアジャイル」では、一過性のプロジェクトにしてはいけないというのが重要なポイントです。生産性向上は組織開発の永遠のテーマですし、継続的な活動としてカルチャー化しようという考えですね。

キャディでは、これらの三つを念頭におきながら、生成AIの活用を推し進めています。

導入フェーズ：「攻め」と「守り」のどちらも必要

今井： 生成AIの活用を推し進める前のキャディでは「興味はあるものの何を使えばいいかわからない」といった状態でした。疑問があっても誰に質問をしたらいいかわかりませんし、セキュリティやコストの面でも不安がありました。これはキャディだけでなく、多くの組織で起こっていることだと思います。

そんななかで活用を進めるためには、誰かが腹決めしてファーストペンギンになる必要があります。キャディでは、そういった考えのもと、2025年の初頭に生産性バクアゲ推進委員会（以下、委員会）を立ち上げました。

また、全社に浸透させるためには「守り」も重要だと考え、早い段階でAIガバナンスも策定しました。振り返ってみると、「攻め」と「守り」の両面で進めたのは効果的だったと思います。

具体的な進め方としては、はじめに有志で委員会のメンバーを募りました。

今井： 優先的にAIツールを試用できる権利を付与したことで、意欲的なメンバーが集まってくれました。委員会のメンバーには、ワークフローを簡易化して参入障壁を下げたり、ハンズオンで利用者を募ったりといった活動をしてもらっています。

委員会を立ち上げてしばらくしてから、コーポレートITや法務、セキュリティ担当者と相談しながらガイドラインと承認フローを整備しました。

今井： ここではセキュリティ担当者が申請フローを構築してくれて、スピーディに承認を得られるようになったのが大きかったと思います。あとは、実際に使われるようになってからコストがオーバーしないように、この段階で利用量を見える化しました。

浸透フェーズ：行動変容を起こすためのイベント実施

今井： 導入フェーズが終了し、次は全社に展開するフェーズです。

最初は「みんな使ってくれるだろう」と思っていたのですが、その予想は見事に外れてしまい。蓋を開けてみると、利用者は20～30人ほどで、そのほとんどが委員会のメンバーでした。

私の好きな本である『イノベーションの競争戦略: 優れたイノベーターは0→1か? 横取りか?』には「イノベーションとは技術ではなく顧客行動の不可逆的な行動変容を起こすこと」だと書かれています。つまり、導入するだけではなく、行動変容を起こさない限りは浸透していかないのです。

そこで委員会では「ダブルループ」の考え方を生かして短期的なサクセスを作るため、下記の取り組みを実施しました。導入フェーズのモメンタムを保つため、2週間で下記を詰め込んで行ったのがポイントです。

Devin LT大会については、各チームのベストプラクティスを共有して、実際に使用する際のイメージを具体化させることが目的でした。共有された中で面白いものがあったので、二つだけ図の右側に載せています。

今井： 上の方は、データマネジメントチームから共有された事例です。DevinをSlackのworkflowから呼び出せるようにしたことで、コストが大きく削減され、生産性も2倍ほど上がったと聞いています。下に載せているのは、Devinでタスクチケットのチェックをしてもらった事例の紹介ですね。

道半ばではあるのですが、他にも色々と紹介しているので、ぜひブログをチェックしていただけるとうれしいです。

▶︎🚀 開発ワークフローをブースト！Devin活用事例共有Lightning Talk開催レポート🤖
https://caddi.tech/2025/06/12/101301

今井： Vibe Coding Hackathonは、生成AIツールを使ってコーディングをせずにアプリケーションを作成するというルールで実施しました。各チームのリーダーなど組織のハブでもあるメンバーには積極的に参加してもらい、全員で生成AIツールにドップリと浸かる時間にしました。

個人で参加している人が多かったのですが、9割以上のチームがデモまで到達していました。1日で2つのデモをするという猛者もいて、以前と比べてデモまでのハードルが下がったように感じています。

またこのハッカソンの裏で、面白い現象も起きていました。

今井： これはハッカソンが始まってから終了するまでにSlackに投稿されたものの中で、特徴的なコメントを時系列で貼ったものです。

はじめの方は「NextのUIができてすごい」とか「入社以来で1番楽しい」といったポジティブなコメントが多いのですが、後半になると「時間がかかるようになってきた」「Clineを制御しきれなくなってきた」といったネガティブなコメントが出てきます。最終的には「Clineにすべて作らせてClineにすべて壊された」という人が現れました。

ハッカソンを通して、生成AIのメリット・デメリットを、1日でしっかり体験してもらえたのは良かったのではないかと思っています。

生産性向上フェーズ：フェーズに適したKPIを設定する

今井： 「導入」「浸透」を通してわかったことは、フェーズによって追うべきKPIが変わるということです。

今井： 「導入」ではモメンタムが1番大事ですし、キャディでは「推進者のやる気と数」「活用までのリードタイム」を指標にしていました。できるだけ早く意思決定をして、熱量高くやり続けることを意識していたのです。「浸透」では、アウトプットとして利用者の数やAPI Requestの数を追っていました。

最後の「生産性向上」では、アウトカムが重要になってくると思います。投資対効果を測れるようにするのはもちろん、プルリクエストのマージ数などを追っていく必要があるのではないかと考えています。

開発生産性の計測にはFindy Team+を活用中

今井： これまでの活動を通して、実際にAIツールを使い続ける（生産性向上フェーズに行く）ためには、整備が必要だと思いました。

キャディの場合、ハッカソンから数日後に感想戦を行ったところ、参加者が感じた悩みを共有して、有識者が回答することで解決したことがありました。そこで.clinerulesの作り方やコーディング以外の使い方、モデルの選び方などについて、みんなで話し合うことができたのは良かったなと。あとは開発で利用する際に重要そうな課題を深掘りして、ネクストアクションに繋げることもできました。

「原則とアジャイル」でお話ししたように、一過性のプロジェクトにせず、実際に使いながら開発のベストプラクティスに合わせて進化させていくことが必要なのだと感じています。

ちなみに、開発生産性をどうやって測るのかというと、キャディではFindy Team+を使用しています。

今井： これを見ると、効果的に使えていそうなチームと、そうでないチームで明確な差が出ていますよね。

Devinの利用量はどちらも伸びていますが、上のチームがDevinの利用に応じてPR作成数が増えているのに対し、下のチームは逆に減ってしまっている。Devinによってレビューの時間が長くなってしまっている、もしくはコードベースがAIフレンドリーではないため生産性が落ちてしまうといったところも影響しているのかなと。

今後はそういった部分を整備しつつ、効果的に使えているチームからナレッジを共有してもらう場を設けて、全チームが効果的に生成AIを使えるようにしていきたいなと考えています。

生成AIを活用しながら製造業DXに挑むエンジニアを募集中！

今井： 「プロダクト化」と「開発生産性」のどちらにおいても、生成AIの威力は大きいですし、組み込んでいかなければいけないと考えています。

プロダクト化に関しては、AIを採用することが競争力につながるでしょうし、PoC・プロダクト化・運用において、適切に生成AIを取り扱う必要性が高まっているでしょう。そのため、正しく評価して、コストやスループットなどは先のモデルを追従できる体制を作りつつ、プロダクトを育てていくというのが重要なのだと思います。

開発生産性においては、生成AIツールの注目度が高まりつつある一方で、各フェーズごとに壁が存在しますし、一つずつクリアにしていく必要があります。生成AIツールの未来にベットしてモメンタムを作りながら、アウトプットからアウトカムへ移る必要があるのではないでしょうか。

最後に、生成AIはゲームチェンジャーになる破壊力を持っています。キャディではそんな生成AIにベットして最大限活用していくと決めていますし、興味のある方はぜひカジュアル面談申し込みページからご連絡いただけますと泣いて喜びます。特にMLエンジニア、AIエンジニア、MLOpsエンジニアの方を大募集しております！

本日はご清聴ありがとうございました。


▶︎キャディ 採用情報
https://recruit.caddi.tech/

▶︎カジュアル面談申し込み_エンジニア・UI/UXデザイナー
https://open.talentio.com/r/1/c/caddi-jp-recruit/pages/78398


当日は参加者からの質問にも答えていただきました。
詳細はアーカイブ動画にてご覧ください。

https://findy-tools.io/events/27f3f261ca36b1412339