SmartHRにおけるDevinの導入・活用事例

参考になった

レビュー投稿日の情報になります

株式会社SmartHR / tomohiro

EM / バックエンドエンジニア / 従業員規模: 1,001〜5,000名 / エンジニア組織: 101名〜300名

最終更新日2025/09/04投稿日2025/09/04

利用プラン	ツールの利用規模	ツールの利用開始時期	事業形態
Team	101名〜300名	2025年4月	B to B

利用プラン	Team
ツールの利用規模	101名〜300名
ツールの利用開始時期	2025年4月
事業形態	B to B

導入の背景・解決したかった問題

導入背景

ツール導入前の課題

SmartHRでは2023年からマルチプロダクト展開を宣言し、リリースするプロダクトの数を増やしてきました。現在もその流れは変わらず、人事労務領域の次に進出したタレマネ領域に加え、勤怠・給与、従業員ポータル、情シスなどさまざまな領域のプロダクト群を次々とリリースしています。

主に開発を担当するプロダクトエンジニアの数も200名近くまで増えているものの、開発するプロダクトの数が多いため充分な状態とは言えません。そのため、AIの有効活用が非常に重要視されています。

どのような状態を目指していたか

弊社においてはAIに全てを任せるといったことは考えておらず、あくまでエンジニア個人の開発を補助する形でのAI活用（GitHub Copilot, Cursor）を推進してきました。開発生産性をさらに向上させるためには、補助的なAIだけでは不十分だと考えました。そこで、AIの活用戦略を「補助」と「自律」を組み合わせるハイブリッドなアプローチへと進化させるべく、Devinのような自律型エージェントの導入を検討し、進めていきました。

比較検討したサービス

2025年4月当時、導入比較したサービスはありません。

導入の成果

改善したかった課題はどれくらい解決されたか

先行してDevinを導入した数十名のエンジニアにアンケートを実施した結果、68.1%がDevinは開発生産性の向上に「ある程度貢献した」または「非常に大きく貢献した」と回答しました。導入後わずか2ヶ月で、約7割のメンバーがDevinの有効性を実感しています。

残りの3割のメンバーについても、Devinの活用ノウハウをチーム内で共有することで、全体のスキルレベルを底上げできると考えています。

どのような成果が得られたか

導入した4月から5ヶ月間で発生した合計1,400件の Pull Request を解析した結果、全PRの63.6%がマージに至っており、これはDevinが開発タスクを完遂する能力が高いことを示しています。

また、一部のエンジニアがDevinを非常に高いレベルで活用していることもわかりました。マージ数の多い上位3名に絞って分析したところ、以下の顕著な結果が得られました。

順位	マージ率	マージしたPRの数	クローズしたPRの数
1位	77.0%	234	70
2位	67.3%	76	37
3位	79.0%	49	13

これらのマージ率は、全体の平均（63.6%）を大きく上回っており、Devin をうまく使えるエンジニアの生産性が飛躍的に向上したと言えそうです。

導入時の苦労・悩み

DevinのTeamプランの料金はACUの利用量に依存するため、社内ルールで定められた事前見積もりが必要な稟議の承認を得ることが難しい状況でした。そこで、まずは利用料金の傾向を把握するために、最初の1～2ヶ月の利用状況を慎重に観察し、そのデータに基づいて長期的な予算を組んで申請する方針に変更しました。

また、そのほかにも細かい課題がいくつか発生しましたが、その内容は弊社の VPoE 齋藤の発表資料でも触れていますのでぜひご覧ください。

Cursor/Devin全社導入の理想と現実 - Speaker Deck

導入に向けた社内への説明

上長・チームへの説明

さまざまなAI開発ツール・サービスを利用して開発者の生産性を上げることが技術組織の中でコンセンサスが得られた状態でしたので、特別な説明は不要でした。すでにCursorの導入は進んでいましたし、Devinと並行してWindsurfなどの導入も始めている状態でした。

先述の通り、すべてのチーム（エンジニアが200名弱）で利用を開始すると1ヶ月の利用料金がどれぐらいになるのかの予測がつかなかったため、まずは先行で検証をしていただけるチームを募集しスモールスタートすることにしました。

活用方法

小さな不具合や改善余地のあるコードに気づいたとき、Devin に依頼してオフロードしています。

Cursor 等の AI エージェントも併用しており、下図のように使い分けています。

ツール	主な役割	効果
Devin	改善や小さな修正	フロー効率の維持
Cursor 等	機能開発の支援	フロー効率の向上

Cursor 等がフロー効率の向上に寄与し、Devin が中長期的なフロー効率を維持に寄与します。
Devin で向上したリソースを DX 改善に充てることで、開発者は本来注力すべき機能開発に集中できるようになりました。

また、PdMやUXライターといった職種の方も Deep Wiki や Devin Search といった機能を活用し、プロダクトの仕様理解をエンジニアを介さずに深めることもできるようになりました。

よく使う機能

Interactive Planning

Devin がタスクを正しく理解しているかを確認するために、Interactive Planning を活用しています。

最初に Devin が提示するプランの信頼度が 🔴 (Low) や 🟡 (Medium) の場合にはフィードバックを与え、再評価を試みています。信頼度が 🟢 (High) になったら依頼を継続し、信頼性が向上しない場合は依頼を中止しています。

このプロセスを踏むことで、最終的に提出される PR の質が安定し、マージされる確率を高めることができています。

💡 Tip
Coding Agents 101: The Art of Actually Getting Things Done でも言及されているように、
軌道修正を試みるよりも、改めて指示を与え直す方が、時間とトークンの浪費を防ぎやすいです。

Knowledge

リポジトリごとに Knowledge を作成し、そのプロジェクト特有のルールを集約しています。Knowledge は一度作って終わりではなく、プロジェクトの変更や改善に合わせて適宜更新しています。

Knowledge を用いることで、タスク依頼から PR 作成までの流れが安定しています。

💡 Tip
Tips and tricks に、Knowledge のベストプラクティスが纏まっています。
小分けに管理し、定期的に更新し、トリガー記述を明確にすることが良いと書かれています。

Playbooks

繰り返し使用するプロンプトを効率化するために Playbooks を活用しています。たとえば、コードレビュー時に必ず確認する観点や、特定のファイル修正後に実施すべきテスト手順など、毎回同じ指示を入力するのは非効率です。そうした定型的な依頼を Playbooks に登録しておくことで、Slack から macro を用いて実行できるようにしています。

Playbooks は適宜改訂を行っています。その結果、Devin によるタスク実行の成功率が向上し、期待通りの成果物が安定して得られるようになっています。

💡 Tip
Writing a Great Playbook に、Playbooks のベストプラクティスが纏まっています。

ツールの良い点

Slack からの操作性

Slack 上でそのまま利用できるため、普段の会話の延長で Devin を呼び出せます。作業の流れを止めずに依頼できるので、チーム全体で自然に使いこなせる点が魅力です。

完全クラウド動作による独立性

Devin はクラウド上で 独立して処理を実行できます。他のエージェントとは異なり、ローカル環境への依存がほとんどない点が強みです。

Interactive Planning による信頼性評価

Devin にはタスクの信頼性を事前評価する Interactive Planning 機能があります。Low／Medium／High の信頼度に応じてプロンプトに手を加えることで、PR の品質とマージ成功率を高められます。

ツールの課題点

複数リポジトリのセットアップ制限

複数リポジトリを並列でセットアップできない点が、運用上の制約になることがあります。
そのため、Slack の Devin 運用チャンネルでメンバー同士が声を掛け合いながら、誰がセットアップしているかを共有する形で運用しています。

バージョン更新の手間

Node.js や Ruby のバージョン更新を行う際、管理画面上で手動操作が必要となります。
特に複数リポジトリを並列でセットアップできない制限の影響で、更新作業を一つずつ順番に進めなければならず、運用コストがかかります。

ユーザ管理の制限

組織を作成するには Enterprise プランが必要で、Teamプランでは権限管理を細かく制御できない点が課題です。

Teamプランでは管理者（admin）と非管理者の二択しかなく、設定を変更する権限を移譲できないのが課題となっています。

また、ユーザ管理のAPIも Enterprise プランが必要なので、従業員の入退社や異動に伴うアカウント棚卸し業務の自動化が難しく、一定のコストが発生します。

セッションの不安定さ

時折セッションが途中で落ちたり、git の upstream branch の設定が正しく行えず、push が行えないことがあるなどの不安定さが見られます。

ツールを検討されている方へ

Knowledge と Playbooks の整備

活用促進の鍵は、Knowledge と Playbooks の早期に整備することです。これにより、Devin の導入直後からチーム全体で自然に活用が始まり、利用ハードルが大きく下がります。Slack 上でメンションやマクロを用いて 1 アクションで呼び出せる状態に整えておくと、運用が滑り出しやすくなります。

Interactive Planning を最大限活用する

タスクの成功率を上げるには、Interactive Planning による信頼性評価の活用が不可欠です。タスクが小さくても曖昧だと信頼度が低く出ることが多いため、フィードバックを与えて再評価することで成功率が向上します。信頼度が高い評価が得られたら、あとはほぼ放置運用でも安定した成果が期待できます。

Devin と他エージェントの適切な棲み分け

Devin を「自律的な改善タスク」の担当として活用しつつ、Cursor や Claude Code のようなツールは「人間の作業を補助する役割（Intelligence Amplifier）」として使い分けるのが効果的です。こうした棲み分けにより、開発フローの効率と改善活動の並列運用の両方を実現できます。

今後の展望

他AIエージェントとの比較検討

他AIエージェントの登場や機能更新が頻繁に行われているため、適宜比較検討して最適な手段を模索する必要があると考えています。

Sentry連携による初動調査の自動化

2025年7月28日にリリースされた MCP Marketplace を活用し、Sentry のアラートをトリガーに Devin が初動調査を行う構成を想定しています。これにより、トリアージのリードタイム削減を狙っています。

自動改善ワークフロー

現在は改善タスクを都度依頼するスタイルですが、人間が指示を出す箇所がボトルネックになり、リソース効率を最大化するのが難しい状況です。そこで、ESLintなどの静的解析の結果を基に、静的指摘の自動修正を Devin に任せる自動改善ワークフローの構築を検討しています。たとえば、以下のような流れです：