QastにおけるDevinの運用事例

参考になった

会員限定コンテンツです。無料登録すると制限なしでお読みいただけます。

無料登録してアーキテクチャを見る

レビュー投稿日の情報になります

any株式会社 / Shogo Arakawa

チームリーダー / フルスタックエンジニア / 従業員規模: 11名〜50名 / エンジニア組織: 11名〜50名

最終更新日2025/07/25投稿日2025/07/28

利用プラン	ツールの利用規模	ツールの利用開始時期	事業形態
Coreプラン	10名以下	2025年5月	B to B

利用プラン	Coreプラン
ツールの利用規模	10名以下
ツールの利用開始時期	2025年5月
事業形態	B to B

アーキテクチャ

会員限定コンテンツ無料登録してアーキテクチャを見る

アーキテクチャの意図・工夫

Devin上からのやり取りも可能ですが、弊社はSlackをコミュニケーションツールとして利用しているため、統合させて利用しています。JIRAやDatadogとの連携で自動でIssue解消ができないかも検討しています。

導入の背景・解決したかった問題

導入背景

弊社プロダクトのQastは、B2B SaaSのWebアプリケーションです。弊社のエンジニア組織においても、AI開発における開発生産性向上を組織課題として高い強度を持って推進しています。Devinのようなクラウド自律型AIエージェントを利用することで、どのように今の開発をどう改善できるかを調査するために、手始めにDevinから検討をはじめました。

比較検討したサービス

Cursor (Background Agent)
Claude Code
Gemini CLI

比較した軸

Devinのようにクラウド上で動作するAIエージェントの利活用は知見が少なかったため、まずはPro/Cons含めて試して検討をしようという段階です。2025年6月にCursorのBackground Agentという、Cursorにおいても同様の機能が実装され、そちらは直接的な競合になりえそうです。

Cursor Background Agentと比較すると、Devinのほうが各種設定関連としては優秀なものの、Cursorはo3/Claude 4 Sonnetなどのより高度なモデルを利用できるため、現時点で利用は分かれてしまっている状況です。またClaude Codeなどのローカル端末で動作させるAIエージェントとの性能差や価格差は常に動向をウォッチしていました。

選定理由

会社全体のエンジニア組織としてAIツールを促進する動きのなかで、大きな障壁になったものはありませんが、Coreプランの登場によって、Pay as you goで従量課金できるようになったことは大きな一歩でした。

導入の成果

1ヶ月ほどの運用で、3PRほどがマージまで完了しています。前述したモデルの精度といった点は足かせにはなっているものの、Slackから呼べて実装まで完了できるといった観点は、非常に強みだと感じています。

導入時の苦労・悩み

自律型AIエージェントは、ツール自体の潮流が激しく変化するため、一過性の流行でないかどうかは注意深く検討していました。特定のツールに絞ってしまうよりも、柔軟に動ける体制を整えることが大切だと感じます。

導入に向けた社内への説明

上長・チームへの説明

上長への説明

AIツールを促進する動きのなかで、Devinのようなツールを利用することについては、上長・チームともに認識済みでした。ただ、Teamプラン($500)においては、コストパフォーマンスの観点において、判断がつきかねていたのですが、Coreプラン(従量課金)の登場によって、導入へのハードルが下がったことは事実かと思います。

また、Devinに限らず、B2B SaaSであるプロダクトの都合上、利用規約・プライバシーポリシーなどの法務チェック、セキュリティ関連設定についても念入りに調査して、報告を行いました。

チームへの導入支援

チームでの利活用を促進するために、効果的な使い方などをシェアするドキュメントを作成しています。下記にひとつサンプルを掲載しておきます。

# Devinの効果的な使い方（プロンプト例）

## 💡プロンプトの書き方のコツ

---
### ✅ 良い例

**理由**: 明確な手順、参考資料、成功基準が含まれているため、Devinが迷うことなく実行できる

@Devin 以下のタスクを実行してください：

1. /api/users/stats エンドポイントを作成
2. PostgreSQLの既存usersテーブルを使用
3. ユーザー数と平均登録日数を返すJSON形式
4. /api/orders/stats の実装を参考にする
5. StatsController.test.js にテストを追加

### ❌ 避けるべき例
**理由**: 曖昧で、実装の詳細や成功基準が不明確なため、期待と異なる結果になる可能性が高い