Claude Codeで自律的にAPIのパフォーマンスチューニングのPDCAを回させる
参考になった
2
クラシル株式会社 / 久保寺勘太
チームリーダー / バックエンドエンジニア / 従業員規模: 101名〜300名 / エンジニア組織: 11名〜50名
| 利用プラン | 利用機能 | ツールの利用規模 | ツールの利用開始時期 | 事業形態 |
|---|---|---|---|---|
Teamプラン / Premiumシート | Claude Code・Claude Desktop | 101名〜300名 | 2025年4月 | B to B B to C |
| 利用プラン | Teamプラン / Premiumシート |
|---|---|
| 利用機能 | Claude Code・Claude Desktop |
| ツールの利用規模 | 101名〜300名 |
| ツールの利用開始時期 | 2025年4月 |
| 事業形態 | B to B B to C |
アーキテクチャ
アーキテクチャの意図・工夫
toCのサービスを開発しており、パフォーマンスチューニングの重要度が高いが、それ以上に新機能の開発の方が優先度が上がることがあり、パフォーマンスチューニングに時間を割きづらい課題がありました。 AIに質の高いパフォーマンスチューニングをやらせることができれば、人間の工数を減らして新機能の開発と両立しやすいです。
そこでKarpathy氏のautoresearchというリポジトリを見た時に、パフォーマンスチューニングにも考え方を転用できると考えました。
導入の背景・解決したかった問題
導入背景
ツール導入前の課題
CursorやChatGPTなどのツールでコーディングしていたが、GUIでの操作なので並列実行がやり辛い、UIへの慣れが必要なこと
どのような状態を目指していたか
- コーディングの質を上げること
- コーディングのスピードを上げること
- 手でコードを書くことをやめること
比較検討したサービス
Cursor
選定理由
導入当初
- 当初はGUIのツールしかなかった状況で、CLIで動くAIエージェントだったこと
- コーディングに特化した性能であったこと
- 並列実行が容易であったこと
ビジネスサイドに導入する際
- Claude DesktopによりリッチなGUIで動作可能だったこと
- Claude Desktop内のCoworkにより既存業務の自動化ができること
- 既にエンジニアが利用していたことで会社内の知見が豊富であったこと
導入の成果
どのような成果が得られたか
- パフォーマンスチューニングのハードルが下がり、非機能要件の考慮がこれまで以上にできるようになった
- 人間がコーディングではなく要件定義や設計にリソースを割きやすくなり、開発の質とスピードが向上した
- 定型業務の自動化により、別の業務に当てられる時間が増えた
導入時の苦労・悩み
今は改善されたが、当時はチームプランが無く、各々個人で契約して使っていたので費用の管理が大変であった。
導入に向けた社内への説明
上長・チームへの説明
AI系のツールはカジュアルに試してみる文化なので、導入に当たり厳しい要件は会社から提示されませんでしたが、以下を踏まえ導入の判断を行いました。
- PoCで数人のエンジニアが1か月ほどお試しで使い会社に導入すべきかを検討
- 当時弊社では主流だったCursorと比較し、どちらがチームに合うかを検討
活用方法
APIエンドポイントのパフォーマンスチューニングに活用しています。
具体的には、Claude Codeの /loopコマンドを活用し、以下のサイクルを自律的にループさせています。
LOOP FOREVER:
1. 実行履歴を確認し、AIは今回のターンで何をするかを考える
2. コードを変更
3. 破壊的変更がないかをテスト
4. パフォーマンスを計測
5. 悪化 → 変更を戻す / 改善 → そのまま
6. 履歴に結果（良かったか悪かったか）を起票
7. 1に戻る
このようなサイクルを回させることで、小さい改善を沢山繰り返し、ループが終わった頃には大きなパフォーマンスの改善が見込めます。 例えば、クエリのJOINの戦略を変えたり、キャッシュを導入してみたりと多角的な観点からの改善かつ、1つ1つは小さな変更を試し効果を検証します。
AIには大きすぎる要件を与えて特大の変更をやらせると、細かい部分の考慮が漏れることがあるので、小さな要件で実装を繰り返し、試行回数を上げることはAIとの相性が非常に良いと考えています。
こちらのテックブログで、より細かい具体的な内容を書いていますので深く知りたい方は是非ご覧ください https://zenn.dev/dely_jp/articles/3117e590465e38
よく使う機能
1. /loopコマンド
- AIに自律的に改善サイクルを回させる時に良く使います
- 目を離してAIを動かすことが多くなるので、AIに破壊的変更などをやらせない防御機構を整備しておくのは大事です
2. skills
- CLAUDE.mdに書くほどではないが、ある作業時に必ず必要な知識を書き、コンテキストを圧迫させないようにしています
3. Claude Desktop
- GUIツールなのでエンジニア以外の方がClaudeを扱うのに重宝しています。
- スケジューラー機能が特に便利で定常的なタスクを自動化しています。
ツールの良い点
- とにかく新機能のリリースが早く、デイリーで進化しており、Claude Codeが業界内でも先んじて目新たらしい便利な機能をリリースしている
- Claude CodeとClaude Desktopの2つにより、エンジニア・エンジニア以外の方共に導入ハードルが低い
- コーディングエージェントのデファクト・スタンダードともいえるので、日本語での情報も非常に多くキャッチアップが容易
ツールの課題点
- 将来的に従量課金になる可能性もあり、Claudeに依存し過ぎると将来的にコストと見合わなくなる可能性もある（現在は基本的には定額なので問題なし）
- 競合のCodexなどに比べるとコスト的には高い
- 機能が多く複雑になってきてはいるので、学習コストが高い
- トークンの使用制限があるので、ヘビーな使い方をする場合、どのモデルを使うかを意識する必要がある
ツールを検討されている方へ
現在はClaude Code以外にもCLIで動作するAIエージェントツールは、いくつか存在するのでそれらとも比較し導入を検討すると良いと思います。Claude Codeは比較的コストは高めなので、Claude Code独自の機能を活用したいのかどうかを軸に考えると良さそうです。
今後の展望
引き続き新機能がどんどんリリースされるので、個人でもチームでもキャッチアップを続け料金に見合うアウトプットに繋げることを意識したいです。
クラシル株式会社 / 久保寺勘太
チームリーダー / バックエンドエンジニア / 従業員規模: 101名〜300名 / エンジニア組織: 11名〜50名
よく見られているレビュー
クラシル株式会社 / 久保寺勘太
チームリーダー / バックエンドエンジニア / 従業員規模: 101名〜300名 / エンジニア組織: 11名〜50名
レビューしているツール
目次
- アーキテクチャ
- 導入の背景・解決したかった問題
- 活用方法