CodeRabbitでPRを自動レビュー(生成AI)

このレビューはミツカリ社の以下の記事を元にして作成しています。

生成AI PRレビュー pr-agentからCodeRabbitへの乗り換え

自動レビューツール導入前の課題

レビュワーの負荷が高いことが大きな問題でした。人手によるコードレビューでは、バグやコードの品質問題を見つけるために多くの時間と労力を要します。またそれらを発見できるのは、特にシニアエンジニアに限られるので、シニアエンジニアの負荷増大が課題となっていました。

レビューの品質にばらつきがあることも課題でした。シニアエンジニアであればジュニアやミドルよりもより良いレビューができますが、負荷の問題も相まって見逃しが発生したり、深くレビューできないケースも発生していました。

自動レビューツール(pr-agent)導入後の課題

LLMの登場によってPRのレビューを自動化するというツールが登場しました。当時からCodeRabbitも視野に入れていましたが、まずは手軽に試せるpr-agentを導入しました。

しかし、導入後に以下のような課題が見つかりました。

• レビューの精度が悪いため、しばらくしたら誰も見なくなった
• GitHub PRのインラインコメント形式で指摘をしてくれないため、レビュー結果が読みづらい

pr-agentをチューニングしたり別のツールと組み合わせれば解決できる可能性はありそうですが、そこまで 時間をかけたくありません。そこでCodeRabbitへの乗り換えを検討しました。

どのような状態を目指していたか

理想的なコードレビュー環境として、以下のような状態を目指していました。

効率化の実現

機械的にチェックできる部分はAIに任せることで、レビュワーはより本質的な設計思想やビジネスロジック、アーキテクチャの議論に集中できる環境を作りたいと考えていました。特に、typoやコーディング規約違反、基本的なバグパターン、フレームワークの基本やデファクトから逸脱したコードなどは自動で検出し、人間のレビュー工数を削減したいと思っていました。

レビュー品質の安定化

AIによる一定水準のレビューをベースラインとして、人間のレビューと組み合わせることで、レビュー品質のばらつきを減らし、常に高品質なコードレビューを実現したいと考えていました。

コスト効率

もともとpr-agentを導入した理由の１つに低コストであるというものがありました。pr-agentは利用頻度や利用モデル次第ではありますが、それほどコストはかかりません。弊社の場合は月に$10程度でした。できるだけコストを抑えて利用できる方法を確立したいと考えていました。

• pr-agent

1. レビュー精度
2. PR上のインラインコメントによる指摘、使いやすさ
3. カスタマイズ性、モデルへの教育データ追加・指示追加

定量的には測れていませんが、チーム内ではpr-agentから乗り換えて改善したという意見が寄せられました。 また、開発者が同僚や上長にレビュー依頼を出す前に自分でCodeRabbitからの指摘対応を行うケースもあるため、レビュワーの負荷は低減していると思います。

特にありません。会社によって導入フローは異なると思いますが、CodeRabbitのGitHub連携設定に限って言えば30〜60分ほどなので、すぐに使い始められます

昨今のLLM周辺は移り変わりが激しいので、数カ月後、あるいは数年後にはより良い手法が登場している可能性は十分にあります。そのため、年間契約プランよりも月間契約プランを推奨します。

また、昨今ではPR作成後のレビューを自動化するのではなく、PR作成前の開発者環境でのレビューを自動化する流れも多少でてきています。 今後どのような自動レビューの形がデファクトになるかは分かりませんが、今のうちから試しておいて経験を積んでいくことが大事だと思います。そのため、簡単かつ低コストで試せるCodeRabbitをまずはやってみることをお勧めします。

まだCodeRabbitのすべての機能を使いこなせていないですし、追加の指示・教育の部分は各開発者が自由に設定しているので秩序がなく、洗練されていない状態です。このあたりは今後調整していきたいです。

今回のレビューは以下の記事をもとにしています。こちらの記事でより詳細に書いていますのでよろしければ御覧ください。 生成AI PRレビュー pr-agentからCodeRabbitへの乗り換え

また、フォローもお待ちしております。
X: @tsukaby0