2025/3/25

生成AI PRレビュー pr-agentからCodeRabbitへの乗り換え

※この記事は自分が所属する組織で書いた以下の記事のコピーです。投稿した記事は個人の著作物として自ブログにコピーして良いルールとしています。

https://tech-blog.mitsucari.com/entry/2025/03/25/091758

こんにちは、ミツカリCTOの塚本こと、つかびー(@tsukaby0) です。

ミツカリではAIを積極活用して開発効率や生産性を高めようと日々改善をしています。今回は生成AIコードレビューツールに関する話をしようと思います。

コードレビューツールおよび歴史

2022年にChatGPTがリリースされ、その後2023年は生成AI元年となったように感じています。2023年と2024年に様々な生成AIツール、サービスが登場しました。AIによるコードレビューもそのうちの1つです。

生成AIのパフォーマンスが良いから、生成AIにコードのレビューをさせようというもので、話は単純ですが、このようなツールは新しいものではなく、それなりに歴史があります。

例えばFindBugsというようなバグ検出ツール、静的解析ツールが昔からあります。これは正確にはAIではなく、ルールベースの検出、パターンマッチですが、目的としてはAIコードレビューと同じで、問題の早期発見や自動化による人間の負荷軽減です。

FindBugsはサービスではなくツールですが、Code Climateというような有名なサービスもあります（※筆者は利用したことはありません。また、コードレビューサービスと言うよりは品質管理サービスという方が近いです）。

最近のCode Climateも生成AIではないと思いますが、その後に徐々にAIと呼べる領域に発展していきました。例えば、Amazon CodeGuru Securityというものがあります。これは以前はCodeGuru Reviewerという製品名だったはずで、おそらく変わったのだと思います。これは機械学習によるパターンマッチで自動でレビューをする、というものです。つまりはAIレビューツールです。

機械学習が入ってきた段階からAIレビューと言っても過言ではないと思いますので、この領域は5,6年前からあると言えそうです。近年ではここに機械学習の派生形とも言える生成AIが入ってきた、という状況です。

pr-agent

生成AIにコードレビューをさせるものはいくつかあります。例えば最近話題のChatGPT o1-proやClaude Code、それらを使うclineなども広義の意味ではレビューツールと言えそうですが、今回は自動でGitHub PRをレビューするものを対象とします。

それを実現するツールにpr-agentというものがあります。これはChatGPT等のAPI tokenを与えて、それを使ってレビューし、PRに情報を付け足すというものです。

pr-agentについては以下の記事が参考になります。

https://recruit.gmo.jp/engineer/jisedai/blog/chatgpt-pr-agent-github-actions/

https://zenn.dev/taroshun32/articles/pr-agent-pull-request-ai-review

pr-agentを運用してみた

まず、pr-agentの良いところは低コストで始められるということです。作成されるPRの量などにもよりますが、ミツカリ社の場合、月あたりチーム全体で$10程度でした。これは後述するCodeRabbitと比較して圧倒的に安いです。また、システムプロンプトも与えられるので日本語化や、特定のルールを教え込むこともできます。

ただし、運用してみて、弊社としては期待する効果は得られませんでした。以下は実際に一部の開発メンバーにヒアリングした結果です。

まず、pr-agentは残念ながら現時点では行単位の指摘を行う機能を持っていません。つまり人間と同じようにここはこう変えるべき、というようなきめ細かい指摘はできません。

次にPRの要約を行う機能がありますが、あまり必要性を感じませんでした。

このようにPRのdescriptionに自動で要約内容を記述してくれますが、この程度の情報は自分で書くほうが精度が高いし、AIにはまだ任せられないなと思いました。またそもそもこの程度の内容であればコードを見れば自明なのでdescriptionに書く必要はなく、それとは別のタスクの背景などのコンテキスト情報をPRには書きたいところです。なぜこうしたのか、こうするのか、など。しかしそれは当然ですがAIは読み取れません。

そういった理由から要約はあまり価値を感じていませんでした。

次に肝心のPRレビューですが、これは精度が低く、またカスタマイズが難しいと感じました。

例えば以下のようにPRにコメントが追加されてレビューされます。

secrets.ymlにハードコードすべきではないというのはその通りなのですが、ミツカリの場合、dev環境のシークレットに関しては漏洩してもリスクが低く、環境変数管理を鑑みて直接埋め込んで良いこととしています。これは賛否両論あると思いますし、理想ではないので改善すべき点ではありますが、不要な指摘だと思います。

Code smellのハードコードされたパスも詳細は割愛しますが、これは対応しなくて良い類のものです。

このような指摘に対してAIに学習させたりプロンプトチューニングしていく簡単な方法がなく面倒です。

こういった理由からあまり活用されない状態が続いていました。

CodeRabbitへの乗り換え

pr-agentとは別にCodeRabbitというものがあります。もともとはpr-agentと同じくOSSであったようですが、ある時を境に製品化したようです。今ではアーカイブされたリポジトリがあるだけで更新されていないはずなので利用する場合は製品を契約することなります。

CodeRabbitの導入については以下の記事が参考になります。

https://qiita.com/ysk91_engineer/items/47cff12d0625f003d50d

行単位のレビューは良いですね。レビュー精度も流石に製品版のほうが高いでしょうし、期待が持てます。そういった理由から乗り換えてみることにしました。乗り換えはGitHubのintegrationアプリとして提供されているため、30分程度の操作ですぐに終わります。

CodeRabbitを運用してみた

まず14日のトライアルができる点が良いですね。その後、トライアル終了後はGitHubのチームメンバー全員のseatを買うか、数量指定でseatを買うか、ということが選べます。つまり、PRの数が少ない、あるいはコードレビューの必要性が低いマネージャやシニアレベルにはseatを割り当てずに、ジュニア、ミドルにだけseatを割り当てて、コスト削減するということもできます。

価格については以下にある通りLiteが$12/mo/user, Proが$24/mo/userなので、pr-agentに比べるとかなり高いです。しかし、月2000円ほどでレビュワーのコストを削減できると考えるとお買い得とも言えます。

https://www.coderabbit.ai/pricing

要約機能はpr-agentとほとんど同じです。ここは目新しいものは特にありません。

以下はコメント・レビューの例です。

今回のPR程度であればシーケンス図は不要でむしろノイズですが、状況によっては使えそうです。また、PRの背景に詳しくないジュニアエンジニアなどがレビューする場合は参考になるかもしれません。

レビューの精度は上がったような気がしています。おそらくですが、pr-agentと違ってCodeRabbitの開発側でRAGだとかシステムプロンプトだとかのチューニングを頑張ってくれているのかなと思っています。例えば同じPRで以下のような指摘がnitsとして出されました。

このPRはCIでjsonファイルをチェックしてvalidかどうか確かめるという単純なものですが、私のミスによってtypoになっていた部分をしっかり指摘してくれています(Emacsキーバインドなのでたまに不要にfが混入する)。また、ファイル名にスペースがあるケースの説明もされています。この指摘はわざわざ対応するほどのものではないですが、確かにその懸念はありますね。

今回はおそらくnitsだったので行単位での指摘になりませんでしたが、以下の例のように行単位での指摘も行ってくれています。

この指摘は真っ当なもので、これのお陰でレビュワーの負担が実際に１つ減っています。また、 coderabbitai[bot] marked this conversation as resolved. や Addressed in commit 827b068 とあるように、修正コミットを自分で検知して自分でResolveにしてくれています。これは楽でよいですね。

もちろん、精度は上がったものの、不要な指摘も存在します。

この指摘は以下のようなコードを

export const ComponentA: React.FC = () => {
  return (
    <div>
      実際には長いコード。省略
    </div>
  );
}

以下のように書き換えたときに

export const ComponentA: React.FC = () => {
  if (fooFeatureFlag) {
    return (
      <div>
        実際には長いコード_ver2。省略
      </div>
    );
  } else {
    return (
      <div>
        実際には長いコード。省略
      </div>
    );
  }
}

code cloneがあるよ、と指摘されたものです。確かに真っ当な指摘ですが、featureFlagによって分岐しており、元のロジックを変えたくないからこうしているだけで、重複は一時的なものだから問題ないという解説をしています。それに応じてCodeRabbitがLearningしていますね。実際にこれが今後どの程度効いてくるかまでは把握できていませんが、pr-agentよりは遥かに学習やチューニングは簡単に思えます。期待が持てますね。

なお、AIに対する命令は以下のページで仕様や設定を確認できます。

[https://docs.coderabbit.ai/guides/review-instructions/]

学習状況についてはWeb GUI上のLearningsで確認できます。