I Tested 4 AI Coding Tools for 3 Months — Here's What Actually Happened

すべてを疑問に思わせた$47,000のミス

私はサラ・チェンで、過去8年間、中規模のSaaS企業でエンジニアリングチームをリードしてきました。昨年の3月、私は会社に$47,000の無駄な開発者時間を費やさせる決定を下しました。それは、AIコーディングツールを私たちのワークフローから禁止することでした。

当時の私の判断は理にかなっているように思えました。私たちの12人の開発者チームは、前四半期に比べて機能を23%遅く出荷していました。コードレビューのサイクルは、平均4.2時間から9.7時間に膨れ上がっていました。そして最悪のことに、バグの発生率は31%増加していました。私は、みんなが試していたAIツール — GitHub Copilot、ChatGPT、そして「革命を起こす」と約束するいくつかの新しいツールのせいだと責めました。

禁止令は正確に19日間続き、その後撤回しました。開発者の反発があったからではなく（それはたくさんありましたが）、私が行った実験が私の視点を完全に変えたからです。私は3ヶ月間、実際の生産作業において4つの主要なAIコーディングツールを体系的にテストし、思いつく限りのすべてのメトリクスを追跡しました。私が発見したことは驚くべきことだけではなく、開発者の生産性、コードの品質、ソフトウェアエンジニアリングの未来についての考え方を根本的に変えました。

これはAIが開発者を置き換えるという別の宣伝記事ではありません。これは、これらのツールを徹底的で実世界のテストにかけ、測定可能な結果を得たときに実際に起こったことです。結果は乱雑で、直感に反するものであり、どのベンダーのピッチデッキが主張しているよりも遥かにニュアンスがあります。

テストフレームワーク: 実際のパフォーマンスの測定方法

結果に飛び込む前に、私の方法論を理解する必要があります。「AIツールの比較」と称されるものをあまりにも多く見てきましたが、それは誰かが午後に各ツールを試して、雰囲気に基づいて勝者を宣言するだけです。それは、チームの生産性や会社の利益に影響を与える決定を下す方法ではありません。

"私たちの生産性の低下がAIツールによるものではなく、それらに対する戦略の欠如によることを認識した瞬間、私は判断における$47,000のミスを犯したことを理解しました."

私はチームから4人の開発者を選びました — すべて5年以上の経験を持つシニアレベルであり、すべて類似の機能の複雑さで作業していました。各開発者は、3ヶ月間異なる主要なAIツールを使用し、特定のメトリクスを追跡しました。使用したツールはGitHub Copilot、Cursor、Tabnine、Amazon CodeWhispererでした。また、AIの助けなしで作業を続ける3人の開発者の対照群も維持しました。

追跡したメトリクスは、生産性と品質の両方を捉えるように意図的に選ばれました：

• 1日あたりの書かれたコードの行数（はい、これは議論の余地がありますが、我慢してください）
• 機能の割り当てからプルリクエストの提出までの時間
• コードレビューサイクルの時間と修正回数
• バグ密度（デプロイ後の最初の30日間の1,000行あたりのバグ数）
• テストカバレッジの割合
• 開発者の自己報告による認知負荷（1-10のスケールでの週次調査）
• ドキュメント作成に費やした時間
• そのまま本番環境に出たAI提案コードの割合

各開発者と週間で1対1の面談を行い、彼らの経験についての質的なフィードバックを収集しました。何が苛立たしく、何が喜ばしかったのか？彼らはいつツールをオフにしましたか？これらの会話は定量的なデータと同じくらい価値がありました。

テスト環境は、私たちの実際の生産コードベースでした — 約340,000行のコードが2,847ファイルにわたるReact/TypeScriptフロントエンドとNode.jsバックエンドです。私たちは2週間のスプリントで作業し、各開発者が新機能、バグ修正、リファクタリング作業の類似の混合を扱うことを確認しました。

GitHub Copilot: 私を驚かせた現役ツール

GitHub Copilotは、私が最も優れたパフォーマンスを発揮すると期待していたツールでした。それは最も大きなユーザーベースを持ち、最も成熟した製品であり、Microsoftのリソースの支援を受けています。Copilotを使っていた私の開発者、マーカスは、実験が始まる前の6ヶ月間それを使用していたため、学習曲線はわずかでした。

生産性の生の数値は印象的でした。マーカスは対照群の平均より34%早く機能を完成させました。彼の1日あたりのコードの行数は187から276に跳ね上がり — 48%の増加です。しかし、ここが面白いところです：彼の初期のバグ密度は1,000行あたり8.2バグで、対照群の5.1と比較されます。これは61%のバグの増加です。

しかし、ここが重要です。3ヶ月目には、マーカスのバグ密度は1,000行あたり4.7バグに減少し — 実際に対照群よりも良くなりました。何が変わったのか？マーカスはどの提案を受け入れるかをより選択的に学びました。1ヶ月目には、彼はCopilotの提案の約68%を受け入れていましたが、3ヶ月目にはそれが41%に減少しましたが、受け入れたものの品質は劇的に向上しました。

マーカスが見出した最も価値のあるユースケースは、ボイラープレートの生成でした。APIエンドポイントの作成、テストスキャフォールディングの作成、JSONからTypeScriptインターフェースの生成 — これらのタスクは70-80%の時間節約を実現しました。Copilotは、何千回も見たパターンで優れました。

Copilotが苦しんだのは、私たちのドメイン固有のビジネスロジックでした。私たちはサプライチェーンの最適化のためのソフトウェアを構築しており、Copilotは構文的には正しいように見えるコードを自信を持って提案するが、私たちのビジネスコンテキストでは意味がありませんでした。マーカスは、特定のAI生成関数が私たちのユースケースに適さない理由をコードレビューで説明するのにかなりの時間を使いました。

認知負荷データは興味深いものでした。マーカスは、平均6.2を報告しました — 対照群の6.8よりも若干低いです。彼はそれを「本当に速いがビジネスを理解していないジュニア開発者がペアプログラミングをしているようなもの」と説明しました。このツールは、構文やボイラープレートの精神的負担を軽減しましたが、常に評価と修正を行う新たな負担を追加しました。

Cursor: AIエディタに対する私の考えを変えた新興ツール

Cursorは私が最も懐疑的だったツールでした。AIを基にした完全なIDE？過剰と思えました。Cursorをテストしていた私の開発者、プリヤは、最初はフラストレーションを感じていました。