When AI-Generated Code Helps (And When It Creates More Problems) \u2014 COD-AI.com

午前3時のプロダクションインシデントが、私のAIコードに対する考え方を変えた

私はサラ・チェンです。過去8年間、シリーズCのフィンテックスタートアップで主任エンジニアを務めています。それ以前は、Googleでインフラツールの開発に6年間従事していました。キャリアの中で10,000件以上のプルリクエストをレビューし、47人のエンジニアを指導し、数えきれないほどのプロダクションインシデントをデバッグしてきました。しかし、2024年3月の火曜日の夜に起こったことには、何も準備ができていませんでした。

午前3時17分、私たちの決済処理システムがダウンしました。ハードに。取引量で約12,000ドルを1分ごとに失っていました。アラート対応を担当していたエンジニアは、マーカスという才能ある中堅開発者で、6時間前に「簡単なリファクタリング」をプッシュしていました。コードはクリーンで、全てのテストに合格し、部分的にAIコーディングアシスタントによって生成されていました。問題は、AIが私たちのRedisキャッシュレイヤーに微妙なレースコンディションを導入しており、それは私たちがテストしていなかった特定の負荷パターンの下でのみ現れたことです。

そのインシデントは、失った収益のみで34万ドルの損失をもたらし、三つの主要クライアントとの評判を傷つけ、今も尚続くAI生成コードについての全社的な議論を引き起こしました。しかし、私を最も驚かせたのは、AIツールを禁止することが解決策ではなかったことです。実際、過去1年間の最も信頼性のあるコード改善のいくつかは、AI支援の開発から得られました。役立つAIコードと問題のあるAIコードの違いは、技術そのものに関するものではなく、いつ、どのように使用するかを理解することに関係しています。

この記事は、AIコーディングツールを日常的に使用する23人のエンジニアを管理してきた経験や、1,847件のAI支援されたコミットの6か月間の分析、そしてその過程で犯した多くのミスから学んだことを共有する試みです。あなたがテックリード、上級エンジニア、またはエンジニアリングマネージャーで、AIがあなたの開発ワークフローにどのようにフィットするかを考えようとしているのであれば、これは私が2年前に誰かと話をしたかった会話です。

AIコード生成が実際に輝く場所：スイートスポット

良いニュースから始めましょう。これはたくさんあります。6か月間チームの成果を分析した結果、AIが生成したコードは特定のタスクの開発時間を平均で23%短縮しました。しかし、その数字は文脈なしでは意味がありません。真の洞察は、どのタスクが最も恩恵を受けたかを分解することから得られました。

"最も危険なAI生成コードは、即座に壊れるコードではなく、6か月間完璧に動作し、その後、テストしていなかった条件下で壊滅的に失敗するコードです."

ボイラープレートや繰り返しのパターンは、AIツールが絶対に優れているところです。エンジニアの一人が、一貫したエラーハンドリング、入力検証、ロギングパターンを持つ47の類似APIエンドポイントハンドラーを作成する必要があったとき、AIコード生成は2日間のタスクを4時間に短縮しました。重要なのは、私たちの間ですでに確立されたパターンがあったことです。AIは、すでに複数の類似ケースで検証されたテンプレートを適用しているのです。

データベース移行スクリプト、テストファイル生成、構成管理でも同様の勝利を見ました。前四半期、83のデータベーステーブルをPostgreSQLからマルチテナンシーをサポートする新しいスキーマに移行する必要がありました。AIツールは約30分で初期の移行スクリプトを生成しました。はい、私たちはそれをレビューして調整するのにさらに6時間を費やしましたが、それでも手作業で書くのにかかると推定される3週間よりもはるかに早いです。

データ変換やパースコードももう一つのスイートスポットです。私たちは、14の異なるサードパーティAPIレスポンス形式を内部データモデルに解析するプロジェクトを持っていました。AIツールは、私が考えもしなかったエッジケース—ヌル値、予期しない配列の長さ、形式の乱れたタイムスタンプ—を処理するパーサーを生成しました。14のパーサーのうち、11は初回で完璧に動作し、残る3つはわずかな調整だけで済みました。

ドキュメントやコードコメントは、AIツールを使用し始めてから劇的に改善されました。私は以前、コードレビューでエンジニアにより良いコメントを追加するように依頼したり、古いドキュメントを更新するように頼んだりするのに何時間も費やしていました。今や、AIツールは約80%の精度で初期ドキュメントを生成し、エンジニアは新たに作成するのではなく、洗練する時間を費やしています。私たちのドキュメントカバレッジは、6か月で34%から71%に増加しました。

しかし、ここでの重要な洞察は、これらすべての勝利には共通の特性があることです。これらはよく理解されたパターンを含み、明確な仕様を持ち、十分なトレーニングデータを持つ領域で運用され、最も重要なことに、検証とテストが容易です。AIコード生成がうまくいくとき、それは問題空間が明確に定義され、解決策が客観적으로検証できるためです。

隠れたコスト：AIコードが技術的負債を生むとき

さて、問題について話しましょう。問題はより微妙で、多くの人が認識している以上に危険です。先ほど触れた午前3時のインシデント？それは孤立したケースではありませんでした。過去18か月間で、AI生成コードによって直接的または間接的に引き起こされた23件のプロダクション問題を追跡しました。合計コストは、失った収益、エンジニアリング時間、顧客補償を含めて120万ドルを超えました。

最も陰湿な問題は、「もっともらしいが間違っている」コードと呼んでいるものです。AIツールは、正しく見えるコード、スタイルガイドラインに従うコード、基本的なテストに合格するコードを生成するのが驚くほど得意です。しかし、特定の条件下でのみ現れる微妙な論理エラーを導入することがあります。あるケースでは、AI生成の認証ミドルウェアは完璧に見えましたが、レート制限を回避するために悪用できるタイミング脆弱性がありました。特定のリクエストのシーケンスをトリガーする必要があったため、3週間も気づきませんでした。

AI生成のコードは、幸せな経路を最適化し、エッジケースを無視する傾向があります。AIツールにファイルアップロードハンドラーを生成させたとき、それは10MB以下のファイルに対して完璧に動作する美しいコードを作成しました。しかし、接続中断への適切な処理がなく、部分的なアップロードのクリーンアップもなく、悪意のあるファイルタイプの検証もありませんでした。そのコードはプロダクション準備が整っているように見えましたが、実際にはセキュリティと信頼性の悪夢でした。

もう一つの大きな問題は、文脈が見えないことです。AIツールは、あなたの特定のアーキテクチャ、チームの慣習、ビジネス上の制約を理解していません。技術的には動作するが、データの居住要件に違反していたり、私たちの確立したエラーハンドリングパターンを無視したり、廃止された内部APIを使用するAI生成コードを見たことがあります。一度記憶に残るケースでは、AIツールが素晴らしい結果を出すだろうキャッシュソリューションを生成しましたが、私たちはマルチリージョンのアクティブ-アクティブ構成で運用しており、キャッシュの無効化が critical であるという事実を完全に無視していました。

メンテナンスの負担は実在し、しばしば過小評価されます。AI生成のコードは、経験豊富なエンジニアが書いたコードと比較して、より冗長で、より非慣用的です。私は200行のAI生成関数をレビューしたことがありますが、経験豊富なエンジニアなら私たちの既存のユーティリティライブラリを使って40行を書くでしょう。この冗長性は、コードのメンテナンスを難しくし、デバッグを難しくし、要件が変更されたときに修正を難しくします。

最も懸念されるのは、偽の自信の問題です。特にジュニアエンジニアは、AI生成コードを過度に信頼する傾向があります。「AIが生成したし、テストも合格したから」と言って完全に理解していないコードをプッシュしたチームメンバーとの難しい会話を持つ必要がありました。これは危険です。なぜなら、それはエンジニアから責任を移転し、理解することが任意である文化を生んでしまうからです。

誰も話さないスキルの萎縮問題

私が夜も眠れないのは、チームのジュニアエンジニアがAIコード生成に依存しすぎて基本的なスキルを失っているのを見ているからです。これは仮想の話ではありません。裏付けるデータがあります。

"私たちは、AIツールが私たちの初稿までの時間を6%短縮したことを発見しました。"