When AI-Generated Code Helps (And When It Creates More Problems) \u2014 COD-AI.com

Der Vorfall um 3 Uhr morgens in der Produktion, der meine Sicht auf KI-Code verändert hat

Ich bin Sarah Chen und seit acht Jahren Principal Engineer bei einem Series-C-Fintech-Startup. Zuvor habe ich sechs Jahre bei Google an Infrastruktur-Tools gearbeitet. Ich habe über 10.000 Pull-Requests in meiner Karriere überprüft, 47 Ingenieure betreut und mehr Produktionsvorfälle debuggt, als ich zählen möchte. Doch nichts hat mich auf das vorbereitet, was an einem Dienstagabend im März 2024 passiert ist.

Um 3:17 Uhr ging unser Zahlungssystem aus. Hart. Wir verloren ungefähr 12.000 Dollar pro Minute an Transaktionsvolumen. Unser Bereitschaftsingenieur, ein talentierter Entwickler der Mittelstufe namens Marcus, hatte sechs Stunden zuvor eine "einfache Umstrukturierung" vorgenommen. Der Code sah sauber aus, bestand alle Tests und war teilweise von einem KI-Coding-Assistenten generiert worden. Das Problem? Die KI hatte eine subtile Rennbedingung in unserer Redis-Caching-Schicht eingeführt, die nur unter bestimmten Lastmustern auftrat, die wir nicht getestet hatten.

Dieser Vorfall kostete uns 340.000 Dollar an entgangenem Umsatz, beschädigte unseren Ruf bei drei großen Kunden und löste eine unternehmensweite Diskussion über KI-generierten Code aus, die ich bis heute navigiere. Doch was mich am meisten überraschte: Das Verbot von KI-Tools war nicht die Lösung. Tatsächlich kamen einige unserer zuverlässigsten Code-Verbesserungen im vergangenen Jahr aus der KI-unterstützten Entwicklung. Der Unterschied zwischen hilfreichem KI-Code und problematischem KI-Code liegt nicht in der Technologie selbst – es geht darum, zu verstehen, wann und wie man ihn verwendet.

Dieser Artikel ist mein Versuch, das, was ich aus der Leitung eines Teams von 23 Ingenieuren gelernt habe, die täglich KI-Tools verwenden, aus einer sechsmonatigen Analyse von 1.847 KI-unterstützten Commits und aus vielen Fehlern auf dem Weg zu teilen. Wenn Sie ein technischer Leiter, leitender Ingenieur oder Engineering-Manager sind und versuchen herauszufinden, wie KI in Ihren Entwicklungsworkflow passt, ist dies das Gespräch, das ich mir gewünscht hätte, jemand hätte es vor zwei Jahren mit mir geführt.

Wo die KI-Code-Generierung wirklich glänzt: Der Sweet Spot

Ich fange mit den guten Nachrichten an, denn davon gibt es viele. Nach der Analyse der Ergebnisse unseres Teams über sechs Monate stellte ich fest, dass KI-generierter Code die Entwicklungszeit für bestimmte Arten von Aufgaben im Durchschnitt um 23 % reduzierte. Aber diese Zahl ist ohne Kontext bedeutungslos. Die wirkliche Einsicht kam daher, welche Aufgaben am meisten profitierten.

"Der gefährlichste KI-generierte Code ist nicht der, der sofort bricht – es ist der Code, der sechs Monate lang perfekt funktioniert und dann katastrophal unter Bedingungen versagt, die Sie nie getestet haben."

Boilerplate- und sich wiederholende Muster sind Bereiche, in denen KI-Tools hervorragend abschneiden. Als einer meiner Ingenieure benötigte, um 47 ähnliche API-Endpunktbehandler mit konsistentem Fehlerhandling, Eingangsvalidierung und Protokollmustern zu erstellen, verwandelte die KI-Code-Generierung eine zweitägige Aufgabe in eine vierstündige Aufgabe. Der Schlüssel war, dass wir bereits etablierte Muster hatten – die KI wandte im Wesentlichen eine Vorlage an, die wir bereits in mehreren ähnlichen Fällen validiert hatten.

Ich habe ähnliche Erfolge bei Datenbankmigration-Skripten, Generierung von Testdateien und Konfigurationsmanagement gesehen. Im letzten Quartal mussten wir 83 Datenbanktabellen von PostgreSQL auf ein neues Schema migrieren, das Multi-Tenancy unterstützte. Ein KI-Tool generierte die ersten Migrationsskripte in etwa 30 Minuten. Ja, wir verbrachten weitere sechs Stunden mit der Überprüfung und Anpassung, aber das ist immer noch dramatisch schneller als die geschätzten drei Wochen, die es benötigt hätte, um sie manuell zu schreiben.

Datenumwandlung und Parsing-Code sind ein weiterer Sweet Spot. Wir hatten ein Projekt, das erforderte, dass 14 verschiedene Formate von API-Antworten Dritter in unsere internen Datenmodelle eingeparst werden. Das KI-Tool generierte Parser, die Randfälle behandelten, die ich nicht einmal in Betracht gezogen hatte – Nullwerte, unerwartete Array-Längen, falsch formatierte Zeitstempel. Von 14 Parsern funktionierten 11 beim ersten Versuch perfekt, und die anderen drei benötigten nur geringfügige Anpassungen.

Dokumentation und Codekommentare haben sich dramatisch verbessert, seit wir begannen, KI-Tools zu verwenden. Früher verbrachte ich Stunden mit der Code-Überprüfung, indem ich Ingenieure bat, bessere Kommentare hinzuzufügen oder veraltete Dokumentationen zu aktualisieren. Jetzt generieren KI-Tools eine erste Dokumentation, die zu etwa 80 % genau ist, und Ingenieure verbringen ihre Zeit damit, zu verfeinern, anstatt von Grund auf neu zu erstellen. Unsere Dokumentationsabdeckung stieg in sechs Monaten von 34 % auf 71 %.

Aber hier ist die entscheidende Einsicht: All diese Erfolge teilen gemeinsame Eigenschaften. Sie beinhalten gut verstandene Muster, haben klare Spezifikationen, operieren in Bereichen mit umfangreichen Trainingsdaten und sind vor allem leicht zu überprüfen und zu testen. Wenn KI-Code-Generierung gut funktioniert, liegt es daran, dass der Problembereich gut definiert und die Lösung objektiv validierbar ist.

Die versteckten Kosten: Wenn KI-Code technische Schulden verursacht

Jetzt lass uns über die Probleme sprechen, denn sie sind subtiler und gefährlicher, als die meisten Menschen glauben. Der Vorfall um 3 Uhr morgens, den ich erwähnt habe? Es war kein Einzelfall. In den letzten 18 Monaten habe ich 23 Produktionsprobleme verfolgt, die direkt oder indirekt durch KI-generierten Code verursacht wurden. Die Gesamtkosten – einschließlich entgangenem Umsatz, Ingenieurszeit und Kundenkompensation – überschritten 1,2 Millionen Dollar.

Das gefährlichste Problem ist das, was ich "plausibler, aber falscher" Code nenne. KI-Tools sind bemerkenswert gut darin, Code zu generieren, der korrekt aussieht, den Stilrichtlinien folgt und sogar grundlegende Tests besteht. Aber sie können subtile logische Fehler einführen, die nur unter bestimmten Bedingungen sichtbar werden. In einem Fall sah ein KI-generiertes Authentifizierungs-Middleware perfekt aus, hatte jedoch eine Timing-Schwachstelle, die ausgenutzt werden konnte, um die Ratenbegrenzung zu umgehen. Wir haben es drei Wochen lang nicht bemerkt, da es eine spezifische Folge von Anfragen erforderte, um ausgelöst zu werden.

Ich habe festgestellt, dass KI-generierter Code dazu tendiert, den "glücklichen Pfad" zu optimieren und Randfälle zu vernachlässigen. Als wir ein KI-Tool baten, einen Dateiupload-Handler zu generieren, wurde wunderschöner Code erstellt, der perfekt für Dateien unter 10 MB funktionierte. Aber es gab keine ordnungsgemäße Behandlung für Verbindungsunterbrechungen, keine Bereinigung für teilweise Uploads und keine Validierung für bösartige Dateitypen. Der Code sah produktionsbereit aus, war aber tatsächlich ein Sicherheits- und Zuverlässigkeitsalptraum.

Ein weiteres großes Problem ist die Kontextblindheit. KI-Tools verstehen Ihre spezifische Architektur, die Konventionen Ihres Teams oder Ihre Geschäftsanforderungen nicht. Ich habe KI-generierten Code gesehen, der technisch funktionierte, aber unsere Datenresidenz-Anforderungen verletzte, unsere etablierten Fehlerbehandlungsrichtlinien ignorierte oder veraltete interne APIs verwendete. In einem denkwürdigen Fall generierte ein KI-Tool eine Caching-Lösung, die großartig funktioniert hätte – es ignorierte jedoch völlig, dass wir in einer multi-regionalen aktiven Konfiguration laufen, in der die Cache-Invalidierung kritisch ist.

Die Wartungsbelastung ist real und oft unterschätzt. KI-generierter Code tendiert dazu, wortreicher und weniger idiomatisch zu sein als Code, der von erfahrenen Ingenieuren geschrieben wurde, die den Code verstehen. Ich habe KI-generierte Funktionen überprüft, die 200 Zeilen lang waren, während ein erfahrener Ingenieur 40 Zeilen unter Verwendung unserer bestehenden Dienstprogrammbibliotheken geschrieben hätte. Diese Wortfülle macht den Code schwerer wartbar, schwerer debugbar und schwerer zu ändern, wenn sich die Anforderungen ändern.

Vielleicht am besorgniserregendsten ist das Problem des falschen Vertrauens. Insbesondere unerfahrene Ingenieure neigen dazu, KI-generiertem Code zu viel zu vertrauen. Ich musste schwierige Gespräche mit Teammitgliedern führen, die Code pushen, den sie nicht vollständig verstanden, weil "die KI es generiert hat und die Tests bestanden haben." Das ist gefährlich, weil es die Verantwortung vom Ingenieur abzieht und eine Kultur schafft, in der Verständnis optional ist.

Das Problem der Skill-Atrophie, über das niemand spricht

Hier ist etwas, das mich nachts wach hält: Ich beobachte, wie unerfahrene Ingenieure in meinem Team grundlegende Fähigkeiten verlieren, weil sie sich zu stark auf die KI-Code-Generierung verlassen. Das ist nicht hypothetisch – ich habe Daten, die das bestätigen.

"Wir haben festgestellt, dass KI-Tools unsere Zeit bis zum ersten Entwurf um 6...