Sự cố sản xuất 3 giờ sáng đã thay đổi cách tôi nghĩ về mã AI
Tôi là Sarah Chen, và tôi đã là kỹ sư chính tại một công ty khởi nghiệp fintech Series C trong suốt tám năm qua. Trước đó, tôi đã dành sáu năm làm việc tại Google trong lĩnh vực công cụ hạ tầng. Tôi đã xem xét hơn 10,000 yêu cầu kéo trong sự nghiệp của mình, hướng dẫn 47 kỹ sư, và gỡ lỗi nhiều sự cố sản xuất hơn tôi quan tâm đến. Nhưng không có gì chuẩn bị cho tôi điều gì đã xảy ra vào tối thứ Ba tháng 3 năm 2024.
💡 Những điều rút ra chính
- Sự cố sản xuất 3 giờ sáng đã thay đổi cách tôi nghĩ về mã AI
- Nơi mã AI thực sự tỏa sáng: Vị trí hoàn hảo
- Chi phí ẩn: Khi mã AI tạo ra nợ kỹ thuật
- Vấn đề suy giảm kỹ năng mà không ai nói đến
Vào lúc 3:17 sáng, hệ thống xử lý thanh toán của chúng tôi đã bị sập. Một cách nghiêm trọng. Chúng tôi đang mất khoảng 12,000 USD mỗi phút do khối lượng giao dịch giảm. Kỹ sư trực của chúng tôi, một lập trình viên trung cấp tài năng tên là Marcus, đã đẩy một “cải cách đơn giản” cách đó sáu giờ. Mã trông sạch sẽ, đã qua tất cả các bài kiểm tra, và đã được một phần tạo ra bởi một trợ lý lập trình AI. Vấn đề? AI đã đưa ra một điều kiện đua tinh tế trong lớp bộ nhớ cache Redis của chúng tôi mà chỉ xuất hiện dưới các mẫu tải cụ thể mà chúng tôi chưa thử nghiệm.
Vụ việc đó đã khiến chúng tôi mất 340,000 USD doanh thu, làm tổn hại danh tiếng của chúng tôi với ba khách hàng lớn, và khơi dậy một cuộc trò chuyện trên toàn công ty về mã được tạo ra bởi AI mà tôi vẫn đang tìm hiểu đến hôm nay. Nhưng điều khiến tôi ngạc nhiên nhất là: cấm các công cụ AI không phải là câu trả lời. Thực tế, một số cải tiến mã đáng tin cậy nhất của chúng tôi trong năm qua đến từ phát triển hỗ trợ AI. Sự khác biệt giữa mã AI hữu ích và mã AI gặp vấn đề không phải ở chính công nghệ—mà là ở việc hiểu khi nào và làm thế nào để sử dụng nó.
Bài viết này là nỗ lực của tôi để chia sẻ những gì tôi đã học được từ việc quản lý một nhóm 23 kỹ sư sử dụng công cụ lập trình AI hàng ngày, từ việc thực hiện phân tích sáu tháng về 1,847 cam kết hỗ trợ AI, và từ việc mắc nhiều sai lầm trên đường đi. Nếu bạn là một trưởng phòng kỹ thuật, kỹ sư cao cấp, hoặc quản lý kỹ thuật đang cố gắng tìm hiểu cách AI phù hợp vào quy trình phát triển của bạn, đây là cuộc trò chuyện mà tôi ước有人 đã nói với tôi hai năm trước.
Nơi mã AI thực sự tỏa sáng: Vị trí hoàn hảo
Để tôi bắt đầu với tin tốt, vì có rất nhiều điều này. Sau khi phân tích sản lượng của nhóm trong sáu tháng, tôi thấy rằng mã được tạo ra bởi AI đã giảm thời gian phát triển trung bình 23% cho những loại nhiệm vụ cụ thể. Nhưng con số đó không có nghĩa gì nếu không có bối cảnh. Thông tin quan trọng thực sự đến từ việc phân tích các nhiệm vụ nào được hưởng lợi nhiều nhất.
"Mã AI được tạo ra nguy hiểm nhất không phải là mã mà gãy ngay lập tức—mà là mã chạy hoàn hảo trong sáu tháng và sau đó thất bại thảm khốc dưới các điều kiện mà bạn chưa bao giờ thử nghiệm."
Các mẫu mã boilerplate và lặp lại là nơi mà các công cụ AI thực sự xuất sắc. Khi một trong những kỹ sư của tôi cần tạo 47 trình xử lý API endpoint tương tự với xử lý lỗi, xác thực đầu vào và mẫu ghi nhật ký nhất quán, việc tạo mã AI đã biến một nhiệm vụ hai ngày thành một nhiệm vụ bốn giờ. Điều quan trọng là chúng tôi đã có các mẫu thiết lập—AI về cơ bản đang áp dụng một mẫu mà chúng tôi đã xác nhận qua nhiều trường hợp tương tự khác.
Tôi đã thấy các thành công tương tự với các kịch bản di chuyển cơ sở dữ liệu, tạo tệp kiểm thử, và quản lý cấu hình. Quý trước, chúng tôi cần di chuyển 83 bảng cơ sở dữ liệu từ PostgreSQL sang một sơ đồ mới hỗ trợ đa thuê bao. Một công cụ AI đã tạo ra các kịch bản di chuyển ban đầu trong khoảng 30 phút. Vâng, chúng tôi đã tiêu tốn thêm sáu giờ để xem xét và điều chỉnh chúng, nhưng vẫn nhanh hơn rất nhiều so với ba tuần dự kiến để viết chúng một cách thủ công.
Chuyển đổi dữ liệu và mã phân tích là một vị trí tuyệt vời khác. Chúng tôi có một dự án yêu cầu phân tích 14 định dạng phản hồi API của bên thứ ba vào các mô hình dữ liệu nội bộ của chúng tôi. Công cụ AI đã tạo ra các trình phân tích mà xử lý các trường hợp ngoại lệ mà tôi thậm chí không nghĩ tới—giá trị null, chiều dài mảng bất ngờ, dấu thời gian bị lỗi. Trong số 14 trình phân tích, 11 đã hoạt động hoàn hảo ngay lần thử đầu tiên, và ba cái còn lại chỉ cần chỉnh sửa nhỏ.
Tài liệu và chú thích mã đã cải thiện đáng kể kể từ khi chúng tôi bắt đầu sử dụng công cụ AI. Tôi từng phải dành hàng giờ trong cuộc xem xét mã yêu cầu các kỹ sư thêm các chú thích tốt hơn hoặc cập nhật tài liệu lỗi thời. Bây giờ, các công cụ AI tạo ra tài liệu ban đầu với độ chính xác khoảng 80%, và kỹ sư dành thời gian của họ để hoàn thiện hơn là tạo ra từ đầu. Phạm vi tài liệu của chúng tôi đã tăng từ 34% lên 71% trong sáu tháng.
N nhưng đây là hiểu biết quan trọng: tất cả những thành công này có các đặc điểm chung. Chúng liên quan đến các mẫu đã hiểu rõ, có quy định rõ ràng, hoạt động trong các lĩnh vực có dữ liệu đào tạo phong phú, và quan trọng nhất, dễ xác minh và kiểm tra. Khi việc tạo mã AI hoạt động tốt, đó là vì không gian vấn đề đã được xác định rõ ràng và giải pháp có thể được xác minh khách quan.
Chi phí ẩn: Khi mã AI tạo ra nợ kỹ thuật
Giờ hãy nói về các vấn đề, vì chúng tinh vi và nguy hiểm hơn hầu hết mọi người nhận ra. Vụ việc 3 giờ sáng mà tôi đã đề cập? Nó không phải là một trường hợp cá biệt. Trong 18 tháng qua, tôi đã theo dõi 23 vấn đề sản xuất mà được gây ra trực tiếp hoặc gián tiếp bởi mã được tạo ra bởi AI. Tổng chi phí—bao gồm doanh thu bị mất, thời gian kỹ thuật, và bồi thường cho khách hàng—đã vượt quá 1.2 triệu USD.
| Trường hợp sử dụng | Hiệu quả AI | Mức độ rủi ro | Yêu cầu xem xét |
|---|---|---|---|
| Mã boilerplate & thiết lập | Cao (tiết kiệm thời gian 85-95%) | Thấp | Xem xét tiêu chuẩn, tập trung vào cấu hình |
| Tạo kiểm thử đơn vị | Trung bình-Cao (tăng cường phủ sóng 70%) | Thấp-Trung bình | Xác minh các trường hợp ngoại lệ và khẳng định |
| Mã tích hợp API | Trung bình (nhanh hơn 50-60%) | Trung bình | Xem xét cẩn thận về xử lý lỗi và xác thực |
| Logic kinh doanh phức tạp | Thấp-Trung bình (hỗ trợ 30%) | Cao | Xem xét sâu sắc, khuyến nghị lập trình đôi |
| Mã quan trọng về hiệu suất | Thấp (thường cần viết lại) | Rất cao | Kiểm tra hiệu năng, yêu cầu xem xét kỹ sư cao cấp |
Vấn đề ngầm ngầm nhất mà tôi gọi là "mã hợp lý nhưng sai". Các công cụ AI rất giỏi trong việc tạo ra mã trông có vẻ đúng, tuân thủ các hướng dẫn về phong cách, và thậm chí vượt qua các bài kiểm tra cơ bản. Nhưng chúng có thể giới thiệu các lỗi logic tinh tế chỉ xuất hiện dưới các điều kiện cụ thể. Trong một trường hợp, một middleware xác thực được tạo ra bởi AI trông hoàn hảo nhưng đã có một lỗ hổng về thời gian có thể bị khai thác để vượt qua giới hạn tần suất. Chúng tôi không phát hiện ra trong ba tuần vì nó cần một trình tự cụ thể của các yêu cầu để kích hoạt.
Tôi nhận thấy rằng mã được tạo ra bởi AI có xu hướng tối ưu hóa cho con đường vui vẻ trong khi bỏ qua các trường hợp ngoại lệ. Khi chúng tôi yêu cầu một công cụ AI tạo ra một trình xử lý tải tệp, nó đã tạo ra mã đẹp mà hoạt động hoàn hảo cho các tệp dưới 10MB. Nhưng nó không có xử lý thích hợp cho các gián đoạn kết nối, không dọn dẹp cho các tải thiếu, và không xác thực cho các loại tệp độc hại. Mã trông có vẻ sẵn sàng đưa vào sản xuất nhưng thực sự lại là một cơn ác mộng về bảo mật và độ tin cậy.
Một vấn đề lớn khác là sự mù mn về ngữ cảnh. Các công cụ AI không hiểu kiến trúc cụ thể của bạn, quy tắc của nhóm bạn, hoặc các ràng buộc kinh doanh của bạn. Tôi đã thấy mã được tạo ra bởi AI về lý thuyết hoạt động nhưng vi phạm các yêu cầu về cư trú của dữ liệu, bỏ qua các mẫu xử lý lỗi đã thiết lập của chúng tôi, hoặc sử dụng các API nội bộ đã bị loại bỏ. Trong một trường hợp đáng nhớ, một công cụ AI đã tạo ra một giải pháp bộ nhớ cache mà sẽ hoạt động tốt—trừ khi nó hoàn toàn bỏ qua thực tế rằng chúng tôi hoạt động trong một cấu hình đa vùng hoạt động-đang hoạt động mà việc làm không hợp lệ cache là quan trọng.
Gánh nặng bảo trì là có thật và thường bị đánh giá thấp. Mã được tạo ra bởi AI có xu hướng dài dòng và ít phong cách hơn so với mã được viết bởi các kỹ sư dày dạn kinh nghiệm hiểu rõ cơ sở mã. Tôi đã xem xét các hàm được tạo ra bởi AI có 200 dòng trong khi một kỹ sư dày dạn có thể đã viết 40 dòng sử dụng các thư viện tiện ích hiện có của chúng tôi. Sự dài dòng này khiến mã trở nên khó bảo trì hơn, khó gỡ lỗi hơn, và khó sửa đổi khi yêu cầu thay đổi.
Có lẽ đáng lo ngại nhất là vấn đề tự tin giả. Các kỹ sư trẻ, đặc biệt, có xu hướng tin tưởng quá nhiều vào mã được tạo ra bởi AI. Tôi đã phải có những cuộc trò chuyện khó khăn với các thành viên trong đội đã đẩy mã mà họ không hoàn toàn hiểu vì "AI tạo ra nó và các bài kiểm tra đã vượt qua." Điều này nguy hiểm vì nó chuyển trách nhiệm ra khỏi kỹ sư và tạo ra một văn hóa mà sự hiểu biết trở thành tùy chọn.
Vấn đề suy giảm kỹ năng mà không ai nói đến
Đây là điều khiến tôi thao thức vào ban đêm: Tôi đang thấy các kỹ sư trẻ trong đội mình mất đi các kỹ năng cơ bản vì họ đang phụ thuộc quá nhiều vào việc tạo mã AI. Điều này không phải là giả thuyết—tôi có dữ liệu để ủng hộ điều đó.
"Chúng tôi phát hiện ra rằng các công cụ AI đã giảm thời gian hoàn thành bản nháp đầu tiên của chúng tôi xuống 6