Debugging Strategies: A Systematic Approach to Finding Bugs — cod-ai.com

Bug Senilai $312 Juta yang Mengubah Cara Saya Debug Selamanya

Saya masih ingat momen tepat ketika saya menyadari bahwa seluruh pendekatan saya terhadap debugging secara fundamental rusak. Saat itu pukul 2:47 dini hari pada hari Selasa di tahun 2011, dan saya sedang duduk di ruang perang di sebuah perusahaan layanan keuangan besar tempat saya bekerja sebagai insinyur perangkat lunak senior. Kami baru saja menemukan sebuah bug di platform perdagangan kami yang telah secara diam-diam menghitung konversi mata uang selama tiga minggu. Estimasi kerugian? $312 juta.

Bagian terburuk bukanlah uang—meskipun itu sudah cukup buruk. Itu adalah kesadaran bahwa saya telah melihat file yang tepat berisi bug tersebut empat kali selama penyelidikan saya. Empat kali. Saya telah menggulir melewatinya, yakin bahwa masalah tersebut pasti ada di tempat yang lebih kompleks, lebih menarik, lebih pantas untuk keahlian saya. Saya mencari cacat algoritmik yang rumit padahal masalah sebenarnya hanyalah kesalahan sederhana satu angka dalam perhitungan tanggal.

Malam itu secara fundamental mengubah cara saya mendekati debugging. Selama 18 tahun terakhir sebagai insinyur perangkat lunak—12 di antaranya dihabiskan khusus untuk debugging sistem terdistribusi yang kompleks—saya telah mengembangkan metodologi sistematis yang membantu saya menemukan bug 73% lebih cepat dibandingkan pendekatan ad-hoc saya sebelumnya. Yang lebih penting, sistem ini telah membantu saya menghindari jebakan yang saya jatuh ke dalamnya malam itu: asumsi bahwa bug harus sekompleks sistem yang mereka huni.

Saat ini, saya memimpin tim yang terdiri dari 15 insinyur di sebuah perusahaan infrastruktur cloud, dan saya telah melatih lebih dari 200 pengembang dalam pendekatan debugging sistematis. Apa yang saya pelajari adalah bahwa debugging bukan tentang menjadi pintar—ini tentang menjadi metodis. Ini bukan tentang intuisi—ini tentang bukti. Dan ini pasti bukan tentang berapa lama Anda bisa terjaga menatap kode.

Mengapa Kebanyakan Pengembang Debug Secara Mundur

Sebelum kita terjun ke pendekatan sistematis, kita perlu memahami mengapa debugging begitu sulit sejak awal. Dalam pengalaman saya melatih pengembang, saya telah mengidentifikasi tiga kesalahan mendasar yang menyumbang sekitar 80% dari waktu debugging yang terbuang.

"Bug yang paling mahal bukanlah bug yang membuat sistem Anda crash—mereka adalah yang berjalan diam-diam selama berminggu-minggu, menghasilkan hasil yang sedikit salah yang terakumulasi seiring waktu."

Kesalahan pertama adalah apa yang saya sebut "debugging solusi pertama." Ini adalah ketika Anda membentuk hipotesis tentang apa yang salah sebelum Anda mengumpulkan bukti yang cukup. Otak Anda terpaku pada sebuah teori—mungkin berdasarkan bug serupa yang pernah Anda lihat sebelumnya—dan kemudian Anda menghabiskan berjam-jam mencoba membuktikan bahwa teori itu benar. Saya telah melihat pengembang menghabiskan satu hari penuh menyelidiki masalah pengumpulan koneksi basis data karena mereka pernah melihat gejala serupa, hanya untuk menemukan bahwa masalah sebenarnya adalah penyeimbang beban yang terkonfigurasi salah.

Kesalahan kedua adalah "debugging jalan acak." Ini adalah pendekatan di mana Anda membuat perubahan secara semi-acak, berharap sesuatu akan berhasil. Anda mengomentari satu baris di sini, menambahkan pernyataan log di sana, memulai ulang layanan, dan melihat apa yang terjadi. Dalam sebuah studi yang saya lakukan dengan tim saya tahun lalu, kami menemukan bahwa pengembang yang menggunakan pendekatan ini membutuhkan waktu rata-rata 4,7 jam untuk menyelesaikan bug yang dapat dipecahkan oleh debugger sistematis dalam 1,3 jam. Itu adalah perbedaan efisiensi sebesar 262%.

Kesalahan ketiga adalah apa yang saya sebut "debugging ego"—penolakan untuk memulai dengan penjelasan sederhana karena mereka terlihat di bawah tingkat keterampilan Anda. Ini adalah kesalahan saya dengan bug senilai $312 juta tersebut. Saya begitu yakin bahwa saya berurusan dengan masalah yang rumit sehingga saya mengabaikan yang jelas. Saya telah melihat insinyur senior menghabiskan berhari-hari menyelidiki kondisi balapan dalam kode multi-threaded ketika masalah sebenarnya adalah kesalahan ketik dalam variabel lingkungan.

Kesalahan-kesalahan ini memiliki satu akar penyebab yang sama: semuanya adalah respons emosional daripada proses logis. Debugging solusi pertama berasal dari keinginan untuk dianggap tahu. Debugging jalan acak berasal dari frustrasi dan ketidak sabaran. Debugging ego berasal dari kebanggaan. Pendekatan sistematis yang akan saya bagikan menghilangkan emosi dari persamaan sama sekali.

Dasar: Membangun Toolkit Debugging Anda

Sebelum Anda dapat melakukan debugging secara sistematis, Anda memerlukan alat yang tepat. Saya tidak berbicara tentang perangkat lunak debugging yang fancy—meskipun itu membantu. Saya berbicara tentang infrastruktur mental dan praktis yang membuat debugging sistematis menjadi mungkin.

Pertama, Anda memerlukan cara yang andal untuk mereproduksi bug. Ini terdengar jelas, tetapi berdasarkan pengalaman saya, sekitar 40% dari waktu debugging terbuang karena pengembang tidak memiliki kasus reproduksi yang konsisten. Jika Anda tidak dapat mereproduksi bug dengan andal, Anda tidak dapat melakukan debugging secara sistematis. Titik. Saya pernah menghabiskan tiga hari melacak apa yang saya kira adalah masalah konsistensi kompleks, hanya untuk menemukan bahwa saya menguji dengan kumpulan data yang berbeda setiap kali, yang membuat bug itu muncul secara intermittently.

Kasus reproduksi Anda harus sesederhana mungkin. Jika bug terjadi dalam alur kerja pengguna yang kompleks yang melibatkan 15 langkah, tugas pertama Anda adalah mengurangi itu ke urutan terkecil yang masih memicu masalah. Saya menggunakan apa yang saya sebut "pendekatan pencarian biner" untuk reproduksi: saya menghapus setengah langkah, melakukan pengujian, dan ulangi. Menggunakan metode ini, saya telah mengurangi kasus reproduksi 23 langkah menjadi hanya 3 langkah, yang membuat proses debugging yang sebenarnya 10 kali lebih cepat.

Kedua, Anda memerlukan infrastruktur logging yang tepat. Saya tidak berbicara tentang menaburkan pernyataan cetak di seluruh kode Anda—saya berbicara tentang logging terstruktur dan terlevel yang dapat Anda filter dan cari dengan efisien. Dalam peran saya saat ini, kami menggunakan sistem logging terpusat yang memungkinkan saya untuk melacak satu permintaan di 47 layanan mikro yang berbeda. Infrastruktur ini telah mengurangi rata-rata waktu penyelesaian kami untuk bug produksi dari 6,2 jam menjadi 1,8 jam.

Ketiga, Anda memerlukan jurnal hipotesis. Ini adalah dokumen di mana Anda mencatat setiap hipotesis yang Anda bentuk, bukti yang mendukung atau menolaknya, dan pengujian yang Anda lakukan. Saya menggunakan file teks sederhana dengan cap waktu. Praktik ini memiliki dua manfaat: mencegah Anda menguji hipotesis yang sama dua kali (yang telah saya lihat dilakukan pengembang lebih dari yang bisa saya hitung), dan menciptakan catatan.