Walaupun teknologi AI makin canggih dan sudah banyak dipakai dalam pengembangan software, bukan berarti para coder bisa duduk santai dan menyerahkan semuanya ke mesin. Penelitian terbaru dari Microsoft Research menunjukkan bahwa kemampuan AI dalam debugging—bagian paling melelahkan dari kerjaan programmer—masih jauh dari kata cukup.
Microsoft mengembangkan sebuah alat bernama debug-gym, yang bisa digunakan oleh model AI untuk mengakses tool debugging seperti breakpoint, navigasi kode, cetak nilai variabel, dan lain-lain. Alat ini bertujuan untuk menguji dan meningkatkan kemampuan AI dalam memperbaiki kode yang error.
Hasilnya? AI memang jadi sedikit lebih pintar saat pakai alat tersebut, tapi tetap belum bisa menandingi kemampuan manusia. Bahkan dalam skenario terbaik, tingkat keberhasilan AI hanya sekitar 48,4 persen. Artinya, lebih dari separuh error masih belum bisa dipecahkan oleh AI.
Masalah utamanya, menurut tim Microsoft, adalah kurangnya data pelatihan yang menggambarkan proses berpikir dan pengambilan keputusan berurutan seperti saat debugging berlangsung. Jadi, meskipun AI terlihat pintar, nyatanya masih belum bisa meniru cara kerja otak manusia ketika menghadapi bug yang rumit.
Ke depan, Microsoft berencana untuk membuat model AI yang khusus dirancang untuk mencari informasi penting dalam menyelesaikan bug. Mereka juga mempertimbangkan untuk membuat model kecil yang bisa membantu model besar agar prosesnya lebih efisien.
Jadi, meskipun AI sudah bisa bantu-bantu nulis kode atau kasih saran, untuk urusan memperbaiki bug, peran developer manusia masih sangat penting. AI saat ini lebih cocok sebagai asisten, bukan pengganti.