Perdebatan sengit sedang berlangsung di dunia teknologi setelah Cloudflare menuding mesin pencari berbasis AI, Perplexity, telah mengakses konten situs secara diam-diam meski sudah diblokir melalui pengaturan robots.txt. Tuduhan ini memicu reaksi keras, baik dari pihak yang mendukung maupun yang membela Perplexity.
Cloudflare, penyedia layanan keamanan situs dan perlindungan dari bot, melakukan eksperimen dengan membuat situs baru dan memblokir akses bagi bot milik Perplexity. Namun, Perplexity tetap dapat menjawab pertanyaan tentang isi situs tersebut. Menurut Cloudflare, Perplexity menggunakan peramban palsu yang menyamar sebagai Google Chrome untuk menghindari deteksi.
CEO Cloudflare, Matthew Prince, menyamakan perilaku tersebut dengan taktik peretas. Ia menulis di platform X bahwa beberapa perusahaan AI ternama “berperilaku seperti peretas Korea Utara” dan menyerukan agar mereka dipermalukan secara publik serta diblokir secara menyeluruh.
Namun banyak pihak tidak setuju. Di forum seperti Hacker News dan X, banyak yang menyatakan bahwa jika manusia bisa mengakses situs secara langsung, seharusnya agen AI yang bertindak atas nama manusia juga boleh mengaksesnya. “Jika saya sebagai manusia bisa membuka situs itu, kenapa AI yang mewakili saya tidak boleh?” ujar salah satu pengguna.
Perplexity awalnya membantah bahwa bot tersebut milik mereka, dan menyebut tulisan Cloudflare hanyalah upaya pemasaran. Namun kemudian mereka menerbitkan blog resmi yang menyalahkan layanan pihak ketiga atas insiden tersebut. Mereka juga menegaskan bahwa ada perbedaan penting antara crawling otomatis dan permintaan yang dipicu oleh pengguna.
Cloudflare menilai bahwa perusahaan AI seperti OpenAI masih menghormati aturan yang ada, termasuk file robots.txt, dan tidak berusaha menghindari pemblokiran. Mereka bahkan sudah mulai menggunakan standar keamanan baru bernama Web Bot Auth untuk mengidentifikasi agen AI secara sah.
Perdebatan ini terjadi di tengah lonjakan aktivitas bot di internet. Menurut laporan Imperva, lebih dari 50% trafik internet kini berasal dari AI, dengan 37% di antaranya tergolong bot berbahaya. Hal ini membuat situs-situs kecil kewalahan dan semakin ketat dalam memblokir bot.
Dengan makin banyaknya aktivitas yang dilakukan agen AI, dari memesan tiket hingga berbelanja, muncul pertanyaan baru: haruskah situs tetap memblokir agen AI yang bisa membawa pengunjung atau malah mempermudah transaksi?
Perdebatan ini menunjukkan bahwa industri teknologi belum menemukan kesepakatan tentang bagaimana seharusnya agen AI memperlakukan situs web, dan sebaliknya.