The costs are both technical and financial. The Read the Docs project reported that blocking AI crawlers immediately decreased their traffic by 75 percent, going from 800GB per day to 200GB per day. This change saved the project approximately $1,500 per month in bandwidth costs, according to their blog post “AI crawlers need to be more respectful.”
Persis seperti yang saya rasain sebelumnya, AI Bot Scrapper itu beneran ganggu dan ya beneran bikin masalah finansial karena bandwidth jadi terbuang sia-sia.
Artikelnya panjang, berisi banyak curhatan developer dari berbagai vendor yang juga merasa jengah dengan “tata krama” Bot ini.
Thread di HackerNews juga sharing dengan hal yang sama https://news.ycombinator.com/item?id=43476337.
Saya sendiri menggunakan Cloudflare dan jadi sedikit lebih aman, dan ya saya juga menerapkan blocking by country karena sering banget kunjungan “tidak sopan” dari negara-negara berikut
Tapi mungkin harusnya diubah jadi whitelist kali ya, karena ya itu logika nya blog bahasa indonesia dan gak penting gini paling pengunjung nya ya warga indonesia sendiri.