Sambungan dari postingan sebelumnya, jadi berhubung sekarang blognya pakai layanan managed WordPress, saya gak bisa setting firewall sendiri dan berbagai customization di log dan security. Saya jadi iseng nyobain Cloudflare, saya belum pernah pakai sebelumnya selain cuma untuk DNS Manager.

Cloudflare ini bahasa gampangnya sistem yang ada di antara pengunjung dan server website ini. Jadi kalau ada pengunjung website, maka dia akan melalui sistem Cloudflare dulu, baru diarahkan ke server website. Dengan begitu, kita bisa melakukan filter lebih dulu di Cloudflare bahkan sebelum pengunjung sampai ketemu server kita.

Goal utama saya adalah melakukan filter bot, karena seperti saya sebut sebelumnya, itu 1 bot aja berpengaruh pada 30% biaya server saya!

Settingannya juga gak ribet-ribet, karena saya juga gak sempat eksperimen lebih jauh, waktunya lagi gak tepat.

Setelah melakukan registrasi dan koneksi ke Cloudflare, yang saya lakukan pertama adalah ke bagian security > bots, ya tadi, ini adalah goal utama nya. Semua opsi saya enable-in.

Tapi saya bisa bilang kedua fitur ini gak cukup, Bot bytedance itu kena filter sih, tapi saya ketemu bot lain yang juga terkait AI data training masih lolos dari filter, so saya menambahkan filter lain.

Filter lain yang saya gunakan adalah WAF, saya tambahkan filter seperti ini:

(http.user_agent contains "Mobile Safari/537.36 (compatible; Bytespider; [email protected])") 

or (http.user_agent contains "Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)") 

or (http.user_agent contains "Mozilla/5.0 (compatible; DotBot/1.2; +https://opensiteexplorer.org/dotbot; [email protected])") 

or (http.user_agent contains "Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)") 

or (http.user_agent contains "meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)") 

or (http.user_agent contains "Mozilla/5.0 (compatible; YaK/1.0; http://linkfluence.com/; [email protected])")

Pada dasarnya adalah melakukan filter terhadap bot lain yang saya gak suka tapi tetep lolos dari filter default bot Cloudflare tadi, ada “meta-externalagent” yang mana merupakan bot untuk training data AI dari Facebook.

Selebihnya saya juga tambahkan ahrefs, semrush, dan bot lain yang saya gak tau sih itu bot ngapain, gak ada keterangan jelas mereka melakukan apa, tapi saya gak suka aja karena sering banget scrapping website ini.

Selain 2 filter itu, saya juga ada 1 filter yang saya buat, ini agak usil sih, filter berdasarkan negara!

Ya jadi untuk negara-negara tersebut, mereka gak bisa buka website saya, karena ya mereka gak bakal bisa juga baca konten bahasa indonesia, jadi sekalian gak usah aja.

Uniknya, awalnya saya hanya blokir Singapore, dan dalam waktu 2 jam sudah banyak aja bot yang kena filter, termasuk juga serangan hacker yang sedang bruteforce juga langsung stop. Hal itu menginspirasi saya untuk menambahkan negara lain dalam list block list itu, dan bener saja, India dan China juga banyak.

Dengan ketiga filter itu, tiap hari nya sudah ada banyak akses yang kena block di Cloudflare, dan seperti saya bilang akses tersebut stop di Cloudflare, jadi gak nge-hit server saya, kalau saya masih pakai VPS biasa yang bandwidth nya kena hitung, bisa-bisa habis cuma buat ngelayanin akses gak guna dan cenderung bahaya ini.

Sekarang kan Managed WordPress, kenapa mesti kuatir dengan bot dan bandwidth, kan gak ada biaya bandwidth atau transfer?

Ya bener, harusnya sih biarin aja juga gak ada masalah, server nya sudah managed, jadi gak ada tanggungan untuk menjaga bandwidth.

Tapi saya juga gak suka sama bot AI, yang main scrapping data buat bahan training data mereka. Lalu ya itu tadi, sekalian ngeblock percobaan bruteforce hacker-hacker. Oleh karena itu saya tetap masih monitoring log secara berkala untuk melihat apakah filternya perlu diupdate atau tidak.