Saya lagi ngecek log server, dan kaget banget karena ada banyak bot nge-hit server dan website ini, gak tanggung-tanggung, sepertinya itu jedanya cuma beberapa menit.

Screenshot diatas adalah hasil tangkapan layar setelah saya memblokir akses bot tersebut, dan tetep masih banyak, hanya saja berkurang durasinya, walaupun masih sebanyak itu.

Seperti yang dilihat bot tersebut adalah Bytespider bot, dari Bytedance, dan kalau familiar Bytedance adalah induk perusahaan TikTok, kenapa ‘mampir’ kesini? saya bahkan gak punya akun TikTok!

Hasil Googling sebentar, ketemu ini:

Bytespider is a web crawler operated by ByteDance, the Chinese owner of TikTok. It is alleged to be used to download training data for its LLMs, including those powering ChatGPT competitor Doubao.

Taking a Stand Against Bad Bots

Jadi pada dasarnya memang bot dari TikTok yang scanning website dan blog untuk keperluan trainining data untuk “ChatGPT” mereka, damn.

Seperti saya bilang, saya bahkan gak punya akun TikTok, jadi sistem scan nya mereka ini gimana, apa random website di scan juga? parah banget. Mana hit nya banyak pula, jadi server dan webapp mu bakal kerasa banget, malah saya curiga kenaikan biaya server saya belakangan gara-gara ini? gara-gara serving page untuk bot ini!.

Tapi “untungnya”, IP mereka kurang lebih di region 47.128.x.x, so dengan rule UFW sederhana seperti ini cukup untuk nge-block akses mereka.

ufw deny from 47.128.0.0/16

Saya juga sudah kirim email ke email yang ada di bot mereka, ya tentu saja tidak dihiraukan dan proses scan tetap berlangsung setelah sekian hari.

Parah banget.

Saya paste sebagian log disini supaya bisa di scan dan tampil di halaman Google supaya siapa tau ada juga yang mendapatkan bot ini.

47.128.44.42 - - [09/Sep/2024:11:38:24 +0800] "GET /page/35/?query-32-page=17&query-53-page=10&query-56-page=16 HTTP/1.1" 403 2994 "-" "Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com)"
47.128.120.179 - - [09/Sep/2024:11:42:34 +0800] "GET /page/15/?query-32-page=13&query-53-page=1&query-56-page=25 HTTP/1.1" 403 2993 "-" "Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com)"
47.128.125.219 - - [09/Sep/2024:11:46:44 +0800] "GET /page/24/?query-32-page=11&query-53-page=10&query-56-page=26 HTTP/1.1" 403 2993 "-" "Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com)"
47.128.99.172 - - [09/Sep/2024:11:50:54 +0800] "GET /page/19/?query-32-page=9&query-56-page=28 HTTP/1.1" 403 2994 "-" "Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com)"
47.128.35.198 - - [09/Sep/2024:11:55:04 +0800] "GET /page/31/?query-32-page=1&query-53-page=14&query-56-page=21 HTTP/1.1" 403 2992 "-" "Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com)"
47.128.39.238 - - [09/Sep/2024:11:59:14 +0800] "GET /page/31/?query-32-page=11&query-53-page=13&query-56-page=13 HTTP/1.1" 403 2993 "-" "Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com)"
47.128.39.201 - - [09/Sep/2024:12:03:24 +0800] "GET /page/33/?query-32-page=4&query-53-page=11 HTTP/1.1" 403 2994 "-" "Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com)"
47.128.49.237 - - [09/Sep/2024:12:07:34 +0800] "GET /page/10/?query-32-page=11&query-53-page=5&query-56-page=10 HTTP/1.1" 403 2993 "-" "Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com)"
47.128.99.151 - - [09/Sep/2024:12:11:44 +0800] "GET /page/30/?query-53-page=7&query-56-page=20 HTTP/1.1" 403 2994 "-" "Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com)"
47.128.33.13 - - [09/Sep/2024:12:15:54 +0800] "GET /page/31/?query-32-page=11&query-53-page=13&query-56-page=14 HTTP/1.1" 403 2994 "-" "Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com)"
47.128.111.59 - - [09/Sep/2024:12:20:04 +0800] "GET /page/10/?query-32-page=17&query-53-page=3&query-56-page=9 HTTP/1.1" 403 2994 "-" "Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com)"