Cara memasang dan setting robot txt

Cara memasang dan setting robot txt itu mudah cukup dengan beberapa langkah saja



Dan sebelum memulai caranya ada baiknya anda cek blockquote berikut

The Robot Exclusion Standard, atau sering disebut sebagai Robots Exclusion Protocol atau robots.txt protokol adalah sebuah konvensi yang berguna untuk mencegah web crawler bekerja sama dengan web crawler lain untuk melihat semua bagian website