Cara Block Bot Search Engine Melalui Robots.txt

Rina S

Diubah pada: Thu, 10 Agu, 2023 pada 10:39 AM

Kali ini kami akan membahas tentang Cara Block Bot Search Engine Melalui Robots.txt. Ada beberapa kondisi, dimana bot dari Search engine yang menyebabkan website kita menjadi lambat atau bahkan hingga down. Hal tersebut seringkali disebabkan karena proses crawl yang dilakukan oleh search engine terlalu banyak, sehingga menyebabkan load pada CPU atau resource di hosting. Untuk hal tersebut, salah satu solusi yang bisa kita lakukan adalah melakukan block bot search engine sementara waktu.

Seperti yang kita ketahui bersama, agar situs website kita dapat ditemukan orang lain di mesin pencari, maka website kita harus terindex lebih dulu. Proses indexing dilakukan oleh bot atau crawler mesin pencari pada website kita, untuk mencari teks dan tautan yang diperbarui. Apabila ditemukan, mesin pencari akan memperbarui index pencarian mereka.

Beberapa kasus, bot/spider jahat terlalu banyak merayap situs website, sehingga menghabiskan resource hosting atau server.

Apa itu Robots.txt

Robots.txt adalah file teks biasa yang digunakan untuk berkomunikasi dengan perayap web. File tersebut terletak di direktori root sebuah situs.

Ini bekerja dengan memberi tahu bot pencarian bagian mana dari situs yang harus dan tidak boleh dipindai. Terserah robots.txt apakah bot diizinkan atau tidak untuk merayapi situs web.

Hal ini dapat diatasi dengan memblok atau menghentikan bot search engine dengan file robots.txt, agar tidak merayapi situs website.

User-agents mesin pencari

Aturan paling umum yang digunakan dalam file robots.txt didasarkan pada User-agents dari perayap mesin pencari.

Perayap mesin pencari menggunakan User-agents untuk mengidentifikasi diri mereka saat merayapi website. Berikut beberapa contoh:

Top 3 User-agents mesin pencari US.

Googlebot
Yahoo!
Slurp bingbot

User-agents paling umum diblok:

AhrefsBot
Baiduspider
Ezooms
MJ12bot
YandexBot

Mengizinkan mesin pencari merayapi website

Berikut cara mengatur file robots.txt dengan dua aturan sederhana.

# Aturan pertama User-agent: Googlebot Disallow: /nogooglebot/

# Aturan kedua User-agent: * Allow: /

Keterangan:

Aturan pertama, User-agents Googlebot (Google) bisa merayapi seluruh direktori, kecuali /nogooglebot/
Atura kedua, semua User-agents (*) bisa merayapi seluruh direktori. Karena diallow (Allow: /)
User-agents dapat Anda isi * (semua bot mesin pencari) atau diisi bot mesin pencari tertentu.

Block bot search engine merayapi website

User-agent: Googlebot
Disallow: /

User-agent: *
Disallow: /