Robots.txt Generator

Gambar
Oleh Bungfrangki

Apa itu Robots.txt Generator?

Robots.txt generator adalah tool gratis yang dapat digunakan untuk mempermudah dalam membuat konfigurasi pada file robots.txt di blog atau website.

Robots.txt generator dari Blog bungfrangki telah dilengkapi segala perintah yang penting dan dapat dikonfigurasi seperlunya untuk membuat file robots.txt, seperti mengatur user-agent, memasukkan path atau link sitemap, menentukan izin akses (allow atau disallow) pada tiap-tiap crawler / mesin pencarian, hingga mengatur crawl-delay dan lain sebagainya.

Cara Menggunakan Robots.txt Generator

Adapun cara membuat file robots.txt menggunakan tool Robots.txt Generator ini adalah sebagai berikut:
  • Buka Halaman Robots.txt Generator
  • Pilih Izin Akses Untuk Robot Default
  • Atur Penundaan Crawl (Crawl Delay)
  • Masukkan Sitemap (Jika Ada)
  • Tambahkan Directive Dalam Robots.txt
  • Atur Izin Akses
  • Pilih User-Agent
  • Masukkan Direktori / Path File
  • Klik Create Robots.txt
  • Salin atatu copy kode Robots.txt dengan klik tombol Copy to Clipboard
  • Paste ke file robots.txt untuk website Anda

Tool Robots.txt Generator

Robots.txt Generator

Default - All Robots are: 
    
Crawl-Delay:
    
Sitemap: (leave blank if you don't have) 
   
Search Robots:Google
 Google Image
 Google Mobile
 MSN Search
 Yahoo
 Yahoo MM
 Yahoo Blogs
 Ask/Teoma
 GigaBlast
 DMOZ Checker
 Nutch
 Alexa/Wayback
 Baidu
 Naver
 MSN PicSearch
  
Restricted Directories:The path is relative to root and must contain a trailing slash "/"
 
 
 
 
 
 
  
Allow:The path is relative to root and must contain a trailing slash "/"
 
 
 
 
 
 
  



Now, Create 'robots.txt' file at your root directory. Copy above text and paste into the text file.

Posting Komentar