Berikut ini contoh tentang cara menggunakan robots.txt  login ke blogspot —>akunku–>webmaster tools –> site configuration—>Crawler access, edit texbox nya dari robot.txt. Berikut beberapa fungsi or pengaturan robot.txt

1. Contoh robot.txt yang mengijinkan penelusuran seluruh file di server kita oleh seluruh bot/ kode yang di miliki search enggine untuk mencari data.

User-agent: *
Disallow:/cgi-bin/
Disallow: /tmp/Disallow: /~joe/

2. Contoh robot.txt mengijinkan diakses oleh BadBot saja.

User-agent: BadBot
Disallow: /

3. Contoh robot.txt mengijinkan diakses oleh Bot yang dimiliki google.

User-agent: Google
Disallow:

User-agent: *
Disallow: /

4. Contoh robot.txt tidak mengijinkan diakses seluruh filenya oleh Bot.

User-agent: *
Disallow: /~joe/stuff/

5. Contoh robot.txt tidak mengijinkan diakses pada file tertentu oleh Bot.

User-agent: *
Disallow: /~joe/junk.html
Disallow: /~joe/foo.html
Disallow: /~joe/bar.html

Setelah kita mengetahui cara menggunakan robots.txt kita atur file apa saja dan bot apa saja yang bisa mengakses file kita. kemudian simpan file tersebut dengan nama robot.txt, kemudian letakkan file tersebut di , contoh “http://www.example.com/robots.txt”.

sekarang kita belajar mengartikan kode-kode tersebut

– User-agent: * >>>>>>tanda ( * ) artinya mengijinkan seluruh bot
– User-agent: BadBot >>>>> artinya hanya bot yang bernama BadBot yang boleh mengakses
– Disallow: / >>>>>>>>> artinya mengijinkan seluruh file kita dibaca oleh bot
– Disallow: /~joe/junk.html >>>>> artinya tidak memperbolehkan bot mengakses file ~joe/junk.html

Nah dari situ kita bisa mengatur file apa saja yang boleh diakses dan di index search engine.

Iklan

4 responses »

  1. drumbandjogja berkata:

    kalo di setting robot txt langsung di setelan dasar pie gan..???
    please yo …..thx’ s ATHAYA GROUP

  2. Sounds-V berkata:

    Makasih banyak tutorialnya yah gan 🙂 sukses terus

Tinggalkan Balasan

Isikan data di bawah atau klik salah satu ikon untuk log in:

Logo WordPress.com

You are commenting using your WordPress.com account. Logout / Ubah )

Gambar Twitter

You are commenting using your Twitter account. Logout / Ubah )

Foto Facebook

You are commenting using your Facebook account. Logout / Ubah )

Foto Google+

You are commenting using your Google+ account. Logout / Ubah )

Connecting to %s