Judul : Setting Robot.txt Custome di Blogspot
link : Setting Robot.txt Custome di Blogspot
Setting Robot.txt Custome di Blogspot
Setting Robots.txt Custome di Blogspot - Bagi Blogger istilah robots.txt mungkin sudah tidak asing lagi. Yang sering menjadi pertanyaan adalah apa sih perlunya setting robots.txt? Apa fungsinya? Apa pengaruhnya untuk SEO? dan masih banyak lagi pertanyaan lainnya.
Beberapa uraian berikut ini mungkin bisa memberikan jawaban berbagai pertanyaan tersebut.
Beberapa uraian berikut ini mungkin bisa memberikan jawaban berbagai pertanyaan tersebut.
Pengertian Robots.txt
Robots.txt merupakan sebuah file text yang mengandung beberapa baris kode sederhana. Ini biasanya disimpan di dalam server website atau blog yang menginstruksikan bagaimana sebuah web crawler mengindex dan melakukan crawl blog anda dalam hasil pencarian. Artinya anda bisa membatasi halaman apapun di blog anda sehingga halaman yang dibatasi tersebut tidak terindex di search engines seperti misalnya halaman label blog Anda, halaman demo blog anda atau halaman manapun yang menurut anda tidak penting untuk dimasukkan ke index.
Setiap blog yang di host di blogger sudah memiliki file robots.txt default yang umumnya memiliki kode seperti berikut:
User-agent: Mediapartners-GoogleDisallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://namablog.blogspot/feeds/posts/default?orderby=UPDATED
Penjelasannya :
Kode tersebut dibagi menjadi 3 bagian.
User-agent: Mediapartners-Google
Kode tersebut adalah untuk robot Google Adsense yang membantu mereka untuk merayapi iklan dengan lebih baikdi blog anda. Meskipun di Blog Anda tidak terpasang Google Adsense, tetap bisa dipasang seperti adanya.
User-agent: *
Ini adalah untuk semua robots yang ditandai dengan lambang asterisk (*). dalam setting defaultnya link label blog dibatasi untuk diindex oleh search crawler yang berarti bahwa web crawlers tidak akan mengindex link halaman label karena adanya kode berikut.
Disallow: /search
Artinya setiap link yang memiliki keyword search sesudah nama domain akan diabaikan dari crawling. Contohnya adalah link dari label halaman yang dinamai named Tukang.
http://namablog.blogspot.com/search/label/Tukang
Jika Disallow: /search dibuang dari kode diatas, maka mesin crawler akan mengakses keseluruhan blog untuk melakukan index dan crawl semua konten dan halaman blog tersebut.
Nah, disini kode Allow: / mengacu pada Homepage yang artinya web crawler bisa melakukan crawl dan index homepage blog.
Memberikan kode Disallow Posting tertentu
Nah, jika kita ingin mengeluarkan posting tertentu dari pengindeksan, maka bisa menambahkan beberapa baris kode berikut.
Disallow: /yyyy/mm/post-url.html
Penjelasannya :
yyyy dan mm mengacu pada publikasi tahun dan bulan dari posting yang dibuat. Misalnya jika ingin mengeluarkan posting yang dipublikasi pada tahun 2014 di bulan November dengan permalink post-url, kita harus menuliskan format kodenya seperti berikut.
yyyy dan mm mengacu pada publikasi tahun dan bulan dari posting yang dibuat. Misalnya jika ingin mengeluarkan posting yang dipublikasi pada tahun 2014 di bulan November dengan permalink post-url, kita harus menuliskan format kodenya seperti berikut.
Disallow: /2014/11/post-url.html
Memberikan kode Disallow untuk Page (laman statis) Tertentu
Jika kita membutuhkan melakukan disallow sebuah Laman Statis tertentu metode yang digunakan hampir sama seperti di atas. Secara sederhana anda bisa mengcopy semua link url laman statis, lalu tinggal hapus subdomain/domain awalnya, sehingga penampakannya akan seperti di bawah ini kodenya:
Disallow: /p/page-url.html
Menambahkan Sitemap di Robot.txt
Kode sitemap dari Robot.txt di atas adalah sitemap dari blog kita. Dengan menambahkan link sitemap, kita bisa mengoptimalkan tingkat crawling blog kita. Maksudnya adalah, saat web crawler melakukan pemindaian file robots.txt maka mereka akan menemunkan sebuah jalur ke sitemap tersebut dimana terdapat semua link dari publikasi posting yang ada. Web crawler akan bisa dengan mudah menemukan posting kita. Dengan kata lain, sitemap membantu mempercepat akses crawling ke blog kita.Sitemap: http://namablog.blogspot/feeds/posts/default?orderby=UPDATED
Sebagai catatan: sitemap default di atas hanya akan memberitahu web crawlers sekitar 25 posting terakhir. Jika anda menginginkan meningkatkan jumlah link di sitemap, anda bisa merubah kode sitemap default di atas dengan yang berikut ini.
Jika menginginkan sampai dengan 500 posting terbaru kodenya seperti berikut :
Jika menginginkan sampai dengan 500 posting terbaru kodenya seperti berikut :
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Jika Blog anda ternyata memiliki jumlah posting lebih dari 500 posting yang terublikasi, anda bisa menggunakan dua sitemapseperti berikut ini:
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000
Cara Menambahkan Custom Robots.Txt ke Blogspot
Berikutnya adalah menambahkan baris kode Ribit .txt tersebut ke Blogspot anda.
Menuju ke opsi setelan berikut.
Settings >> Search Preferences ›› Crawlers and indexing ›› Custom robots.txt ›› Edit ›› Yes
kemudian Paste paste file robots.txt yang sudah anda buat tadi.
Klik Tombol Save Changes.
Cara mengecek File Robots.txt apakah sudah terpasang
Cukup mudah untuk memeriksa apakah file robot.txt yang baru anda pasang sudah benar-benar terpasang di blog anda cukup mengetikkan url berikut di address bar browser anda.
http://www.namablogcom/robots.txt
Seharusnya serangkaian kode Robot.txt yang sudah anda buat sebelumnya akan muncul di halaman browser anda, jika anda melakukan langkah setting robot.txt tersebut dengan benar.
Dengan melakukan setting penambahan robot.txt di blogspot yang benar, tentu lebih bisa memudahkan blog anda terindeks dengan cepat, benar alias tanpa kesalahan di Google Search engine. Karena Blog sudah melakukan filter terlebih dahulu terhadap web crawler.
Dengan melakukan setting penambahan robot.txt di blogspot yang benar, tentu lebih bisa memudahkan blog anda terindeks dengan cepat, benar alias tanpa kesalahan di Google Search engine. Karena Blog sudah melakukan filter terlebih dahulu terhadap web crawler.
Demikianlah Artikel Setting Robot.txt Custome di Blogspot
Sekianlah artikel Setting Robot.txt Custome di Blogspot kali ini, mudah-mudahan bisa memberi manfaat untuk anda semua. baiklah, sampai jumpa di postingan artikel lainnya.
Anda sekarang membaca artikel Setting Robot.txt Custome di Blogspot dengan alamat link https://tipstopmarketing.blogspot.com/2014/11/setting-robottxt-custome-di-blogspot.html
0 Response to "Setting Robot.txt Custome di Blogspot"
Post a Comment