05 Oktober 2013

Robots.txt Dalam SEO Wordpress

Salah satu optimasi SEO Wordpress, robots.txt berbeda setiap blog. Agan perlu merancang file Robots.txt untuk fokus pada pada SEO, keamanan dan server dari situs Anda. Di kesempatan ini saya coba menjelaskan bagaimana file robots.txt bekerja dan bagaimana membuat file robots.txt sesuai kebutuhan blog agan. Umumnya, mesin pencari di rancang mengindeks informasi sebanyak yang mereka bisa, dan file Robots.txt membatasi akses crawler search engines ke blog agan.

Robots.txt adalah cara untuk memberitahui search engine halaman mana yg diperbolehkan dijelajahi, untuk "dilihat", dan halaman yang tidak bisa "dilihat"

Sekarang agan mungkin nanya kenapa agan ingin membatasi crawler search engines mengindeks situs agan blak2an? Temen2 saya bilang, makin banyak/sering crawler search engine menjelajah dan mengindex blog agan, akan meningkatkan rangking SERP blog agan. Sepengetahuan saya itu tidak sepenuhnya benar.  Berikut beberapa alasan mengapa agan ingin membatasi crawler search engines menjelajahi blog agan.

3 Alasan Blog Anda Memerlukan File Robots.txt Dalam SEO Wordpress


SEO, Search Engine Optimization


Blog agan tidak mendapatkan ranking yang lebih baik dengan membiarkan crawler bot search engines menjelajah dan mengindex semua halaman blog agan. Membiarkan crawler bot search engines untuk mengindek apa aja dan segala sesuatu di blog agan, benar-benar dapat membahayakan peringkat SEO Wordpress blog agan. Misalnya masalah duplikat konten di blog WordPress. WordPress dirancang untuk menemukan konten melalui beberapa jalur, seperti dari Kategori, Tag, Arsip berdasarkan tanggal, arsip penulis atau dari fitur pencarian di blog agan.

Keamanan

Ada beberapa alasan keamanan juga untuk membatasi crawler bot search engines mengakses setiap sudut blog agan. Mungkin ada beberapa tempat di situs blog agan menyimpan data pribadi dan rahasia yang tidak diinginkan di halaman hasil mesin pencari. Gampangnya, ada 2 jenis robot -robot baik dan robot jahat- Jika agan memberikan akses tak terbatas blog agan, maka tidak hanya search engine tetapi juga berbagai crawler bot buruk akan dapat kesempatan untuk mengakses dan mencuri informasi rahasia dari blog agan.

Performance Server


Dengan memberikan akses tidak terbatas ke blog agan, bisa menghabiskan bandwidth besar dan dapat memperlambat blog agan untuk pengunjung yang sebenarnya. Padahal ada beberapa halaman blog agan tidak perlu di indeks sama sekali. Agan mungkin bilang bahwa hosting agan "unlimited bandwidth", tetapi secara teknis, tidak ada yang disebut "unlimited", segala sesuatu pasti punya batasan. bukan hanya membuang-buang bandwidth agan dan memperlambat seluruh blog agan, tapi juga bikin overload server CPU. Ada banyak kasus, di mana pemilik blog di suspend oleh hosting hanya karena masalah ini.


Fungsi Perintah Robots.txt


Anggap saja agan pengen "saya mau blog saya terlihat oleh sapa saja, termasuk crawler search engines (Google, Bing)". maka robots.txt agan akan terlihat seperti ini

User-agent: *
 Disallow:
 Sitemap: http://adamonline.web.id/sitemap.xml.gz

Atau agan pengen "saya mau block crawler search engines, tapi perbolehkan pengunjung normal" maka robots.txt agan akan terlihat seperti ini :

User-agent: *
 Disallow : /
 Sitemap: http://adamonline.web.id/sitemap.xml.gz


Blocking Directory Standar Wordpress



Setiap instalasi worpress terdapat 3 folder standar, wp-content, wp-admin, wp-includes. Agan tidak ingin meng-index file inti WordPress dari blog agan yang mungkin berisi banyak data sensitif.
User-Agent: *
 Allow: /
 Disallow: /wp-admin/
 Disallow: /wp-includes/
 Disallow: /wp-content/plugins/
 Disallow: /wp-content/cache/
 Disallow: /wp-content/themes/
 Sitemap: http://adamonline.web.id/sitemap.xml.gz


Blocking Dari Struktur Blog Agan

Blocking /feed/ is a bad idea because an RSS feed is actually a valid sitemap for Google, by Joost de Valk

Ini adalah hal lain yang dapat menyebabkan masalah duplikat konten untuk blog agan, dan mempengaruhi SEO Worpress agan. Agan dapat memblokir crawler search engines dari struktur Kategori, Tag, Arsip berdasarkan tanggal, arsip penulis atau dari fitur pencarian di blog agan. Struktur blog mungkin berbeda-beda, jadi sesuaikan dengan struktur permalinks blog agan.  Isi file robots.txt akan sperti ini :

User-Agent: *
 Allow: /
 Disallow: /search/
 Disallow: /trackback/
 Disallow: /tag/
 Disallow: /comments/
 Disallow: /category/*/*
 Disallow: */trackback/
 Disallow: */comments/
 Disallow: /*?
 Sitemap: http://adamonline.web.id/sitemap.xml.gz


Hanya Memilih User Agents Lebih Spesifik di Robots.txt


Anda kadang-kadang mungkin hanya ingin beberapa crawler bot khusus untuk menjelajah dan mengindeks blog agan. Contoh hanya crawler user agent untuk Google Adsense, Googlebot Image, dan Twitter Bot. Isi file robots.txt akan sperti ini :

# Google Image
 User-agent: Googlebot-Image
 Disallow:
 Allow: /*
# Google AdSense
 User-agent: Mediapartners-Google
 Disallow:
# Twitter bot
 User-agent: Twitterbot
 Disallow:
# Global
 User-agent: *
 Allow: /wp-content/uploads/
Sitemap: http://adamonline.web.id/sitemap.xml.gz

Dengan informasi tentang Robots.txt dalam SEO Wordpress, agan bisa membuat Robots.txt yang optimal untuk blog agan sendiri.