Dampak Menggunakan Robots.

txt Disallow M=1 & M=0

Dampak Menggunakan Robots.txt Disallow M=1 & M=0. Sobat blogger, Setelan robots.txt
adalah sebuah panel setting berisi pedoman untuk pengaturan robot crawler dalam pengindexan
atau crawler sebuah halaman, jadi intinya setting robots.txt ini adalah sebuah perintah untuk bot
crawler, apakah harus mengindex halaman tersebut atau tidak atau apakah harus menjelejahi
halaman tersebut atau tidak, sesuai dengan setelan yang kita terapkan, robots.txt juga sangatlah
penting penggunaannya untuk sebuah blog sesuai dengan seting dan fungsi-fungsi yang kita
butuhkan, lebih jelasnya untuk pengaturan robots.txt beserta fungsi dari setiap kode yang di
terapkan anda bisa baca di sini : Cara Setting Custom Robots.txt Beserta fungsinya.

Penerapan setelean Robots.txt Disallow M=1 & M=0 ini juga banyak di share pada artikel blog
dengan kueri cara setting robots.txt, disana banyak sekali tutorial yang menyuruh pembaca untuk
menggunakan robots.txt yang juga ada perintah Disallow M=1 & M=0 tanpa menyertakan detail
bagaimana baris tersebut bekerja atau fungsi tersebut bekerja dan hanya dengan embel-
embelSEO dan tidak menyertakan efek atau dampaknya.

Baca Juga : 6 Kesalahan Yang Membuat Blog Sulit Berkembang

Maka pada kesempatan kali ini saya akan sedikit membahas tentang penggunaan fungsi dalam
menerapkan diasllow m=1 dan m0 atau "Disallow: /*?m=1 Disallow: /*?m=0", pada dasarnya,
robots.txt tersebut adalah sebuah perintah atau fungsinya untuk menghentikan robot merayapi
halaman redirect ke mobile phone atau tampilan handphone dan setelan tersebut biasanya di
terapkan seorang blogger untuk mengatasi duplicate halaman yang terjadi pada blog, penerapan
robots.txt tersebut memang sangat ampuh untuk mengatasi duplicate halaman m=1 dan m=0 pada
blog yang di tujukan di webmaster namun disisi lain ada dampak gak baiknya juga untuk blog
kita.

Apa Dampak Menggunakan Setelean Robots.txt Disallow M=1 & M=0

Mungkin dari segi postivnya penerapan robots.txt tersebut bisa mengatasi duplicate halaman pada
blog kita, namun sesudah saya pelajari, ternyata di sisilain tentang penereapan robots.txt tersebut
adalah mempunyai dampak yang kurang menguntungkan juga pada blog kita, apa saja
dampaknya :
Pertama yaitu blog kita tidak mobile friendly karena secara langsung robots.txt tersebut
mencekal halaman pada tampilan mobile phone. hal itu setelah saya melakukan pengecekan pada
sebuah situs yang menggunakan robots.txt di Disallow: /*?m=1 Disallow: /*?m=0 di penguji
situs mobile friendly, dan hasilnya robots.txt mencekalnya, seperti yang di tampilkan gambar di
bawah.

Kedua yaitu hilangnya meta deskripsi artikel di pencarian atau pada browser mobile phone
karena bot juga mencekalnya. seperti yang di tujukan gambar dibawah ini pada blog pertama, saat
saya menggunakan browser handphone dan disana ditunjukan bahwa "Deskripsi untuk hasil ini
tidak tersedia karena robots.txt situs tersebut"

Meta deskripsi ini sangat penting sekali karena google akan menggunakannya sebagai cuplikan
untuk halaman atau postingan blog anda di page search google. Dan kata pada cuplikan tersebut
akan ditebalkan saat muncul dalam kueri pencarian. Hal ini memberikan petunjuk pada pencarian
di google search, dan membuktikan bahwa situs kita adalah situs relevan termasuk dengan
deskripsi yang berkaitan, maka kemungkinan besar jika pada blog tersebut deskripsinya hilang,
maka akan sangat buruk di mata google.

Ketiga yaitu bisa menurunkan peringkat artikel kita di serp google, karena berhubung
algoritma 2105 ini google telah meluncurkan algoritma terbarunya yaitu mobilegeddon, yang
mengharuskan sebuah situs untuk di optimalkan dalam tampilan mobile atau supaya mobile
friendly.

Kesimpulan : Jika anda ingin menggunakan setelan robots.txt maka ada baiknya anda juga
mempelajari tentang fungsi-fungsi dari setiap baris yang di terapkan, karena dampaknya
mungkin bisa kurang menguntungkan pada blog anda, namun jika anda punya saran lain atau
ide lain, anda bisa berdisukusi di sini di form komentar. oke sobat blogger, lebih dan kurangnya
saya mohon maaf dan semoga bermanfaat.
Cara Setting Custom Robots.txt Yang Benar
Cara Setting Custom Robots.txt Yang Benar. Sobat Blogger, Robots.txtadalah berisi pedoman
atau pengaturan untuk Robot-crawler tentang bagaimana mereka akan meng-crawler dan
mengindexs situs web atau blog anda, maka dari itu, blogger menyediakan pengaturan khusus
untuk mengatur beberapa pengaturan SEO yang sangat dasar dan sangat mudah dari dashboard
blog anda. Salah satunya adalah menetapkan custom robots.txt untuk blog anda sesuai kebutuhan
sobat.

Ketika robot crawler search engine mengunjungi halaman atau situs web dan blog, maka hal
pertama yang terlihat adalah file robots.txt. bagi pemakai platform Blogger, sekarang anda bisa
atau mempunyai pilihan untuk mengontrol bot crawler search engine dan menentukan mana yang
harus di rayapi dan di indexs dari situs web atau blog sobat.

Pada dasarnya setiap blog dari platfrom blogger memiliki robots.txt setelan default, namun
dengan perubahan baru di blogger ini, anda dapat mengubahnya sesuai dengan kebutuhan,
nah..untuk itu dalam posting kali ini, anda akan tahu tentang bagaimana stelan robots.txt default
blogger dan cara menambahkan atau mengedit robots.txt custom untuk blog anda.

Di Bawah Ini Adalah Custom Robots.txt Standar Default Blogger

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.madamvia.web.id/feeds/posts/default?orderby=UPDATED

Settingan Robot.txt default di atas ini sama untuk setiap blog. tapi jika anda merasa settingan ini
sudah mampu memenuhi kebutuhan SEO untuk blog anda dan blog sudah memiliki banyak
visitor, maka anda tidak perlu menggantinya jika ini memang tidak perlu,karena stelan robots.txt
ini akan sangat berpengaruh terhadap blog anda,tapi tentu anda juga harus tau jika dalam
settingan ini, mungkin ada yang anda butuhkan dan ini penting untuk blog anda.

Untuk mengecek kustom Robots.txt blog, anda cukup menambahkanrobots.txt di belakang url
blog anda di browser dan klik enter.
contoh :

http://NamaBlogAnda.blogspot.com/robots.txt

Cara Setting Atau Menggunakan Kustom Robots.txt Khusus Dalam

Penambahan-nya

1. Buka Dashboard > Setting > Preferensi Penelusuran > Perayapan Dan Pengindeksan.
2. Klik 'Custom robots.txt'> Klik 'Ya'.
3. Paste kustom robots.txt yang sudah anda tentukan. (Lihat Contoh Gambar Di bawah)
4. Klik 'Simpan perubahan' untuk menyimpan robots.txt kustom.

Itulah cara untuk memasukkan atau meng-edit custom robots.txt di dashboar. Sekarang mari kita
lihat bagaimana menulis custom robots.txt untuk blogger yang baik namun ini juga harus di
sesuaikan dengan kebutuhan anda. pada poin-poin ini anda hanya harus memasang kode sesuai
yang anda butuhkan saja.

Custom robots.txt yang tepat dalam Blog dengan kebutuhan-nya.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/*
Disallow: /view/*
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Allow: /
Sitemap: http://www.madamvia.web.id/feeds/posts/default?orderby=UPDATED

Contoh di atas ini adalah custom robots.txt untuk blog sesuai kebutuhannya, bagaimana untuk
yang tidak penting dan yang penting harus di indexs dan di blok. Sekarang saya akan
menjelaskan apa arti dari setiap baris di atas dari setiap kode-kode yang di terapkan dan arti
tambahan yang di berikan di kostum ini.

User-agent: Mediapartners-Google
Disallow: Garis ini menunjukan bahawa bot crawler di perintah untuk merayapi atau meng-
crawler adsense. jika anda sudah mempunyai iklan Adsense; baris ini sangat bagus untuk ,meng-
crawler adsense dan untuk mengunjungi semua halaman situs anda sesuai dengan pedoman
adsense, untuk garis ini lebih baik di biarkan.

User-agent: * Baris ini digunakan untuk bot meng-crawler semua situs halaman blog anda
(kecuali untuk pengaturan yang terpisah di bawahnya, apakah harus di indexs atau di blok dalam
penambahan kode di bawah-nya. yang di maksud dibawahnya ini adalah kode-kode yang anda
terapkan.

Disallow: /search Baris ini menunjukkan bahwa setiap halaman / pencarian dalam bentuk URL
tidak akan dijelajahi dan diindeks oleh bot crawler. Baris ini sangat penting untuk membuat SEO
blog anda, seperti tidak akan merayapi atau tidak akan mengindeks halaman Label dan Arsip.
Karena halaman tersebut bukan halaman unik atau URL yang bisa di indexs dan juga untuk
menghindari duplikat konten pada blog anda.

Disallow: /p/* Garis ini berfungsi untuk memblokir robot menjelajah halaman untuk blog anda.
Tetapi jika anda ingin halaman anda tetap di indeks oleh crawler , silahkan hapus baris ini.

Disallow: / view / * Garis ini berfungsi untuk menghentikan robot merayapi halaman blogger
dengan tampilan link dinamis. Jika anda menggunakan tampilan dinamis di blog anda, maka anda
bisa menghapus garis ini tapi jika anda tidak menggunakannya silahkan di biarkan saja.

Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0 Garis-garis ini berfungsi untuk menghentikan robot merayapi halaman redirect
ke mobile phone atau tampilan handphone. Jika anda tidak menggunakannya, maka anda
mungkin akan melihat blog dengan link dalam hasil pencarian tampilan mobile phone *?M =
1 atau *?M = 0 garis ini diperlukan untuk menghindari masalah duplikat halaman. Jika anda tidak
mempunyai masalah ini atau jika anda tidak membutuhkannya, anda bisa menghapusnya.

Baca : Dampak Menggunakan Robots.txt Disallow M=1 & M=0

Sitemap: http://www.madamvia.web.id/feeds/posts/default?orderby=UPDATED
garis ini pada dasarnya menunjukkan link ke sitemap blog anda.
silahkan ganti http://www.madamvia.web.id/ menjadi URL blog anda.

Periksa dan Menganalisis Robot.txt anda

Ada banyak alat yang tersedia di web untuk memeriksa robots.txt anda. Tapi untuk memeriksa
bagaimana robot google (ie.Adsbot-Google, Mediapartners-Google, Googlebot) akan merayapi di
blog anda, anda harus menggunakan alat google-webmaster. silahkan buka webmaster dashboard
> Crawler > URL di blokir. Anda bisa melihat bagaimana robot ini bekerja di blog anda sesuai
dengan robots.txt yang anda tentukan.

Catatan : dalam penggunaan robots.txt ini,anda harus benar-benar menggunakan kode yang
anda butuhkan saja, karena dalam penerapan robots.txt ini jika anda hanya asal saja
menerapkan tanpa tahu fungsi-fungsi dari setiap kode tersebut,akan berakibat fatal ,bahkan
dampak parahnya bot crwaler tidak akan mengindex blog anda, jadi lebih baik pelajari terlebih
dahulu dari setiap kode dan fungsi-fungsinya.

Jika ada ide yang lain yang menurut anda lebih bagus atau ada yang di pertanyakan silahkan
diskusi di kolom komentar. oke sobat blogger saya rasa cukup sekian dulu di tutorial Cara
Setting Custom Robots.txt Yang Benar menurut saya :). lebih dan kurangnya saya mohon
maaf. semoga sukses