Trik Cara Setting Robots.txt Blogger Sesuai Aturan

Salah satu usaha membuat blog lebih SEO Friendly yaitu dengan cara setting search preference pada pengaturan blogger. Robots.txt digunakan untuk mengatur jalannya mesin crawl yaitu googlebot untuk merayapi semua halaman pada situs. Pengaturan ini dilakukan sedemikian rupa agar memilih halaman mana saja yang boleh di akses dan ditampilkan mesin pencari. Pada akhirnya halaman yang sudah diindeks mesin pencari tidak berdampak negatif pada blog kita.

Apa itu Robots.txt?

Adalah protokol untuk memberitahu tentang akses halaman di blog atau website. Dikenal juga dengan sebutan robot protokol pengecualian, web spiders, robot crawlers, atau web wanderers. Robots ini dipasang pada header untuk mengizinkan maupun membatasi akses crawling dalam cara kerja mesin pencari. Tujuannya adalah keterlihatan halaman pada mesin pencari seperti google, bing, msn atau search engine lainnya. Baca selengkapnya → tentang mempelajari file robots.txt.

Halaman yang tidak ditampilkan Blogspot

Dengan alasan backlink url berikut adalah contoh yang dirasa tidak mempunyai 'kekuatan' dari segi SEO Friendly. URL Halaman label tertentu misalnya hanya untuk mempermudah menelusuri kategori atau labeling dalam blogger namun tidak mempengaruhi jumlah link berkualitas dalam blogspot jika dikaitkan dengan mesin pencari. Untuk itu sebagian blogger tidak ingin memunculkan pada hasil pencarian. Berikut ini halaman yang biasa dikucilkan di mesin pencari yaitu :
1. Biasanya halaman search label tidak ditampilkan dengan alasan SEO Friendly.
https://sejutatrik.blogspot.com/search/label/SEO Halaman dengan url tersebut tidak ditampilkan karena tidak SEO Friendly
2. Halaman URL arsip
https://sejutatrik.blogspot.com/2018/7 - Halaman arsip juga tidak seo friendly dan malah menimbulkan masalah di webmaster tools
3. Halaman pencarian
https://sejutatrik.blogspot.com/search?cof=FORID%3A10&ie=ISO-8859-1&q=seo - halaman ini juga akan berdampak buruk karena tidak dihitung sebagai link berkualitas di blog.
4. Halaman Privacy blog
→ Disclaimer
→ Term of service
→ Term of Use
Biasanya halaman tersebut di atas tidak diikutsertakan dalam hasil pencarian karena menyangkut privasi blog tersebut.

Bisakah Robots.txt mengaturnya?

Bisa saja, karena robots.txt dirancang untuk tujuan itu juga. Selain menggunakan robots.txt pengaturan atau setting robot googlebot dapat menggunakan meta tag. Misalnya blog yang sudah didaftarkan di mesin pencari google tapi tidak ingin diikutsertakan dalam pencarian, kode meta tag-nya yaitu :

<meta content='noindex, nofollow name='robots'/> 

<meta content='noindex' name='googlebot-image'/>

Penjelasannya agar robots tidak boleh merayapi dan menelusuri semua konten blog (kode pertama). Sedangkan untuk kode yang kedua agar semua gambar di dalam blog tidak diikut sertakan dalam hasil pencarian google.

Bagamana Cara Setting Robots.txt Blogger

Untuk trik pengaturannya pada bagian menu setting lalu search preferences dan kemudian pilih custom robots.txt seperti berikut :

User-agent: Mediapartners-Google ← robots tag Google

Disallow: /search ← halaman yang tidak dirayapi

Allow: / ← halaman yang boleh dirayapi 

User-agent: * ← robots agen

Disallow: /search ← halaman yang tidak dirayapi

Allow: / ← halaman yang boleh dirayapi 



Sitemap: http://sejutatrik.blogspot.com/sitemap.xml ← Sitemap standar blogger

Untuk cara setting robots.txt bloggerLihat → pengaturannya sperti blog kami ini https://sejutatrik.blogspot.com/robots.txt

Bagaimana mengetahui kunjungan robots?

Apabila kamu sudah mendaftarkan blog ke Google Webmaster Tools sekarang Search Console, terdapat menu untuk mengetahui laporan kunjungan robot atau kapan terakhir kali dikunjungi robots untuk mengcrawl situs kita. Itulah sedikit artikel tentang trik setting robots.txt di blogger dan cara setting custom robot.txt agar lebih SEO Friendly. Ada pertanyaan tentang custom robots.txt di blogger serta pengaturannya? silakan ajukan di kolom komentar dengan bahasa sopan, singkat dan mudah dipahami. Untuk artikel selanjutnya yaitu cara setting tag tajuk khusus robot header blogspot.

25 comments:

AnonymousOctober 06, 2018
Wonderful blog! I found it while searching on Yahoo News.

Do you have any suggestions on how to get listed in Yahoo News?
I've been trying for a while but I never seem to get there!
Cheers
ATAEHJanuary 10, 2019
Artikel km hebat sobat,
Padahal duluan aku bikin artikel, tapi dalam pencarian google, punyamu lebih unggul, semangat sob dalam berkarya
Rahmad NurhudaJanuary 13, 2019
Ajari SEO dong bang, blog saya masih banyak kesalahan. Belum SEO.
AnonymousJanuary 15, 2019
Kode <meta diletakkan dimana ya, kalau tidak ingin dicrawl dan diindex?
Ahmad MaryukiJanuary 16, 2019
kode meta tag semua ada di bagian header html gan, </head
Isat JerryJanuary 21, 2019
mantab gan,,,jd tauh fungsi robot txt. jangan lupa mampir gan www.nyampling.com
Fajar NindyoFebruary 17, 2019
trims infonya. saya sedang mencoba mengedit robot.txt di blogspot, semoga dapat meningkatkan SEO.
CIP SEHATFebruary 20, 2019
baiknya pake do follow apa nofollow bang...belum tau bedanya...dan manfaatnya tentang ini bang

www.cipsehat.com
SEO Expert Services Digital Marketing Web Solution - AXPLTDFebruary 23, 2019
SEO Expert Services http://axpltd.com/
Deck020March 01, 2019
saya masih pemula dalam dunia per-blogger-an, tapi ilmu blog ini lengkap sekaliuntuk pemula seperti saya, terima kasih
Wahyu nadiMarch 01, 2019
Kalo ads.txt custom gmna mas
www.habanews2.ga
arcillesMarch 08, 2019
bang, boleh cek blog saya. apakah sudah seo friendly?.
mohon bantuannya. thanks
www.arcilles.xyz
DuniaTech.NetMarch 11, 2019
Terimakasih Sangat membantu artikelnya gan
AnonymousApril 08, 2019
You should never ought tto contact your dropship ssupplier via an agent or middleman. Planes and subway trais you can get around virtually no time, no
requirement to travel for days or weeks on horse-driven carriages.
If you don'twould like your SSN tto get present on all trade transactions for all to
find out, you'll bbe able too phone you states' Client Registration and have to have a "re-number" to
change your Tax Registration Number from the Social Security Number
in your Employee Identification Number.
AnonymousApril 15, 2019
2) Brazilian Jiu Jitsu: Once again tthis technique of fighting puut together by the Gracie family, in Brazil,
from traditional Jiu Jitsu and Judo has proven, certainly, to
supply the most effective ground fighting tactics for MMA.

Hopefully I've given you idesas that woll help you boost your
Thai boxing skills. The attacker could be a desperate one
who, as a consequence of desperation of his very own situation,
decides to rob us together with his kitchen knife.
AnonymousApril 19, 2019
As up to wee would like to go to Thailand for too long periods,
the majority of us are bound by work or even a responsibility
iin yolur own home which is the reason Horizon is indeed appealing.
A jab punch is not actually employed to hurt your assailant
or win a fight, apthough that will happen. This is the perfect destination to go if you want to
explorfe Buddhism, or if you'd simply enjoy travelling to what it's like too be in the temple itself.
AnonymousApril 27, 2019
The most important asset and basis for availability of such agencies could be the experts who provide innovative,
classy and creative designs to satisfy the requirements of all.
This will also quickly explain to you how powerful the projector itself is, and whether it will work well under variable lighting conditions (will the picture stay clear.
By having fun and laughing along with your partner and seeking new things,
one's body produces adrenaline as well as the happy emotions which are present at the beginning of the
relationship.
holisticom.netMay 16, 2019
sangat membantu,, kunjungi balik ya
https://www.holisticom.net/
NerFXJune 05, 2019
Makasih gan infonya, ternyata robot.txt fungsinya buat membatasi postingan yang tampil di search engine. Kadang kesel juga emang masa arsip keindex di Google jadi keliatannya konten ganda.
adminblogJune 13, 2019
dicoba nihh

Silahkan berkomentar sesuai artikel. Setiap komentar adalah tanggung jawab anda. Komentar spam akan dihapus, baik secara otomatis dengan javascript ataupun manual. Saya sudah menyediakan nama/url jadi link aktif di komentar tidak perlu lagi disertakan. Jadilah blogger Indonesia yang bijak. Anda berkomentar saya berkunjung!

SEO Blogger | Google Adsense | Sejuta Trik