Textual description of firstImageUrl

Trik Cara Setting Robots.txt Blogger Sesuai Aturan

Trik Setting Robots Txt Blogspot

Salah satu usaha membuat blog lebih SEO Friendly yaitu dengan cara setting search preference pada pengaturan blogger. Robots.txt digunakan untuk mengatur jalannya mesin crawl yaitu googlebot untuk merayapi semua halaman pada situs. Pengaturan ini dilakukan sedemikian rupa agar memilih halaman mana saja yang boleh di akses dan ditampilkan mesin pencari. Pada akhirnya halaman yang sudah diindeks mesin pencari tidak berdampak negatif pada blog kita.

Apa itu Robots.txt?

Adalah protokol untuk memberitahu tentang akses halaman di blog atau website. Dikenal juga dengan sebutan robot protokol pengecualian, web spiders, robot crawlers, atau web wanderers. Robots ini dipasang pada header untuk mengizinkan maupun membatasi akses crawling dalam cara kerja mesin pencari. Tujuannya adalah keterlihatan halaman pada mesin pencari seperti google, bing, msn atau search engine lainnya. Baca selengkapnya → tentang mempelajari file robots.txt.

Halaman yang tidak ditampilkan Blogspot

Dengan alasan backlink url berikut adalah contoh yang dirasa tidak mempunyai 'kekuatan' dari segi SEO Friendly. URL Halaman label tertentu misalnya hanya untuk mempermudah menelusuri kategori atau labeling dalam blogger namun tidak mempengaruhi jumlah link berkualitas dalam blogspot jika dikaitkan dengan mesin pencari. Untuk itu sebagian blogger tidak ingin memunculkan pada hasil pencarian. Berikut ini halaman yang biasa dikucilkan di mesin pencari yaitu :
1. Biasanya halaman search label tidak ditampilkan dengan alasan SEO Friendly.
https://sejutatrik.blogspot.com/search/label/SEO Halaman dengan url tersebut tidak ditampilkan karena tidak SEO Friendly
2. Halaman URL arsip
https://sejutatrik.blogspot.com/2018/7 - Halaman arsip juga tidak seo friendly dan malah menimbulkan masalah di webmaster tools
3. Halaman pencarian
https://sejutatrik.blogspot.com/search?cof=FORID%3A10&ie=ISO-8859-1&q=seo - halaman ini juga akan berdampak buruk karena tidak dihitung sebagai link berkualitas di blog.
4. Halaman Privacy blog
→ Disclaimer
→ Term of service
→ Term of Use
Biasanya halaman tersebut di atas tidak diikutsertakan dalam hasil pencarian karena menyangkut privasi blog tersebut.

Bisakah Robots.txt mengaturnya?

Bisa saja, karena robots.txt dirancang untuk tujuan itu juga. Selain menggunakan robots.txt pengaturan atau setting robot googlebot dapat menggunakan meta tag. Misalnya blog yang sudah didaftarkan di mesin pencari google tapi tidak ingin diikutsertakan dalam pencarian, kode meta tag-nya yaitu :
<meta content='noindex, nofollow name='robots'/>
<meta content='noindex' name='googlebot-image'/>

Penjelasannya agar robots tidak boleh merayapi dan menelusuri semua konten blog (kode pertama). Sedangkan untuk kode yang kedua agar semua gambar di dalam blog tidak diikut sertakan dalam hasil pencarian google.

Bagamana Cara Setting Robots.txt Blogger

Untuk trik pengaturannya pada bagian menu setting lalu search preferences dan kemudian pilih custom robots.txt seperti berikut :
Custom Robots.txt

User-agent: Mediapartners-Google ← robots tag Google

Disallow: /search ← halaman yang tidak dirayapi

Allow: / ← halaman yang boleh dirayapi 

User-agent: * ← robots agen

Disallow: /search ← halaman yang tidak dirayapi

Allow: / ← halaman yang boleh dirayapi 



Sitemap: http://sejutatrik.blogspot.com/sitemap.xml ← Sitemap standar blogger


Untuk cara setting robots.txt bloggerLihat → pengaturannya sperti blog kami ini https://sejutatrik.blogspot.com/robots.txt

Bagaimana mengetahui kunjungan robots?

Apabila kamu sudah mendaftarkan blog ke Google Webmaster Tools sekarang Search Console, terdapat menu untuk mengetahui laporan kunjungan robot atau kapan terakhir kali dikunjungi robots untuk mengcrawl situs kita. Itulah sedikit artikel tentang trik setting robots.txt di blogger dan cara setting custom robot.txt agar lebih SEO Friendly. Ada pertanyaan tentang custom robots.txt di blogger serta pengaturannya? silakan ajukan di kolom komentar dengan bahasa sopan, singkat dan mudah dipahami. Untuk artikel selanjutnya yaitu cara setting tag tajuk khusus robot header blogspot.

25 comments:

  1. Wonderful blog! I found it while searching on Yahoo News.

    Do you have any suggestions on how to get listed in Yahoo News?
    I've been trying for a while but I never seem to get there!
    Cheers

    ReplyDelete
  2. Artikel km hebat sobat,
    Padahal duluan aku bikin artikel, tapi dalam pencarian google, punyamu lebih unggul, semangat sob dalam berkarya

    ReplyDelete
    Replies
    1. terima kasih sob, saya cuma buat artikel sesuai kemampuan saya sob, siap kunjungan baliknya sob.

      Delete
  3. Ajari SEO dong bang, blog saya masih banyak kesalahan. Belum SEO.

    ReplyDelete
    Replies
    1. mulai dari mana sob, siap berkunjung ke blog sobat. thanks

      Delete
  4. Kode <meta diletakkan dimana ya, kalau tidak ingin dicrawl dan diindex?

    ReplyDelete
  5. kode meta tag semua ada di bagian header html gan, </head

    ReplyDelete
  6. mantab gan,,,jd tauh fungsi robot txt. jangan lupa mampir gan www.nyampling.com

    ReplyDelete
  7. trims infonya. saya sedang mencoba mengedit robot.txt di blogspot, semoga dapat meningkatkan SEO.

    ReplyDelete
  8. baiknya pake do follow apa nofollow bang...belum tau bedanya...dan manfaatnya tentang ini bang

    www.cipsehat.com

    ReplyDelete
  9. saya masih pemula dalam dunia per-blogger-an, tapi ilmu blog ini lengkap sekaliuntuk pemula seperti saya, terima kasih

    ReplyDelete
  10. Kalo ads.txt custom gmna mas
    www.habanews2.ga

    ReplyDelete
  11. bang, boleh cek blog saya. apakah sudah seo friendly?.
    mohon bantuannya. thanks
    www.arcilles.xyz

    ReplyDelete
  12. Terimakasih Sangat membantu artikelnya gan

    ReplyDelete
  13. You should never ought tto contact your dropship ssupplier via an agent or middleman. Planes and subway trais you can get around virtually no time, no
    requirement to travel for days or weeks on horse-driven carriages.
    If you don'twould like your SSN tto get present on all trade transactions for all to
    find out, you'll bbe able too phone you states' Client Registration and have to have a "re-number" to
    change your Tax Registration Number from the Social Security Number
    in your Employee Identification Number.

    ReplyDelete
  14. 2) Brazilian Jiu Jitsu: Once again tthis technique of fighting puut together by the Gracie family, in Brazil,
    from traditional Jiu Jitsu and Judo has proven, certainly, to
    supply the most effective ground fighting tactics for MMA.

    Hopefully I've given you idesas that woll help you boost your
    Thai boxing skills. The attacker could be a desperate one
    who, as a consequence of desperation of his very own situation,
    decides to rob us together with his kitchen knife.

    ReplyDelete
  15. As up to wee would like to go to Thailand for too long periods,
    the majority of us are bound by work or even a responsibility
    iin yolur own home which is the reason Horizon is indeed appealing.
    A jab punch is not actually employed to hurt your assailant
    or win a fight, apthough that will happen. This is the perfect destination to go if you want to
    explorfe Buddhism, or if you'd simply enjoy travelling to what it's like too be in the temple itself.

    ReplyDelete
  16. The most important asset and basis for availability of such agencies could be the experts who provide innovative,
    classy and creative designs to satisfy the requirements of all.
    This will also quickly explain to you how powerful the projector itself is, and whether it will work well under variable lighting conditions (will the picture stay clear.
    By having fun and laughing along with your partner and seeking new things,
    one's body produces adrenaline as well as the happy emotions which are present at the beginning of the
    relationship.

    ReplyDelete
  17. sangat membantu,, kunjungi balik ya
    https://www.holisticom.net/

    ReplyDelete
  18. Makasih gan infonya, ternyata robot.txt fungsinya buat membatasi postingan yang tampil di search engine. Kadang kesel juga emang masa arsip keindex di Google jadi keliatannya konten ganda.

    ReplyDelete
  19. Replies
    1. saya udah coba gan menggunakan cara yang agan ajarin, sebelumnya makasih udah ngebagiin ilmunya ya gan

      Delete

Silahkan berkomentar sesuai artikel. Setiap komentar adalah tanggung jawab anda. Komentar spam akan dihapus, baik secara otomatis dengan javascript ataupun manual. Saya sudah menyediakan nama/url jadi link aktif di komentar tidak perlu lagi disertakan. Jadilah blogger Indonesia yang bijak. Anda berkomentar saya berkunjung!