SEO untuk Pemula : fungsi Sitemap dan Robot.txt

Rahasia pertama yang tidak pernah diberitahukan oleh orang-orang yang menggajarkan SEO adalah cara menggunakan dengan benar. Seringkali yang dijabarkan adalah prinsip-prinsip dari SEO sehingga orang tahu apa itu SEO tetapi mereka tetap tidak tahu bagaimana cara melakukan SEO. Untuk pertama-tama saya ingin memastikan anda memiliki sebuah website atau blog. Karena tanpa sebuah website atau blog maka saya tidak bisa mengajarkan praktikanya kepada anda. Karena mesin pencari atau SEO membaca konten yang anda miliki. Tentu saja apabila anda tidak memiliki sebuah webiste atau blog maka saya akan menanyakan hal yang sama dengan mesin pencari ini, yakni "Apa yang dicari?" 

Kedua, SEO berusaha agar artikel yang dibaca adalah artikel yang semanusia mungkin sehingga ada cara menulis sebuah halaman web agar mesin pencari ini dapat membaca dan menentukan halaman anda sebagai artikel yang bermanfaat. Tapi seperti yang saya katakan sebelumnya bahwa robot dari mesin pencari ini tidak selalu benar. Sehingga perlu manusia atau pemilik dari website untuk membantu mesin pencari. Ingat yang saya tulis adalah membantu bukan memaksakan. Apabila mesin pencari menemukan bahwa artikel anda adalah artikel bermasalah, entah melanggar pornografi, hak cipta, atau berbagai macam hal lainnya maka bantuan ini tidak bisa dipaksakan.

 Kemudian sitemap dan robot.txt adalah sebuah panduan bagi crawler dan crawler yang baik akan mengikuti panduan tersebut sedangkan yang tidak akan mengabaikan.

Sitemap 

Untuk lebih lanjut anda bisa memasang sitemap, akan tetapi saya tidak akan bahas untuk website pribadi. Sedangkan untuk blogger saya mendapatkan otomatis lalu saya masukan ke search console dan saat itu saya memiliki 50post.  Mungkin bisa dicontoh dan diganti nama websitenya. Sitemap akan sangat membantu anda dalam melihat website anda yang terindeks dan tidak/gagal terindeks.

Sitemap: https://yourwebsite.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Blogspot membuatkan anda sitemap otomatis juga kok bisa anda buka di

Sitemap: https://yourwebsite.blogspot.com/sitemap.xml

ganti yourwebsite dengan nama website anda ya.

Sitemap sendiri adalah sebuah file yang membantu mesin pencari/search engine agar melakukan crawling dengan lebih pintar. Salah satu contohnya adalah memberitahu google halaman dan file mana yang penting dalam websitemu dan informasi pada file tersebut, terutama untuk halaman yang sering terjadi update. Contoh informasinya adalah kapan page tersebut diupdate, seberapa sering diganti, bahasa lain yang digunakan.

Photo by Vlada Karpovich from Pexels

Kapan Sitemap Diperlukan?

1. Saat websitemu sudah memiliki banyak halaman, dan berharap crawler melakukan penelusuran secara menyeluruh tanpa satupun ada yang tertinggal.

2. Saat kamu memiliki halaman khusus yang tidak terkoneksi dengan halaman lain. Landing page yang digunakan untuk mengumpulkan data customer namun tidak pernah ada link yang menuju ke landing page tersebut dari halaman utamamu atau dari menu websitemu.

3. Saat websitemu benar-benar baru dan belum ada yang memberikan link padamu. Crawler di web menemukan websitemu dari website lain. Salah satu cara yang mudah mengatasi hal ini adalah memberikan komentar di halaman orang lain, bertukar link dengan orang lain, dan banyak cara lainnya. Tetapi bila kamu pertama kali dan tidak ada teman yang bisa diajak kerjasama maka buat saja sitemap.

4. Saat kamu memiliki halaman yang tidak ingin di crawl. Keutungan lain adalah kamu bisa membatasi crawl dengan sitemap. kapan ini diperlukan? Saat ada sebuah halaman yang bersifat sensitif, sehingga kamu bisa memberikan arahan pada crawler agar tidak menelusuri halaman tersebut

Kalau website anda masih baru atau anda blogger pemula anda tidak terlalu memerlukan sitemap, jadi jangan terlalu dipikirkan karna ini bukan hal yang utama.

Setting Robot.txt Agar Pasti Ditemukan Mesin Pencari

Dalam sebuah website kita memerlukan 2 hal agar bisa dicari  oleh search engine secara umum yang pertama adalah sitemap dan robot.txt . Pertama robot txt adalah sebuah aturan yang kita berikan pada mesin pencari agar mereka menelusuri bagian tertentu dari website kita saja. Mungkin sampai sini ada pertanyaan "Kenapa hanya bagian tertentu? kenapa tidak semua?". Pertanyaan ini sangat bagus dan jawabannya sederhana karena mesin pencari akan menganggap link atau tautan yang mengarah pada artikel anda dalam jumlah banyak adalah sesuatu yang mencurigakan terutama apabila sumber tersebut berasal dari website anda sendiri. Faktor apa saja yang mempegaruhi hal ini? pertama, apabila anda memiliki sebuah fitur cari/search. Kedua adalah apabila anda memiliki fitur tag seperti hashtag yang juga digunakan untuk kemudahan dalam melakukan pencarian.

Setting yang dilakukan cukup mudah akan ada 3 code utama yakni : User-agent, Allow dan disallow. Perhatikan gambar berikut untuk struktur penulisannya.

Kenapa disallow /search?? jawabannya cukup mudah karna pada website blogger dengan menambahkan /search setelah nama website anda seperti (https://ericsofos.blogspot.com/search) maka anda akan mendapat duplikat dari website anda sendiri. Konyol tapi inilah kenyataan sehingga mesin pencari saat menelusuri akan ada kemungkinan dia mengatakan mengatakan bahwa artikelmu adalah duplikat. Nah nama mesin pencari juga ada macam-macam dan bervariatif, tetapi bila menginginkan semua mesin pencari menelusuri halaman websitemu tinggal gunakan kode berikut. 

User-agent: *

Disallow: /search

Kemudian Disallow juga berguna apabila anda tidak ingin salah satu halaman yang memuat data penting anda di telusuri oleh mesin pencari contohnya halaman admin sehingga ada baiknya anda memberikan aturan tersendiri pada halaman web anda menggunakan robot.txt

Untuk website silahkan save dengan nama file robot.txt dan masukan dalam halaman wesbite anda. usahakan agar bisa dibuka dengan mengetikan nama website anda kemudian diberi /robot.txt contoh yourwebsite.com/robot.txt. Tentu saja hal ini tidak bisa dilakukan pada platform website seperti blogger dan website namun platform ini memiliki settingan tersendiri untuk mengatur robot.txt.

Perlu diingat bahwa ini adalah aturan yang kamu buat, beberapa crawler ada yang tidak peduli/menghormati robot.txt. Setelah anda simpan butuh waktu 1-3 hari agar mesin pencari melakukan crawling pada website mu.

Selamat mencoba.