Robots txt wordpress. Dari banyaknya pengguna jasa artikel online, mungkin ada sebagian yang masih belum begitu mengerti tentang SEO dan robot.txt WordPress. Bahkan ada juga yang menganggap jika kedua hal tersebut mempunyai fungsi yang sama.
Perlu Anda tahu, dalam optimasi website, robot.txt merupakan salah satu file yang wajib diperhatikan oleh para penggunaannya.
Sebab, robots.txt ini adalah sebuah portal yang bisa membuat search engine untuk mengakses konten yang ada pada situs Anda. Apabila terjadi kesalahan, maka bisa saja konten penting yang terdapat pada website Anda justru tidak terindeks dan tidak muncul pada halaman hasil pencarian.
Nah, untuk Anda yang ingin melakukan crawling dan indexing pada SEO, maka Anda harus tahu apa pengertian dan fungsi dari robot.text ini.
Pengertian Robot.txt WordPress
Pengertian robot.txt WordPress yaitu bisa dikatakan sebagai rangkaian file yang berbentuk text yang isinya berupa intruksi ketika membuat website yang Anda kelola pada mesin pencarian.
Memiliki sebuah website pastinya harus disertai dengan belajar SEO. Kemudian, apabila Anda ingin mencoba memaksimalkan fungsi SEO, maka Anda harus bisa mengatur robots.txt pada website milik Anda.
Adanya robots.txt ini memungkinkan pengguna untuk bisa mendapatkan informasi terkait konten yang ia inginkan dengan cepat dan terfokus.
File robots.txt ibaratnya seperti peraturan yang ada dalam kehidupan manusia. Peraturan tersebut tidak mempunyai kekuatan untuk menegakkan aturan yang tertera. Namun, untuk bot yang “baik” akan terus mengikuti aturan.
Sedangkan untuk bot yang buruk kemungkinan besar akan melanggar peraturan yang ada tersebut dan akan segera diberikan peringatan.
Perlu Anda ketahui, jika bot merupakan sebuah program komputer otomatis yang berhubungan dengan situs web serta aplikasi. Seperti yang telah dijelaskan sebelumnya, ada bot yang baik dan ada juga bot yang buruk.
Untuk salah satu jenis bot yang baik biasanya dikenal dengan sebutan bot crawler web. Bot ini pada umumnya akan melakukan “crawling” ke halaman situs web dan akan mengindeks konten.
Dengan begitu, laman tersebut bisa muncul pada halaman hasil mesin pencari tersebut. File robots.txt akan membantu dalam mengelola aktivitas crawler web ini agar tidak menjadi tanggung jawab server web yang tengah mengindeks laman atau menghosting sebuah situs web yang tidak ditujukan guna ditampilkan untuk publik.
Fungsi Robots.txt
SEO memiliki fungsi yang sangat penting untuk sebuah website, yaitu sebagai penunjang website tersebut ramai pengunjung atau tidak. Membuat masing-masing komponen SEO semakin maksimal akan sangat membantu website untuk bisa bertahan.
Dengan begitu, website tersebut akan menjadi website yang paling banyak dikunjungi pelanggan. Bahkan bisa ditemukan oleh pelanggan dengan cepat karena berada di halaman pertama mesin pencarian.
Tanpa adanya SEO atau robots.txt, website tersebut sebenarnya sudah bisa diakses oleh semua orang. Namun, fungsinya Cuma sebatas terlihat saat Anda mengetikkan keseluruhan detail dari website tersebut.
Penggunaan optimasi SEO yang kurang optimal bisa menjadikan nilai jual atau strategi marketing menjadi kurang maksimal juga. Dengan begitu, pemasaran produk menjadi melemah dan tidak banyak target konsumen yang mengetahuinya.
Untuk lebih jelasnya, Anda bisa simak berbagai macam fungsi robot.txt berikut ini:
- Memberikan perintah pada Google agar melakukan crawling atau perayapan pada halaman situs tertentu
- Menghindarkan mesin pencari google melakukan crawling atau perayapan pada duplikat konten.
- Membatasi indexing pada halaman situs tertentu supaya bisa meringankan beban server.
Istilah-Istilah Robots txt
Terdapat beberapa istilah yang perlu Anda ketahui tentang robots txt, antara lain yaitu:
- User-Agent, istilah ini untuk mendeskripsikan jenis atau nama robot yang hendak Anda berikan instruksi atau arahan untuk melakukan perayapan.
- Disallow, sedangkan istilah ini merupakan istilah robot txt untuk memberikan perintah kepada User-Agent supaya tidak melakukan crawling ke halaman tertentu.
- Allow, istilah ini bertujuan untuk memberikan izin kepada mesin pencari Google supaya melakukan indexing pada halaman atau subfolder, meskipun untuk folder utama tidak diizinkan untuk melakukan indexing.
- Crawl-delay, istilah ini digunakan untuk mengatur kecepatan Google dalam melakukan perayapan atau crawling.
- Sitemap, istilah ini digunakan untuk memberitahu lokasi peta situs XML yang ada kaitannya dengan URL.
Cara Setting Robot txt untuk WordPress
Nah, bagi Anda yang belum tahu bagaimana cara setting robot.txt wordpress, maka Anda bisa simak caranya seperti berikut ini:
1. Membuat File Robots txt
Untuk setting yang pertama, cobalah untuk membuat file dan simpan robots.txt terlebih dahulu seperti di bawah ini.
- User-agent: *
- Lalu, untuk Disallow: /wp-admin/
- Allow: /wp-admin/admin-ajax.php
- Sitemap: https://www. – .com/sitemap_index.xml
Anda bisa mengisi situs tersebut sesuai dengan alamat web Anda.
2. Unggah File ke Server Hosting
Sesudah Anda membuat file robots txt, maka selanjutnya Anda harus memasukkan file lewat FTP Cpanel. Atau bisa juga lewat admin hosting. Untuk mencoba apakah sudah berhasil atau belum, maka Anda dapat testing dengan cara mengetik nama domain/robots.txt.
3. Submit ke Google Search Console
Nah, untuk cara setting selanjutnya yaitu jangan lupa untuk memasukkan sitemap dan robots.txt Anda pada Google Search Console. Tujuannya agar keterbacaan pada web Anda bisa menjadi semakin mudah.
4. Mengatur Robots txt Lewat Plugin Yoast
Untuk mengatur robot.txt lewat Plugin Yoast, Anda bisa melakukan cara berikut ini:
- Instal Plugin Yoast SEO.
- Klik SEO-Tools, kemudian nantinya akan muncul beberapa pilihan klik File Editor.
- Nah, dari File Editor, Anda nantinya akan diberi petunjuk untuk membuat file robots txt. Anda bisa membuat pengaturan sesuai dengan kebutuhan Anda.
Mengetahui pengertian dan fungsi robot.txt wordpress memang cukup penting sekali untuk kesuksesan website yang Anda buat. Dengan memahami file ini, maka website Anda bisa mudah ditemukan oleh mesin pencari Google.
