El SEO puede resultar inmensamente complejo. Existen enorme cantidad de detalles que hay que observar. Algunos más importantes que otros seguro, pero uno de los aspectos, que debemos tomar en cuenta y todo blogger o desarrollador es generar un archivo robot.txt que de instrucciones a los motores de búsqueda sobre cómo indexar el sitio web.
En este post vamos a hacer una serie de recomendaciones sobre como generar tu archivo de las 2 maneras posibles que existe. Que tú lo hagas o que un generador lo haga automáticamente con algunas instrucciones sencillas que le des.
De cualquier forma debes tener cuidado y siempre habrá que asegurarse que funciona correctamente, de lo contrario en lugar de hacerle un bien al sitio termine por romper su estructura y evitar que se indexe.
Vamos a ver las formas como lo puedes hacer:
Manual:
La forma de hacerlo es muy sencilla en realidad. Pero conviene hacer algunas precisiones. Las etiquetas Disallow y Allow hay que usarlas con mucha precaución dentro de un mismo archivo. Debido a que uno significa lo contrario al otro, de haber un error en la sintaxis puede dejar roto toda nuestra posibilidad de indexar.
Primero empezaremos con
User -Agent: *
Esta línea, lo que hace es declarar la posibilidad de lectura de nuestro archivo para cualquier motor de búsqueda. El asterisco (*) pone de manifiesto que cualquier motor de búsqueda puede acceder a nuestro archivo.
Disallow:
Esta etiqueta esta diciendo que no está permitido indexar. Así que lo que pongas seguidamente, puede ser algún directorio, no serán tomados en cuenta por el rastreador. Puede ser algo así:
Disallow: /privado/
Por cada directorio que no desees, que se indexe debes colocar el Disallow. De modo que puede ser algo así:
Disallow: /privado/
Disallow: /wp
Al final del archivo puedes incluir la Url del SiteMap
Sitemap: https://miblog.com/sitemap.xml
Esto último con el objetivo de darle toda la información necesaria para la indexación del sitio para los rastreadores.
Recuerda que estamos hablando de darle instrucciones al rastreador, por lo que también puede servir para limpiar el contenido duplicado de nuestro sitio web y por supuesto para indicarle donde encontrar nuestro sitemap y dejárselo servido.
Finalmente si lo quieres probar antes de subirlo y corroborar su eficiencia puedes hacerlo desde las herramientas para Webmaster.
Automática con herramientas online:
Como no podía faltar, si no quieres arriesgarte a hacerlo mal y prefieres que un programa en línea lo haga por ti con instrucciones que le des, puedes usar:
Mcanerin: Generador de archivo robot.txt
Una vez generado el archivo con un blog de notas, por ejemplo, debes guardarlo en formato txt y subirlo al directorio raíz. Allí el rastreador lo buscará.
Cierto es que se puede hacer un robot.txt con instrucciones específicas y más complejas, pero si lo que desees es un recurso práctico en favor a tu sitio web, pues espero esto sirva.