SEO
Personalizar el archivo Robots.txt con la nueva versión del plugin Yoast para Wordpress
marzo 14, 2018
Los robots también conocidos como arañas, son unos bots que analizan las páginas web tratando de entender y organizar los contenidos según sus formatos y estructura. Los robots buscan entre el contenido de las paginas web, leyendo los textos, las imágenes los vídeos, los enlaces, etc, buscando información nueva y tratando de organizarla junto a la información que tenían. Por ello, existen numerosos tipos de robots con diferentes funciones dependiendo de aquello que analice. Pero sin duda alguna, los robots más famosos son los robots de los motores de búsqueda y en concreto las Arañas de Google, que tratan de entender el contenido de un sitio web para después considerar su indexación.
¿Qué es y para qué sirve el archivo robots.txt?
Es un archivo en formato .txt que especifica qué robots sí y cuales no deben rastrear un sitio Web. Habitualmente los robots tienen acceso a todos los lugares de la página web, no obstante, en muchas ocasiones hay que poner especial atención en ciertos lugares en los que no se desea que los robots accedan por diversos motivos:
- Directorios específicos que no deben ser rastreados como la sección de comentarios
- Páginas con problemas de velocidad de carga por culpa de los robots
- Páginas que ya no existen y están siendo indexadas
- Archivos que no interesa su indexación
- Etc
Por ello en este archivo se especifican los lugares que se deben "bloquear" para las arañas.
También se puede especificar qué lugar si se quieren rastrear. En ciertas ocasiones se puede observar a través de las herramientas como el Search Console problemas con los robots ya que no consiguen analizar un sitio, por lo que concrentando que sitio si se quiere permitir, se aumentan las posibilidades de que los bots accedan a leer ese contenido.
