El
robots.txt es un fichero que suele estar disponible en la raíz de un sitio Web
(es decir, http://miWebsite/robots.txt). Se trata de un fichero que las arañas
de los buscadores piden antes de descargar ninguna página de un sitio Web.
En el
fichero robots.txt se pueden especificar qué páginas y/o directorios se pueden
o no indexar en los buscadores. El fichero robots.txt suele utilizarse con
diferentes propósitos:
- Para evitar que cierta información sensible esté indexada en los buscadores.
- Para evitar que información poco útil se indexe y concentrar la actividad del buscador sobre las páginas más importantes
- Para especificar la ruta del sitemap XML
Muchos
sitios Web no disponen de robots.txt. En tal caso, los buscadores asumen que el
propietario de dicho sitio no impone ningún tipo de reglas al rastreo e
indexación.
Como
ejemplo se propone el robots.txt de Wikipedia:
http://en.wikipedia.org/robots.txt
En breve la proxima entrada del curso seo gracias a nuestros
amigos de la Agencia de Marketing Digital Cancún
No hay comentarios:
Publicar un comentario