Hola estimado lector, hoy voy a enseñar en este blog, qué es el archivo robots.txt, cómo afecta éste al SEO, y cómo podemos habilitarlo en nuestro blog Blogger. La mala configuración de robots.txt puede hacer que nuestra página web no se indexe correctamente en los diferentes buscadores.
¿Qué es robots.txt? Básicamente lo que es un fichero de texto, en el cual le indicaremos a Google, Yahoo, y a otros buscadores qué queremos que se indexe a nuestra página web, y qué NO queremos que se indexe de nuestra página web.
En nuestro caso como queremos que se indexe todo vamos a poner las opciones por defecto en el manual de Google de robots.txt:
# Grupo 1
User-agent: Googlebot
Disallow: /nogooglebot/
# Grupo 2
User-agent: *
Allow: /
Sitemap: http://www.example.com/sitemap.xml
Una vez copiado este código nos vamos a blogger.com:
- Configuración, Preferencias para motores de búsqueda, archivos robots.txt,
Nos aseguramos también que sitemap.xml devuelve un fichero en formato XML.
Pues nada, sólo quería postear esto, espero que hayáis aprendido algo, si queréis alguna sugerencia, idea o problema podéis contactar conmigo. Sin más me despido, un saludo y hasta el próximo post.
FUENTE:
https://support.google.com/webmasters/answer/6062596?hl=es
https://technicalseo.com/tools/robots-txt/