Meta Robots

Qué es el Meta Robots y para qué sirve

Las directivas meta robots o «meta etiquetas» son piezas de código HTML situadas en la cabecera de una página que se encargan de proporcionar a los buscadores instrucciones precisas sobre cómo deben rastrear e indexar el contenido de dicha URL.

Es decir, le indican a Google y otros buscadores si debe o no indexar el contenido de la página en cuestión y si debe o no rastrear los enlaces que haya en esta página.

Dónde y cómo se implementa la etiqueta meta robots

La etiqueta meta robots se debe colocar en la sección <head> de la página web en cuestión y debe incluir dos atributos, name y content, para que funcione de manera adecuada.

Atributo "name"

El atributo name indica a qué rastreadores se aplica. Con el valor robots, la instrucción se dirige a todos; con el nombre de un rastreador concreto (googlebot, googlebot-news, bingbot…), solo a ese.

Atributo "content"

El atributo content indicará cómo debe comportarse en función de los parámetros utilizados.

Ejemplo de Meta Etiqueta

A continuación mostramos un ejemplo de meta etiqueta:

<head>
  <meta name="robots" content="noindex, follow" />
</head>

Con name="robots" la instrucción va dirigida a todos los rastreadores, y content="noindex, follow" les pide que no indexen la página pero que sí sigan sus enlaces.

Si quieres dar la instrucción solo a Google, usa el nombre de su rastreador:

<meta name="googlebot" content="noindex" />

En este caso solo Googlebot dejará de indexar la página; el resto de buscadores no se verá afectado. Si una página tiene a la vez una etiqueta para robots y otra para googlebot, Google combina las directivas de ambas y, si chocan, aplica la más restrictiva.

Parámetros de control de indexación

Estas son las directivas que Google admite en la etiqueta meta robots y en la cabecera X-Robots-Tag. Puedes combinar varias separándolas con comas:

• all: sin restricciones de indexación ni de presentación. Equivale a index, follow, que es el comportamiento por defecto, así que no hace falta declararlo.
• noindex: no mostrar la página en los resultados de búsqueda. Más detalle en la etiqueta noindex.
• nofollow: no seguir los enlaces de la página.
• none: equivale a noindex, nofollow.
• nosnippet: no mostrar un fragmento de texto ni una vista previa de vídeo de la página en los resultados.
• indexifembedded: permite que Google indexe el contenido de una página cuando se inserta en otra mediante un iframe, aunque la página tenga noindex. Solo tiene efecto junto a noindex.
• max-snippet:[número]: número máximo de caracteres del fragmento de texto. Con 0 no se muestra fragmento y con -1 no hay límite.
• max-image-preview:[none|standard|large]: tamaño máximo de la vista previa de imagen que puede mostrarse para la página.
• max-video-preview:[número]: duración máxima, en segundos, de la vista previa de vídeo. Con 0 solo puede mostrarse una imagen estática y con -1 no hay límite.
• notranslate: no ofrecer la traducción de la página en los resultados de búsqueda.
• noimageindex: no indexar las imágenes de la página.
• unavailable_after:[fecha]: dejar de mostrar la página en los resultados a partir de la fecha indicada (en un formato estándar como ISO 8601).
• noarchive: pedía no mostrar la copia en caché de la página. Google retiró los enlaces a la caché en 2024, así que esta directiva ya no tiene efecto en Google.

Directivas para los diferentes buscadores

Sin embargo, no todos los buscadores admiten todas las directivas. Google y Bing documentan cuáles reconocen:

• Google: todas las de la lista anterior, según su guía de especificaciones de la metaetiqueta robots. noarchive ya no tiene efecto.
• Bing: noindex, nofollow, noarchive (o su equivalente nocache), nosnippet y la familia max-snippet, max-image-preview y max-video-preview.

Si trabajas con otros buscadores o rastreadores, consulta su documentación: una directiva que un buscador no reconoce simplemente se ignora.

Ejemplo de uso e interpretación de directivas

Los parámetros más comunes que vamos a encontrar y útiles de cara al SEO son la etiqueta index, etiqueta noindex, etiqueta follow y la etiqueta nofollow. Estas son sus combinaciones habituales:

<meta name="robots" content="index, follow" />

Esta metaetiqueta le indica a Googlebot y demás rastreadores que indexen el contenido para incluirlo en sus resultados y que sigan todos los enlaces que encuentren en esta URL.

Por defecto, cuando no hay ninguna meta robots en la URL, esta es la instrucción que todos los bots sobrentienden al rastrearla. Así que no es necesario incluirla para que se indexen tus contenidos.

<meta name="robots" content="noindex, follow" />

En este caso le indicas al buscador que no indexe la URL en cuestión, de modo que no aparezca en sus resultados, pero que sí siga los enlaces que encuentre al rastrear la página.

Solemos usarla en páginas con poco valor para el usuario en los resultados de búsqueda pero que contienen enlaces que nos interesa que siga el buscador para llegar a otras secciones de la web.

<meta name="robots" content="noindex, nofollow" />

La metaetiqueta «noindex, nofollow» indica a los buscadores que no indexen la página y que además no sigan los enlaces que se encuentren en ella. Equivale a «none».

¿Cuándo usar esta directiva?

Generalmente cuando el contenido de la página no aporta ningún valor en los resultados y tampoco quieres que el buscador siga los enlaces que contiene.

<meta name="robots" content="index, nofollow" />

Aquí le pides a los buscadores que incluyan la página en su índice pero que no sigan los enlaces que encuentren en ella. Es una combinación poco habitual: si solo quieres que no se sigan algunos enlaces concretos, márcalos uno a uno con un enlace nofollow.

Tipos de etiquetas Robots

Hay dos tipos de meta robots:

1. Etiqueta meta robots: forma parte del HTML de la página y se coloca en la sección <head>.
2. Cabecera X-Robots-Tag: el servidor la envía en la respuesta HTTP de la URL, junto al resto de cabeceras.

Así se ve la cabecera X-Robots-Tag en una respuesta HTTP:

HTTP/1.1 200 OK
Content-Type: application/pdf
X-Robots-Tag: noindex

En ambos casos funcionan los mismos parámetros e instrucciones de indexación: «noindex», «nofollow» y el resto pueden utilizarse tanto en la meta robots como en la cabecera X-Robots-Tag.

Lo que difiere es la forma en que esos parámetros se comunican a los rastreadores.

En concreto, la cabecera X-Robots-Tag permite aplicar directivas a archivos que no son HTML, como PDF, imágenes o vídeos, y aplicarlas a muchas URLs a la vez. La cabecera no admite expresiones regulares por sí misma: los patrones (por ejemplo, «todos los PDF») se definen en la configuración del servidor, como Apache o Nginx.

Por ejemplo, en Apache esta regla añade noindex a todos los PDF del sitio:

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex"
</Files>

Nota: No es necesario utilizar la meta robots y la cabecera X-Robots-Tag en la misma página, ya que es redundante. Si lo haces, Google combina las directivas de ambas y aplica la más restrictiva.

Por qué son importantes

Junto al archivo robots.txt, que controla el rastreo, y las etiquetas canonical, este tipo de directivas te permiten controlar la indexabilidad de tu sitio web, es decir, qué páginas aparecen en los resultados y cómo se muestran:

• Decides, página a página, qué URLs deben aparecer en los buscadores y cuáles no, sin depender de la estructura de carpetas.
• Evitas que páginas de poco valor o con contenido duplicado (búsquedas internas, filtros, páginas de agradecimiento…) compitan en los resultados con tus páginas importantes.
• Controlas cómo se presenta tu resultado: la longitud del fragmento, el tamaño de la vista previa de imágenes y vídeos o si se ofrece traducción.

Diferencias entre Meta robots vs. Robots.txt

La principal diferencia entre ellos es que las meta robots dan indicaciones sobre la indexación de las páginas, mientras que el robots.txt da indicaciones sobre el rastreo.

Es decir, el robots.txt da instrucciones de rastreo para secciones enteras de un dominio, como por ejemplo categorías, subcarpetas y archivos, pero no saca del índice las páginas que ya estén indexadas.

Por ejemplo:

Si indicamos en el robots.txt que una categoría no debe rastrearse pero las URLs de esa categoría tienen la etiqueta index porque las queremos indexar, Googlebot no podrá acceder a ellas: no leerá su contenido ni sus metaetiquetas, así que no podrá indexarlas con normalidad. Como mucho, si reciben enlaces, mostrará la URL sin descripción.

Ten en cuenta también que noindex no sirve para ahorrar presupuesto de rastreo: Google tiene que rastrear la página para leer la directiva. Eso sí, con el tiempo suele rastrear con menos frecuencia las páginas que llevan mucho tiempo en noindex.

Recomendaciones SEO para la aplicación del Meta Robots

Todas las meta directivas (robots o de otro tipo) se descubren cuando se rastrea una URL.

Esto significa que si un archivo robots.txt no permite el rastreo de la URL, cualquier meta directiva en una página (ya sea en el HTML o en la cabecera HTTP) no se verá y será, efectivamente, ignorada. Con eso en mente, estas son nuestras recomendaciones:

• No bloquees en robots.txt las URLs con noindex. Si Google no puede rastrearlas, nunca leerá la directiva y la URL puede seguir indexada.
• Para sacar una página del índice, usa noindex y deja que se rastree, o devuelve un código 404 o 410 si la página ya no existe. Un Disallow en el robots.txt no la desindexa.
• No incluyas URLs con noindex en el sitemap XML. El sitemap debe listar solo las URLs que quieres que se indexen.
• Evita directivas contradictorias, como index en la meta robots y noindex en la cabecera HTTP, o dos meta robots distintas en la misma página. Google aplica la más restrictiva.
• Usa la cabecera X-Robots-Tag para PDF, imágenes y otros archivos que no son HTML, donde no puedes añadir una metaetiqueta.
• Comprueba el resultado con la herramienta de inspección de URLs de Google Search Console: te dice si Google ha detectado el noindex y si la URL puede indexarse.

En conclusión:

Las meta etiquetas o meta robots son un gran instrumento para controlar qué páginas de tu sitio web se indexan y cómo se muestran en los resultados.

Utilizarlas de la manera correcta junto con el archivo robots.txt, las canonicals, la arquitectura web y el enlazado interno facilita el trabajo de los buscadores y ayuda a que solo compitan en los resultados las páginas que te interesan.

Recuerda que las meta robots actúan a nivel de URL.

Importante: Google y Bing tratan noindex como una directiva, no como una sugerencia: si pueden rastrear la página y leerla, no la mostrarán en sus resultados. Otros bots, en cambio, pueden ignorarla, así que no es una medida de seguridad. Para proteger contenido privado, usa una contraseña o restringe el acceso desde el servidor.

Preguntas Frecuentes

• ¿Qué método debo utilizar para bloquear rastreadores?

  Depende de lo que quieras conseguir. Estas son las 3 maneras principales de bloquear a Googlebot:

  • Robots.txt: impide que se rastreen secciones o archivos, pero no garantiza que esas URLs salgan del índice.
  • Meta robots o cabecera X-Robots-Tag con noindex: impide que una URL aparezca en los resultados. Para que funcione, la página tiene que poder rastrearse.
  • Protección con contraseña: la única forma de impedir de verdad el acceso a contenido privado.
• ¿Cuándo usar meta robots en vez de robots.txt?

  Las etiquetas meta robots deben usarse siempre que queramos controlar la indexación a nivel de página individual. Es decir para asegurar que una URL no se indexa, utiliza siempre la metaetiqueta robots o la cabecera HTTP X-Robots-Tag.