SEO

Qué es el Crawl Budget y cómo sacarle partido para tu SEO

Que es el crawl budget y como optimziarlo

Cuando hablamos de SEO nos vienen a la cabeza aspectos como las palabras clave, el contenido, los elementos On Page (metas, headings, imágenes, etc..) entre  factores SEO. Es decir, en lo primero que solemos pensar es en elementos que van orientados a la optimización de queries, dejando de lado aspectos muy importantes como, por ejemplo, la optimización del Crawl Budget que los buscadores nos asignan.

En el post de hoy os explicaremos las bases para entender todo lo relacionado con este tema y también explicaremos a fondo cómo optimizarlo. Además, hemos incluido uno de los vídeos de nuestro canal de Youtube para que puedas visualizarlo. ¿Empezamos?

¿Qué es un crawler?

Aunque muchos de vosotros ya sepáis como funciona Google, es interesante hacer un repaso antes de entrar en materia.

¿Alguna vez os habéis preguntado cómo encuentra Google un sitio web? Los principales buscadores se sirven de rastreadores web, en adelante crawlers, para conseguir este objetivo. Un crawler no es más que una pequeña pieza de software que va navegando por Internet siguiendo todos los enlaces que se encuentra con el objetivo de recopilar toda la información de las páginas que ha visitado y guardarla en sus servidores. A partir de ahí, estos ordenan toda esta información en función de unos parámetros y la guardan en su índice para después mostrársela a los usuarios. Aunque pueda parecer sencillo, este proceso es más complejo de lo que parece. 

Cómo habéis notado, al hablar de buscadores, siempre hago referencia a Google y, en parte, esto normal ya que en España es el buscador más utilizado con diferencia. Por este motivo vamos a centrar un poco más la explicación en el crawler de Google, que no es otro que Googlebot.

En el fondo, Googlebot no se compone solo de un rastreador ya que Google utiliza varios rastreadores de manera habitual para encontrar información. Este hecho es necesario tenerlo en cuenta ya que cada uno de estos crawlers suele centrarse en un tipo de información: noticias, imágenes, vídeo, mobile, etc.. En el siguiente enlace podréis encontrar una tabla en el que están enumerados todos los rastreadores de Google.

Ahora si… ¿Qué es el crawl Budget?

Ahora que todo el mundo sabe cómo funcionan los buscadores, podemos dar un paso más. Aunque pueda parecer mentira, los recursos de Google son finitos. Por este motivo, Google asigna a sus rastreadores un tiempo, en adelante crawl budget, para rastrear cada sitio web. Y he ahí el quid de la cuestión. En base a la autoridad, accesibilidad, calidad y velocidad del site Google asignará más o menos tiempo para que esos robots rastreen sus diferentes páginas.

Y ahora la pregunta del millón.

¿Por qué es importante el crawl Budget para SEO?

Se puede llegar a dar el caso de que el crawl Budget que Google asigna a sus rastreadores para crwalear un sitio web no sea suficiente para que estos visiten de manera regular algunas páginas del site. Si este hecho se produce, lo más probable es que estas páginas no posicionen tan bien como nos gustaría ya que, según nuestra experiencia, hemos podido observar que aquellas páginas que son rastreadas más a menudo reciben más tráfico orgánico que aquellas que no reciben la visita de Googlebot. Tened en cuenta que, si esto pasa con páginas que son vitales para el negocio, tendremos problemas.

¿Cuándo es recomendable trabajar el Crawl Budget?

Según fuentes oficiales de Google:

como trabajar crawl budget

En webs pequeñas, es decir, de menos de 100 páginas, no es necesario centrarse en trabajar este aspecto, ya que Google tiene recursos de sobras para procesar este tipo de páginas.

Según nuestra experiencia, recomendamos optimizar el Crawl Budget para páginas de más de 5.000 URLs o en aquellas en las que se generen de manera masivas páginas con parámetros, por ejemplo. 

¿Cuál es mi Crawl Budget?

Para conocer tu Crawl Budget, Google Search Console es tu mejor aliado. Basta con acceder al Informe de Crawl Stats a través del menú lateral de tu propiedad:

Cual es mi crawl budget paso 1

Al acceder os aparecerá un informe como este:

Cual es mi crawl budget paso 2

A continuación os dejamos un recurso oficial que explica cada una de estas métricas en detalle, pero, el gráfico más importante de los tres es el de «pages crawled per day». Basta con comparar este KPI contra el número de páginas de vuestro site (hacer también lo mismo pero solo contra el número de páginas relevantes para vuestro negocio) para saber si hay un problema o no. Si se crawlean menos páginas de las que tiene vuestro site, ha llegado el momento de ver que pasa 

¿Cómo auditar mi Crawl Budget?

La manera más fácil de auditar vuestro Crawl Budget es a través del análisis de logs, ya que estos nos permiten saber en todo momento cómo interactúan los rastreadores de Google con nuestro sitio web.

Existen varias formas de analizar los logs pero, a grosso modo, las dos más habituales son:

  • A través de herramientas ya preconfiguradas: Screaming Frog File Log Analyzer o Botify
  • Crear una herramientas propias a través de otras herramientas como podrían ser: Kibana, Elastic Search, Big Query, Datastudio,…

Si estás empezando con todo lo que tiene que ver con los logs y su análisis, te recomendamos que empieces Screaming Frog Log Analyzer, ya que, con un breve set up, tendrás unos informes excelentes que te permitirán sacar conclusiones.

Cuando estés trasteando los logs, intenta resolver preguntas como:

  • ¿Cada cuánto visita Googlebot mi web?
  • ¿Qué páginas o secciones visita más?
  • ¿Qué páginas o secciones no visita?
  • ¿Cuánto tarda en descargar cada tipo de página?
  • ¿Qué páginas demanda y dan errores?

Aplicando el sentido común y respondiendo estas preguntas seguro que ya encuentras cosas que no están bien, como por ejemplo:

  • Google está destinando tiempo de rastreo a páginas con errores 4xx
  • Hay secciones o páginas que tienen un protagonismo muy algo en cuanto a rastreo ser refiere, pero no es representaivo en cuanto a negocio.

¿Cómo aumentar mi Crawl Budget?

Ahora que ya tienes toda la información necesaria, toca arremangarse y ponerse manos a la obra. Para mejorar el rastreo basta con:

Velocidad de carga

Esta es fácil, si tu web carga más rápida, Googlebot podrá rastrear más páginas con el budget designado.

Optimización vía robots.txt

Asegurate de dirigir a Googlebot hacía aquellas secciones que sean prioritarias a nivel de negocio y evita que rastree aquellas que no aportan.Sobre este tema tenéis un tutorial super completo en este vídeo.

Cadenas de redirecciones, errores, sitemaps.xml y control de etiquetas 

Debemos asegurarnos que nuestro sitio está bien organizado y que no hacemos perder el tiempo a Googlebot en:

  • Etiquetas canonical mal puestas o contradictorias
  • Sitemaps que contienen páginas con errores, redirecciones o bloqueadas
  • Enlazado interno apuntando a páginas con errores, redirecciones o bloqueadas
  • Bucles de redirecciones
  • Bloquear vía meta robots de páginas importantes

Contenido pobre o duplicado

Es vital reducir o gestionar muy bien el contenido pobre y/o duplicado de tu site. Hay que evitar que Googlebot dedique recursos a páginas que no aportan nada,como por ejemplo:

  • Facetados o páginas con parámetros
  • Páginas de productos en diferentes tamaños, formatos, …
  • Páginas hackeadas
  • Productos discontinuados

Aumenta tu autoridad

Finalmente, la autoridad juega un papel clave. Es muy recomendable activar una campaña de relaciones públicas para que terceros hablen de nosotros

Casos de éxito relacionados con el Crawl Budget

How we optimized our Crawl Budget by removing 72% of Skroutz indexed URLs while growing to 30 million sessions

Crawl Budget Optimization for classified websites

Experimentos relacionados con el Crawl Budget

Ready, Set, Go! Googlebot Race

JavaScript vs. Crawl Budget: Ready Player One

Website Performance and the Crawl Budget




9 Comments

  1. 7 de julio de 2021 at 7:56 pm

    Roger

    Responder

    Hola, si tu lográs indexar el 100% de las urls que te propones, con la api de indexación, el crawl budget debe preocuparte?

    es decir, el crawl budget sirve para algo más que indexar y actualizar contenido?

    1. 9 de julio de 2021 at 9:06 am

      Manuel Jimenez

      Responder

      Hola Roger,

      Sí, también sirve para el rastreo, etapa anterior a la indexación. Si tu web es eficiente, más páginas podrá rastrear en sus visitas, tanto para revisar la actualización de contenido como para descubrir nuevas.

      Igualmente, el tema del crawl budget no es una prioridad según el tamaño de la web. Si tienes una arquitectura eficiente una web pequeña/mediana no deberías preocuparte por ello

      Un saludo

  2. 3 de octubre de 2018 at 4:52 pm

    Sonia

    Responder

    Hola, estoy buscando información para optimizar el crawl budget y no encuentro nada en español, has escrito algo?

  3. 19 de junio de 2018 at 10:20 am

    Tico Santos

    Responder

    He puesto en no index también página de política de privacidad, cookies, página de contact y he notado una mejoría en la indexación de los contenidos que hago y también en el posicionamiento… Muy buen artículo saludos…

  4. 4 de noviembre de 2016 at 1:53 pm

    Alba Brotons

    Responder

    ¡Enhorabuena por el artículo, Manuel! Te agradezco una explicación sobre el Crawl Budget tan clara, completa y sin relleno irrelevante. Es la primera vez que entro en este blog y ha sido un gran descubrimiento. Sigue así 😉

  5. 5 de octubre de 2016 at 8:58 pm

    Davidez

    Responder

    Muy buen artículo! La verdad es que el crawl budget cada vez es más importante para una web, en especial para ecommerce y webs de miles de URLs. Es importante saber diferenciar bien aquellas URLs que reciben tráfico y que están indexadas por Google y ver con qué regularidad pasa el bot por nuestra web y por esas URLs y que no pase por URLs que no nos interesa. Así podemos bloquearlas por robots, noindex, etc…

  6. 9 de agosto de 2016 at 11:26 am

    Dean Romero

    Responder

    Hola Manuel,
    Me ha encantado el post y el Crawl Budget es algo de lo que estoy empezando a leer cada vez más,
    ¿Finalmente vais a seguir finalmente con la serie de post dedicados a él? Me encantaría leerlos,
    Un abrazo y un saludo para Iván 🙂

    1. 17 de agosto de 2016 at 2:55 pm

      Manuel Jimenez

      Responder

      Hola Dean,
      Me alegro de que te haya gustado. Sí, tengo intención de seguir profundizando sobre este tema ya que, como bien dices, es muy interesante y es uno de los grandes desconocidos del SEO. A ver si puedo hacer un hueco y me pongo con ello.
      Muchas gracias por tu comentario
      Un saludo

  7. 24 de diciembre de 2015 at 2:36 pm

    pwp:posicionamiento web

    Responder

    saludos querido amigo, aprecio mucho tu articulo y agrego que la explicacion con respecto a lo que es un crawler es muy acertada, espero nos sigas sorprendiendo con estos aportes. saludos desde chile

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *