Blog de marketing digital y SEO

¿Qué es el Crawl Budget?

gravatar
Por Manuel Jimenez
Post publicado en SEO
COMPARTIR
¿Qué es el Crawl Budget?
3.8 (75%) 4 vote[s]

Cuando hablamos de SEO por lo general siempre nos viene a la cabeza aspectos como las palabras clave, el contenido, los elementos On Page (metas, headings, imágenes, etc..) entre factores SEO. Es decir, en lo primero que solemos pensar es en elementos que van orientados a la optimización de queries, dejando de lado aspectos muy importantes como por ejemplo la optimación del crawl budget que los buscadores nos asignan.

Justamente de eso va el post de hoy. En este artículo os explicaremos las bases para entender todo lo relacionado con este tema y en futuros posts profundizaremos más en el tema para que optimicéis vuestros sitios para Googlebot.

¿Qué es un crawler?

Aunque muchos de vosotros ya sepáis como funciona Google, es interesante hacer un repaso antes de entrar en materia.
¿Alguna vez os habéis preguntado cómo encuentra Google un sitio web? Los principales buscadores se sirven de rastreadores web, en adelante crawlers, para conseguir este objetivo. Un crawler no es más que una pequeña pieza de software que va navegando por Internet siguiendo todos los enlaces que se encuentra con el objetivo de recopilar toda la información de las páginas que ha visitado y guardarla en sus servidores. A partir de ahí, estos ordenan toda esta información en función de unos parámetros y la guardan en su índice para después mostrársela a los usuarios. Aunque pueda parecer sencillo, este proceso es más complejo de lo que parece. Si queréis profundizar más en el tema, os recomiendo que le echéis un vistazo a este artículo del propio Google.

Cómo habéis notado, al hablar de buscadores, siempre hago referencia a Google y, en parte, esto normal ya que en España es el buscador más utilizado con diferencia. Por este motivo vamos a centrar un poco más la explicación en el crawler de Google, que no es otro que Googlebot.

En el fondo, Googlebot no se compone solo de un rastreador ya que Google utiliza varios rastreadores de manera habitual para encontrar información. Este hecho es necesario tenerlo en cuanta ya que cada uno de estos crawlers suele centrarse en un tipo de información: noticias, imágenes, vídeo, mobile, etc.. En el siguiente enlace podréis encontrar una tabla en el que están enumerados todos los rastreadores de Google.

Ahora si… ¿Qué es el crawl Budget?

Ahora que todo el mundo sabe cómo funcionan los buscadores, podemos dar un paso más. Aunque pueda parecer mentira, los recursos de Google son finitos. Por este motivo, Google asigna a sus rastreadores un tiempo, en adelante crawl budget, para rastrear cada sitio web. Y he ahí el quid de la cuestión. En base a la autoridad, accesibilidad, calidad y velocidad del site Google asignará más o menos tiempo para que esos robots rastreen sus diferentes páginas.

Y ahora la pregunta del millón.

¿Por qué es importante el crawl Budget para SEO?

Se puede llegar a dar el caso de que el crawl Budget que Google asigna a sus rastreadores para crwalear un sitio web no sea suficiente para que estos visiten de manera regular algunas páginas del site. Si este hecho se produce, lo más probable es que estas páginas no posicionen tan bien como nos gustaría ya que, según nuestra experiencia, hemos podido observar que aquellas páginas que son rastreadas más a menudo reciben más tráfico orgánico que aquellas que no reciben la visita de Googlebot.

Como os decíamos en la introducción, si os ha interesado el tema y os gustaría saber cómo optimizar vuestro crawl budget para mejorar el SEO de vuestro proyecto, estad atentos a las siguientes publicaciones del blog.

newsletter 7 comentarios

Dejar un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

*

*

  • pwp:posicionamiento web

    saludos querido amigo, aprecio mucho tu articulo y agrego que la explicacion con respecto a lo que es un crawler es muy acertada, espero nos sigas sorprendiendo con estos aportes. saludos desde chile

  • Dean Romero

    Hola Manuel,
    Me ha encantado el post y el Crawl Budget es algo de lo que estoy empezando a leer cada vez más,
    ¿Finalmente vais a seguir finalmente con la serie de post dedicados a él? Me encantaría leerlos,
    Un abrazo y un saludo para Iván 🙂

    2
    • Manuel Jimenez

      Hola Dean,
      Me alegro de que te haya gustado. Sí, tengo intención de seguir profundizando sobre este tema ya que, como bien dices, es muy interesante y es uno de los grandes desconocidos del SEO. A ver si puedo hacer un hueco y me pongo con ello.
      Muchas gracias por tu comentario
      Un saludo

      1
  • Davidez

    Muy buen artículo! La verdad es que el crawl budget cada vez es más importante para una web, en especial para ecommerce y webs de miles de URLs. Es importante saber diferenciar bien aquellas URLs que reciben tráfico y que están indexadas por Google y ver con qué regularidad pasa el bot por nuestra web y por esas URLs y que no pase por URLs que no nos interesa. Así podemos bloquearlas por robots, noindex, etc…

  • Alba Brotons

    ¡Enhorabuena por el artículo, Manuel! Te agradezco una explicación sobre el Crawl Budget tan clara, completa y sin relleno irrelevante. Es la primera vez que entro en este blog y ha sido un gran descubrimiento. Sigue así 😉

  • Tico Santos

    He puesto en no index también página de política de privacidad, cookies, página de contact y he notado una mejoría en la indexación de los contenidos que hago y también en el posicionamiento… Muy buen artículo saludos…

  • Sonia

    Hola, estoy buscando información para optimizar el crawl budget y no encuentro nada en español, has escrito algo?

Mejora tu posicionamiento web

Empieza hoy