Publica a escala sin retrasos de indexación con una lista de verificación sencilla sobre presupuesto de rastreo, enlaces internos, sitemaps y pings proactivos que ayudan a que tus páginas se encuentren más rápido.
Los retrasos de indexación suelen seguir el mismo patrón: publicas, la página está en vivo, pero no aparece en búsqueda durante días (a veces semanas). Con poco volumen, ese retraso pasa desapercibido. Cuando publicas docenas de URLs al día, el retraso se hace evidente porque las páginas nuevas se acumulan más rápido de lo que entran en el índice.
Un signo común es un estado en Search Console como "Crawled, currently not indexed." Eso significa que un bot visitó la URL, pero no la almacenó como resultado buscable. Otro patrón: solo una porción de tus páginas más nuevas se indexa, mientras que áreas más antiguas del sitio siguen rindiendo con normalidad.
Cuando saltas de 10 páginas a 1.000+, los crawlers tienen que elegir dónde invertir tiempo. Si tu sitio genera muchas URLs similares (duplicados, páginas delgadas, variantes con parámetros), los bots pueden malgastar visitas en lo equivocado. Las páginas que realmente te importan terminan esperando.
Los problemas frecuentes detrás de "crawled but not indexed" en sitios de alto volumen suelen reducirse a unas causas:
noindex accidental, recursos bloqueados).Una forma rápida de distinguir problemas de calidad de problemas de descubrimiento es muestrear un lote pequeño de URLs nuevas (por ejemplo 20) y hacer dos preguntas.
Primero: ¿puede un crawler descubrirla fácilmente? Confirma que la URL está en tu sitemap XML, tiene al menos un enlace interno prominente, devuelve 200 OK y no está bloqueada por reglas de robots.
Segundo: si se descubre, ¿vale la pena indexarla? Busca verdadera unicidad (no es una reescritura de una página existente), coincidencia clara de intención (responde una pregunta real) y suficiente sustancia (detalles y ejemplos, no solo una plantilla).
Si la mayoría de tu muestra falla la primera pregunta, tienes un problema de sistema de descubrimiento. Si pasan el descubrimiento pero fallan la segunda, tienes un problema de calidad y duplicación. Arregla lo correcto y el backlog suele reducirse rápido.
Publicar no hace que una página sea inmediatamente buscable. Los motores la mueven por una tubería, y los retrasos pueden ocurrir en cualquier paso.
Descubrimiento es cuando un motor de búsqueda sabe que existe una URL. Eso suele ocurrir por enlaces internos, tu sitemap XML o una mención externa.
Rastreo es cuando un bot visita la URL y descarga lo que ve (HTML, recursos clave y a veces URLs vinculadas adicionales). El rastreo está limitado por tiempo y atención, así que algunas páginas se visitan tarde o raramente.
Indexación es cuando el motor decide si almacenar la página y mostrarla en resultados, y para qué consultas. Una página rastreada no está garantizada para indexarse.
El flujo se ve así:
La mayoría de las lentitudes ocurren antes de que el bot llegue a la página, o justo después de que la rastrea.
Los retrasos de descubrimiento aparecen cuando las páginas nuevas están huérfanas (sin enlaces que apunten a ellas) o cuando los sitemaps están desactualizados.
Los retrasos de rastreo a menudo vienen de desperdiciar crawls en URLs de bajo valor (rutas duplicadas, páginas facetadas, spam de parámetros) o de respuestas lentas del servidor.
Los retrasos de indexación ocurren cuando las páginas parecen demasiado similares a otras, tienen contenido delgado, envían señales mixtas (canonical apuntando a otro lugar, noindex accidental) o cargan contenido clave tarde.
Palancas rápidas son mayormente técnicas y estructurales: enlaces internos más fuertes desde páginas ya rastreadas, sitemaps precisos, menos trampas de rastreo, mejores tiempos de respuesta y pings de indexación proactivos cuando tienen sentido.
Palancas lentas toman tiempo: calidad general del sitio, consistencia, enlaces ganados y señales de engagement a largo plazo.
No necesitas un tablero complejo para detectar problemas temprano. Controla un conjunto pequeño de números cada semana:
Publicar a gran escala no es solo crear buenas páginas. También se trata de facilitar que los crawlers dediquen tiempo a las páginas que importan.
El crawl budget se desperdicia cuando los bots siguen encontrando muchas versiones de lo mismo, o muchas páginas que ofrecen poco valor. Los culpables típicos son parámetros de URL (ordenación, etiquetas de seguimiento), filtros facetados, archivos por etiquetas, vistas para imprimir y páginas que apenas difieren entre sí.
Señales de que estás perdiendo crawl budget:
?sort= o ?ref=)La velocidad y los errores afectan directamente la frecuencia de vuelta de los bots. Si tu sitio es lento o devuelve errores con frecuencia, los crawlers retroceden para no malgastar recursos. Arreglar errores 5xx, reducir timeouts y mejorar tiempos de respuesta puede aumentar la frecuencia de rastreo más que publicar aún más páginas.
Bloquear secciones de bajo valor puede ayudar, pero con cuidado. Bloquea áreas verdaderamente inútiles (combinaciones infinitas de filtros, resultados de búsqueda internos, páginas de calendario que generan URLs sin fin). No bloquees páginas que realmente quieras indexar solo porque son nuevas. Si una página debe posicionarse después, igual necesita ser rastreable ahora.
Aunque no puedas cambiar fácilmente la generación de URLs, puedes reducir señales duplicadas:
Ejemplo: una página de categoría de ecommerce podría existir como /shoes, además de /shoes?sort=price y /shoes?color=black. Mantén /shoes indexable y enlazada internamente. Canonicaliza las variaciones hacia /shoes y mantén las variaciones fuera del sitemap. Eso empuja a los crawlers hacia la página correcta y fuera de bucles.
Cuando publicas mucho, los enlaces internos son tu señal de descubrimiento más rápida. Los motores sólo pueden rastrear lo que pueden encontrar. Si las nuevas URLs no están enlazadas desde páginas que ya se rastrean, a menudo permanecen sin ser detectadas incluso si tu sitemap es perfecto.
Piensa en clusters temáticos: una página central fuerte que se mantenga relevante (una guía, página de categoría, término de glosario o FAQ), más artículos de apoyo que respondan preguntas específicas. Cuando añades un artículo de apoyo nuevo, enlázalo desde la página central y desde 1-2 artículos de apoyo relacionados. Luego enlázalo de vuelta a la página central.
Ejemplo: una página central como "Fundamentos del email marketing" puede enlazar piezas nuevas como "Ejemplos de emails de bienvenida" y "Cómo limpiar tu lista". Esas páginas nuevas enlazan de vuelta al central, así los crawlers siguen moviéndose por el cluster en lugar de detenerse.
Un hub de “contenido nuevo” ayuda cuando publicas a diario u horariamente. No necesita ser lujoso. Solo necesita ser fácil de alcanzar desde la navegación o la página principal y actualizarse automáticamente.
Mantenlo ordenado: muestra publicaciones recientes por tema y evita páginas de desplazamiento infinito que crecen sin control. Un hub así se convierte en un lugar fiable que los crawlers revisitan.
El texto de anclaje importa, pero de forma práctica. Usa palabras claras que describan la página ("lista de verificación de emails de bienvenida"), no etiquetas vagas ("haz clic aquí") ni stuffing de palabras clave.
Para la primera semana tras publicar, una regla simple funciona bien:
Vigila las páginas huérfanas (páginas sin enlaces internos que apunten a ellas). Una manera práctica de detectarlas es comparar la lista de URLs publicadas (o las URLs del sitemap) con lo que un rastreo del sitio reporta como "enlazadas internamente". Cualquier URL sin enlaces internos es un riesgo de descubrimiento.
Si tu sistema de publicación lo permite, integra enlaces internos en el paso de publicación para que las nuevas páginas no queden solas el día uno.
A gran volumen, tu sitemap XML deja de ser un "nice to have" y se convierte en un panel de control. Indica a los motores qué cambió y qué importa.
Tu sitemap debería listar solo URLs que realmente quieras indexar y que un crawler pueda cargar con éxito.
Incluye páginas que:
noindex)Mantén fuera filtros facetados, resultados de búsqueda internos, URLs parametrizadas infinitas, duplicados y páginas delgadas que no querrías que rankearan. Si una URL es un callejón sin salida para usuarios, normalmente también lo es para el rastreo.
Si publicas a diario u horariamente, trata tu sitemap como un feed vivo. Actualízalo cuando las páginas nuevas estén en vivo y elimina URLs que ya no existan o que no sean indexables. Esperar una semana puede dejar a los motores rastreando inventario antiguo mientras se pierden tus páginas más nuevas.
Usa el campo lastmod solo cuando puedas establecerlo con honestidad. Debe reflejar cambios de contenido significativos, no cada edición menor o reguardado. Inflar las fechas lastmod hace que los crawlers dejen de confiar en él.
A medida que tu sitio crece, divide sitemaps por tipo (posts de blog, glosario, noticias) o por tiempo (por mes). Los sitemaps más pequeños se actualizan más rápido y los problemas son más fáciles de detectar.
Un índice de sitemaps actúa como un directorio que apunta a cada archivo sitemap. También ayuda a que los equipos asignen propiedad, de modo que una persona mantenga limpio el sitemap del blog mientras otra se ocupa de producto o URLs del glosario.
Realiza estos chequeos regularmente, especialmente después de grandes lanzamientos:
noindex no están incluidaslastmod cambia solo cuando el contenido realmente cambiaSi generas páginas mediante una API o un CMS, automatiza estos chequeos para que los errores no crezcan con tu producción.
A escala, pequeños errores técnicos se multiplican rápido. Un ajuste incorrecto en una plantilla puede ocultar cientos de páginas de búsqueda o inundar a los crawlers con duplicados.
Los motores quieren una versión principal de cada página. Decide tu formato preferido y úsalo en todas partes: HTTPS vs HTTP, www vs sin www, y barra final vs sin barra final.
Si tu sitio es accesible de varias formas (por ejemplo, con y sin barra final), creas copias que se leen igual. Eso hace el descubrimiento más lento y la indexación menos predecible.
Las etiquetas canonical indican a los motores: "Esta página es una copia, indexa la otra." Ayudan con near-duplicates (páginas para imprimir, vistas filtradas, páginas de ubicación muy similares), pero pueden ser peligrosas si se aplican de forma amplia.
Un patrón fallido común: una nueva plantilla de blog se despliega y accidentalmente pone el canonical apuntando a la página principal del blog para cada post. Los crawlers siguen recuperando las páginas, pero la indexación se detiene porque cada página afirma que no es la versión principal.
Antes de publicar un lote, revisa algunas URLs nuevas:
noindex desactivado y no hay X-Robots-Tag: noindex).También observa las páginas “ruidosas”. Etiquetas, categorías y páginas paginadas pueden ser útiles para usuarios, pero pueden crear URLs de bajo valor sin fin si tu sistema genera muchas combinaciones. Ese ruido compite con contenido nuevo por atención.
Una regla práctica: mantén las páginas hub importantes rastreables, pero evita que variantes delgadas o repetitivas se multipliquen.
Trata cada lote como un pequeño release. El objetivo es publicar páginas que sean fáciles de rastrear, fáciles de entender y conectadas inmediatamente con el resto de tu sitio.
Realiza chequeos rápidos en plantillas y contenido para no crear 200 problemas nuevos a la vez:
Si puedes, escalona los lanzamientos. Publicar 50 páginas por día durante 4 días es más fácil de monitorizar que soltar 200 en una hora, y te ayuda a detectar errores de plantilla temprano.
Publicar no es la línea de meta. Las nuevas URLs necesitan rutas claras desde páginas ya conocidas.
Después de que el lote esté en vivo, céntrate en tres acciones: añade enlaces internos desde hubs relevantes, actualiza tu sitemap XML y envía un ping de indexación responsable (por ejemplo, IndexNow) solo para las URLs nuevas.
Dale tiempo a los motores, pero no esperes sin actuar. En el primer día o dos, muestrea 10 URLs y verifica que sean accesibles, estén enlazadas internamente y estén incluidas en el sitemap.
Si todavía no aparecen después de 48 horas, prioriza arreglos que desbloqueen el descubrimiento:
noindex (una configuración errónea puede ocultar toda una plantilla).lastmod se comporta correctamente.Ejemplo: si publicas 120 páginas de glosario, publica (o actualiza) también 3-5 hubs que las enlacen. Los hubs suelen rastrearse primero y arrastran las páginas nuevas con ellos.
Los pings de indexación son un empujón útil, no un interruptor mágico. Ayudan más cuando publicas muchas páginas y quieres que los motores noten los cambios rápido, especialmente para actualizaciones sensibles al tiempo (cambios de precio, páginas fuera de stock, noticias de última hora) o cuando eliminas URLs y quieres que desaparezcan antes.
No sirven si la página está bloqueada por robots.txt, marcada con noindex, sin enlaces internos o devuelve errores. En esos casos, los pings solo envían crawlers a un callejón sin salida.
IndexNow es un mensaje simple de "esta URL cambió" que envías a motores participantes. En lugar de esperar a que los crawlers redescubran cambios, proporcionas una lista de URLs que son nuevas, actualizadas o eliminadas. Los motores pueden entonces elegir rastrearlas antes. La indexación sigue siendo su decisión, pero el descubrimiento suele acelerarse.
Ejemplo: actualizas 200 posts antiguos con nuevas secciones. Sin pings, los crawlers podrían tardar días o semanas en revisarlos todos. Con IndexNow, puedes señalarles las URLs exactas que cambiaron.
Mantén los lotes de pings ligados a cambios reales:
El ruido es la forma más rápida de volver inútiles los pings. Evita re-pinear la misma URL cada hora, enviar URLs antes de que sean accesibles o bombardear grandes listas cuando solo cambiaron unas pocas páginas.
Los retrasos de indexación a menudo no son culpa del motor de búsqueda. Suelen ser autoinfligidos. La meta es simple: facilita a los crawlers encontrar tus mejores URLs y dificulta que pierdan tiempo en todo lo demás.
Una trampa común es producir masivamente páginas que te parecen diferentes, pero que para un crawler no lo son. Si cientos de páginas sólo cambian un nombre de ciudad, un adjetivo de producto o unas pocas frases, pueden ser tratadas como near-duplicates. Los crawlers pueden ralentizarse, indexar menos páginas o elegir una versión distinta de la que tú quieres.
Otro asesino del crawl budget es el crecimiento descontrolado de URLs. Filtros facetados, búsqueda interna, páginas de etiquetas, archivos de calendario y parámetros de seguimiento pueden multiplicarse en miles de URLs rastreables. Aunque no sean dañinas, compiten por la atención con contenido nuevo.
Errores que aparecen con más frecuencia:
noindex.Ejemplo: un blog inmobiliario publica 500 guías de vecindarios en una semana. Si cada guía es básicamente una plantilla con frases intercambiadas, y el sitio además expone filtros infinitos (habitaciones, baños, precio, orden), los crawlers pueden quedarse atrapados explorando filtros mientras las guías permanecen sin descubrir.
Arreglar esto suele ser menos cuestión de hacer más y más de afinar las señales: enlaza nuevas páginas desde unas pocas páginas de categoría muy transitadas, mantén sitemaps limpios y congela URLs hasta que las páginas hayan sido rastreadas y asentadas.
Pequeños problemas se acumulan rápido a alto volumen. Estos chequeos ayudan a que las nuevas URLs no queden atascadas.
noindex accidental, sin reglas de robots que lo bloqueen, no detrás de un login.lastmod correcto y sin duplicados.Si falla una, arréglala antes de publicar más. Si no, crearás un backlog donde los crawlers siguen revisitando las URLs equivocadas.
Escoge un día a la semana para una limpieza ligera:
noindex o devuelven error.Si tu equipo copia URLs en hojas de cálculo, edita sitemaps manualmente y envía solicitudes de indexación a mano, la automatización suele ser el punto de inflexión. Algunos equipos usan un sistema como GENERATED (generated.app) para generar y pulir contenido, mantener los sitemaps al día y enviar pings IndexNow como parte de un flujo de publicación impulsado por API, de modo que el proceso se mantenga consistente a medida que crece la producción.
Por lo general significa que el bot recuperó la página, pero decidió no almacenarla como resultado buscable. Las victorias más rápidas son confirmar que la página es realmente única, que coincide claramente con una intención de búsqueda real y que no está enviando señales mixtas como un canonical erróneo o un noindex accidental.
“Discovered” significa que el motor de búsqueda sabe que la URL existe, pero aún no la ha recuperado. Esto suele ser un problema de descubrimiento: añade enlaces internos fuertes desde páginas que ya fueron rastreadas, asegúrate de que la URL esté en un sitemap XML actualizado y elimina trampas de rastreo que distraigan a los bots de tus nuevas URLs.
Empieza con una muestra pequeña, como 20 nuevas URLs. Revisa primero el descubrimiento (indexable, devuelve 200, está en el sitemap y enlazada internamente) y luego si merece indexarse (no es casi-duplicada, responde a una pregunta y tiene suficiente sustancia). El patrón en esa muestra suele indicar qué lado está fallando.
El crawl budget es la atención limitada que los bots dedican a tu sitio, especialmente cuando publicas mucho. Si generas URLs de bajo valor sin control (parámetros, filtros, duplicados), los crawlers desperdician visitas y tus páginas importantes esperan más para ser rastreadas y evaluadas.
Porque los bots siguen enlaces y vuelven con más frecuencia a las páginas populares y bien enlazadas. Si tus nuevas páginas no están enlazadas desde páginas que ya se rastrean, pueden quedarse sin ser vistas incluso si tu sitemap está perfecto.
Una página hub de “contenido nuevo” es una página única, fácil de alcanzar desde la navegación principal, que siempre muestra URLs recientes. Ayuda a los crawlers a encontrar enlaces frescos repetidamente sin tener que buscarlos, siempre que se mantenga ordenada y no se convierta en una página de desplazamiento infinito.
Incluye solo las URLs que realmente quieres indexar y que devuelven un 200 limpio con contenido real. Si tu sitemap está lleno de URLs que redirigen, parametrizadas, canónicas o con noindex, estás pidiendo a los crawlers que pierdan tiempo en páginas que ni siquiera quieres.
Usa lastmod solo para cambios de contenido significativos, no para cada pequeña edición o reguardado. Si inflas lastmod, los crawlers aprenderán a ignorarlo y perderás una de las señales más fáciles sobre qué es realmente nuevo o actualizado.
Un mal canonical puede bloquear la indexación silenciosamente, por ejemplo señalando cada post al homepage del blog. Antes de publicar un lote, inspecciona algunas páginas para confirmar que el canonical apunta a la propia página (en páginas normales) y que coincide con tu formato preferido de URL.
IndexNow funciona como un empujón para URLs que son genuinamente nuevas, se han actualizado de forma significativa o se han eliminado, y solo después de que sean accesibles y estén enlazadas internamente. No arregla páginas bloqueadas, con noindex, rotas o de poco valor; solo envía a los crawlers al mismo punto muerto más rápido.