Robots.txt y LLMs

  • Resolved lofersop

    (@lofersop)


    3 weeks, 5 days ago

    Hola,

    Uso el plugin VigIA y quería una recomendación tras detectar un error al analizar el sitio con PageSpeed Insights (informe de Rastreo e Indexación) y con el validador de robots.txt de Search Console.

    LLMs: y LLMs-full: no son directivas válidas del estándar robots.txt (RFC 9309). Las únicas directivas reconocidas son User-agent, Disallow, Allow, Sitemap y, de forma no estándar, Crawl-delay. Por eso tanto PageSpeed Insights como el validador de Search Console marcan el archivo como no válido, con el error “Unknown directive” en esas dos líneas.

    Recomiendan desactivarlas del robots?

Viewing 1 replies (of 1 total)
  • Plugin Author Fernando Tellado

    (@fernandot)

    3 weeks, 5 days ago

    Hola @lofersop

    Efectivamente, no son directivas estándar, no las leen los bots de search, pero sí los de IA, pero no es un “error” ni nada malo en sí mismo, igual que si usas AI Content Signals de Cloudflare (usando mi plugin o directamente) también te dirá que sus directivas no son estándar, pero siguen teniendo su uso.

    Para evitar estas cosas (sustos o dudas) con mi plugin Visibility, que también tiene la funcionalidad de llms.txt, los añade totalmente dentro de un comentario, con el #delante pero es lo mismo.

    Vamos, que no es fallo, ni error, ni pasa nada, y el archivo sigue siendo válido, eso de que no es válido no se corresponde con nada, de hecho si miras los errores de rastreo de la misma Search Console verás que ello no impide que lea lo que debe y no lea lo que le indiques en el robots 🙂

    Dicho esto, igual añado cuando pueda la misma dinámica que con Visibility y lo pongo todo con comentario delante para que no se asuste el personal con estas cosas

    Gracias 🙂

    Fernando

Viewing 1 replies (of 1 total)

You must be logged in to reply to this topic.