# robots.txt para lassalinas.cl
# Última actualización: 6 de agosto de 2026
# Política: Acceso permitido para búsqueda tradicional, citación en vivo y entrenamiento de IA.
# Servir estrictamente como texto plano (Content-Type: text/plain).

# --------------------------------------------------
# Buscadores de búsqueda tradicional
# --------------------------------------------------
User-agent: Googlebot
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Bingbot
Allow: /

User-agent: Slurp
Allow: /

User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: YouBot
Allow: /

# --------------------------------------------------
# Bots de entrenamiento y análisis de modelos de IA
# --------------------------------------------------
User-agent: CCBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: Bytespider
Allow: /

User-agent: Amazonbot
Allow: /

User-agent: meta-externalagent
Allow: /

User-agent: cohere-ai
Allow: /

User-agent: Diffbot
Allow: /

# --------------------------------------------------
# Regla general para buscadores tradicionales
# Bloqueo de endpoints REST de WordPress
# --------------------------------------------------
User-agent: *
Allow: /
Disallow: /wp-json/
Disallow: /?rest_route=

# --------------------------------------------------
# Crawl-delay para bots de IA pesados (opcional)
# Algunos bots lo respetan para evitar sobrecarga
# --------------------------------------------------
# User-agent: GPTBot
# Crawl-delay: 1

# User-agent: CCBot
# Crawl-delay: 1

# --------------------------------------------------
# Sitemap
# --------------------------------------------------
Sitemap: https://lassalinas.cl/sitemap_index.xml