# ═══════════════════════════════════════════
# Método Hebe — robots.txt
# SEO + AEO / GEO
# Última actualización: 2026-09-04
# Política de crawlers de entrenamiento: SE PERMITE
# (GPTBot, Google-Extended, ClaudeBot, anthropic-ai, CCBot, Bytespider,
#  Applebot-Extended). Decisión consciente: el contenido clínico debe poder
# citarse en modelos. Si en el futuro se restringe entrenamiento, cambiar
# aquí a Disallow sin tocar los crawlers de búsqueda (OAI-SearchBot, etc.).
# No hay banner de cookies que oculte HTML a bots: el cuerpo es público.
# LLM docs: https://www.metodohebe.cl/llms.txt
# ═══════════════════════════════════════════

# ── Crawlers tradicionales ──
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# ── AI Training Crawlers (permitir para aparecer en modelos) ──
User-agent: GPTBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: CCBot
Allow: /

# ── AI Search/Retrieval Crawlers (crítico para GEO) ──
User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: Amazonbot
Allow: /

User-agent: Bytespider
Allow: /

User-agent: FacebookBot
Allow: /

# ── Default: permitir todo ──
User-agent: *
Allow: /

# Sitemap
Sitemap: https://www.metodohebe.cl/sitemap.xml

# IndexNow (Bing / Copilot): clave en /
# https://www.metodohebe.cl/f0e1ff44b0ff128d2711bf78b0aa90b9.txt