¿Qué es el robots.txt?

Un archivo de texto en la raíz de tu web (tuweb.com/robots.txt) que indica a los rastreadores de Google, Bing o de inteligencia artificial qué partes pueden visitar y dónde está tu sitemap.

¿Sirve para ocultar páginas o datos privados?

No. Es una petición que los rastreadores serios respetan, pero cualquiera puede leer el archivo y abrir esas direcciones. Además, una página bloqueada puede aparecer en Google si otra web la enlaza. Para que no salga en Google, usa la etiqueta «noindex»; para proteger datos, una contraseña.

¿Cómo bloqueo a ChatGPT y otras IA?

Activa «Bloquear bots de IA»: añade reglas para GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Gemini), CCBot, PerplexityBot y otros. Las grandes empresas dicen respetarlo; no todas las pequeñas lo hacen. Bloquear Google-Extended no afecta a tu posición en Google.

¿Dónde pongo el archivo?

En la raíz del dominio, con ese nombre exacto: https://tuweb.com/robots.txt. En WordPress puedes editarlo con Yoast o Rank Math; en Shopify, editando la plantilla robots.txt.liquid; en Next.js, con el archivo app/robots.ts.

¿Qué hace el comprobador?

Te dice si un robot concreto puede entrar en una ruta, aplicando las reglas como Google: usa el grupo de su user-agent (o «*»), gana la regla que coincide con la ruta más larga y, en empate, gana «Allow». Entiende los comodines * y $.

¿Google respeta «Crawl-delay»?

No: Google la ignora (ajusta él solo su ritmo). Bing y Yandex sí la usan.

El archivo que leen Google y las IA · gratis

Generador de robots.txt

Crea el robots.txt de tu web en un minuto: plantillas para WordPress y tiendas, bloqueo de los bots de IA con un clic, tu sitemap y un comprobador para ver si Google puede entrar en cada página.

Bloquea GPTBot y otras IA
Comprobador como Google
Listo para descargar

Bloquear bots de IAQue no usen tu contenido para entrenar ni responder. No afecta a Google.

Para

«*» son todos los robots. Puedes poner varios separados por comas.

Sin reglas: este robot puede rastrear todo.

Crawl-delay

Sitemap

Tu robots.txt

# robots.txt generado con YouTools (youtools-ai.com/generador-robots-txt)

User-agent: *
Allow: /

Sitemap: https://tuweb.com/sitemap.xml

Comprobador

Googlebot PUEDE rastrear /wp-admin/Por la regla «Allow: /» del grupo «*».

Decide quién rastrea tu web

Que Google no pierda el tiempo en tu carrito o tu panel, que encuentre tu sitemap y que las IA no usen tus textos si no quieres. Todo en un archivo de pocas líneas.

Cómo crear tu robots.txt

Elige una plantilla, decide sobre las IA, comprueba y descarga:

youtools-ai.com/generador-robots-txt

Paso 1 de 3 · Elige una plantilla

Preguntas frecuentes

Herramientas Relacionadas

Expande tu Flujo de Trabajo

Trending

Acortador de URLs

Acorta enlaces largos con alias personalizado, código QR, etiquetas UTM y estadísticas de clics opcionales, también varios a la vez. Gratis y sin registro.

Probar ahora

Convertidor Base64

Texto, imágenes y archivos a Base64 y al revés. Base32, hex, URL, HTML, decodificador JWT y huellas SRI. Sin subir nada.

Probar ahora

Convertidor de formatos de datos

Convierte entre JSON, CSV, TSV, XML y Excel, y exporta a YAML, Markdown, HTML y SQL. Aplana JSON anidado, detecta el separador y señala los errores con su línea. Sin subir tus datos.

Probar ahora

¿Cuál es mi IP?

Mira tu IP pública IPv4 e IPv6, tu proveedor y la ubicación aproximada, comprueba si tu VPN filtra tu IP real con la prueba WebRTC y consulta cualquier IP o dominio.

Probar ahora

Trending

Generador de contraseñas seguras

Crea contraseñas aleatorias, frases de contraseña en español y PIN seguros en tu navegador, y comprueba si tu contraseña es débil o ha aparecido en filtraciones. Nada sale de tu dispositivo.

Probar ahora

Generador de hash y checksums

Calcula MD5, SHA-1, SHA-256, SHA-384, SHA-512, CRC32 y HMAC de textos y archivos, y verifica si una descarga coincide con su checksum. En tu navegador, sin subir nada.

Probar ahora

Explorar todo

Ver catálogo completo