robots.txt deja de bloquear /api/v1

Un `Disallow: /api/` heredado bloqueaba la API pública para agentes, contradiciendo lo que declaraba ai.txt. Los crawlers que respetan robots.txt no podían verla. Ahora hay un Allow explícito, con check de regresión en la auditoría SEO. Rutas: /robots.txt.