El bot de Expansel
Ha encontrado expansel-monitor en los registros de su servidor. Esta página explica quién lo envía, por qué visitó su sitio y cómo controlarlo.
Cómo reconocerlo
Cada una de nuestras peticiones se identifica con este User-Agent:
expansel-monitor/1.0 (+https://expansel.com/robot)
El nombre que debe usar en un robots.txt: expansel-monitor
Cualquiera puede tomar prestado un User-Agent. Si una petición que usa nuestro nombre se comporta de otra forma que la descrita aquí, envíenos la dirección IP y la hora: le diremos si fuimos nosotros.
Por qué visitó su sitio
Expansel supervisa sitios web y comprueba enlaces por cuenta de sus clientes. Nuestro bot le visita por uno de estos motivos:
- un cliente supervisa su propio sitio: comprobamos con regularidad que responde, en cuánto tiempo y que su certificado es válido;
- un cliente rastrea su sitio para encontrar enlaces rotos, redirecciones y errores: leemos sus páginas siguiendo sus enlaces, como lo haría un visitante;
- un sitio que rastreamos enlaza al suyo: comprobamos que ese enlace funciona. Son una o dos peticiones a esa única dirección, nunca un rastreo de su sitio;
- un cliente comprueba un backlink: leemos la página de su sitio que debería enlazar al suyo;
- alguien ha usado una de nuestras herramientas gratuitas con una dirección de su sitio;
- le ofrecemos una auditoría gratuita: a veces analizamos un sitio público para enviar a su propietario un informe sobre sus enlaces rotos. Estas auditorías siempre respetan el robots.txt.
Lo que hace, y lo que nunca hace
- Lee, y nada más: peticiones GET y HEAD. Nunca rellena un formulario, nunca inicia sesión, nunca crea una cuenta y nunca compra nada.
- Espacia sus peticiones a un mismo servidor, reduce el ritmo por sí solo cuando el servidor se ralentiza y espera el tiempo indicado cuando recibe un 429 o un 503 con una cabecera Retry-After.
- No descarga sus archivos: un enlace a un PDF o a un archivo comprimido se juzga por las cabeceras de la respuesta, y la transferencia se corta en el acto.
- Sigue un número limitado de redirecciones, para mostrar a nuestros clientes adónde llevan realmente sus enlaces.
robots.txt
Nuestros rastreos respetan su robots.txt por defecto: las reglas Disallow y Allow, y la directiva Crawl-delay, leídas en el grupo que nos nombra o, si no existe, en el grupo genérico (User-agent: *).
Para cerrar todo su sitio a nuestros rastreos:
User-agent: expansel-monitor
Disallow: /Para ralentizarlos sin bloquearlos (una pausa en segundos entre dos páginas):
User-agent: expansel-monitor
Crawl-delay: 5Como en otras herramientas de este tipo, tres usos no leen el robots.txt: la comprobación de un enlace encontrado en otro sitio (un visitante que hiciera clic enviaría la misma petición), la supervisión de una dirección que un cliente ha registrado y una comprobación puntual lanzada desde nuestras herramientas gratuitas. Un cliente también puede desactivar el robots.txt o el Crawl-delay al rastrear un sitio que gestiona, por ejemplo un entorno de pruebas cerrado con Disallow: /.
Si su cortafuegos lo rechaza
Un rechazo (403, 429, 503…) no dice nada sobre la existencia de una página. Para distinguir un cortafuegos de un enlace roto, podemos hacer un segundo intento, con la identificación de un navegador habitual y mediante otra biblioteca de red. Si también falla, el enlace se muestra a nuestro cliente como «no verificado», nunca como roto. Durante un rastreo, una página que su robots.txt nos cierra no se solicita con ninguna identidad.
Para dejarlo pasar, autorice el User-Agent indicado arriba en su cortafuegos. Como un User-Agent se puede imitar, escríbanos si necesita nuestras direcciones IP actuales.
Lo que registramos
Para cada petición: la dirección solicitada, el código de respuesta, el tiempo de respuesta y, en el caso de una página, los enlaces que contiene. El resto se detalla en nuestra política de privacidad.
Escríbanos
¿Un problema, una pregunta, una solicitud para que paremos? Escríbanos indicando la dirección de su sitio y, si es posible, un extracto de sus registros (dirección IP y hora). Respondemos por correo electrónico.