O bot da Expansel
Encontrou expansel-monitor nos registos do seu servidor. Esta página explica quem o envia, porque visitou o seu site e como controlá-lo.
Como reconhecê-lo
Cada um dos nossos pedidos identifica-se com este User-Agent:
expansel-monitor/1.0 (+https://expansel.com/robot)
O nome a usar num robots.txt: expansel-monitor
Qualquer pessoa pode usar um User-Agent alheio. Se um pedido com o nosso nome se comportar de forma diferente da descrita aqui, envie-nos o endereço IP e a hora: dir-lhe-emos se fomos nós.
Porque visitou o seu site
A Expansel monitoriza sites e verifica ligações por conta dos seus clientes. O nosso bot visita-o por um destes motivos:
- um cliente monitoriza o seu próprio site: verificamos a intervalos regulares se responde, em quanto tempo e se o certificado é válido;
- um cliente analisa o seu site para encontrar ligações quebradas, redirecionamentos e erros: lemos as suas páginas seguindo as ligações, como faria um visitante;
- um site que analisamos tem uma ligação para o seu: verificamos se essa ligação funciona. São um ou dois pedidos para esse único endereço, nunca uma análise do seu site;
- um cliente verifica um backlink: lemos a página do seu site que deveria ter uma ligação para o dele;
- alguém usou uma das nossas ferramentas gratuitas num endereço do seu site;
- estamos a oferecer-lhe uma auditoria gratuita: por vezes analisamos um site público para enviar ao proprietário um relatório sobre as ligações quebradas. Estas auditorias respeitam sempre o robots.txt.
O que faz, e o que nunca faz
- Lê, e mais nada: pedidos GET e HEAD. Nunca preenche formulários, nunca inicia sessão, nunca cria contas e nunca compra nada.
- Espaça os pedidos para um mesmo servidor, abranda por si quando o servidor abranda e espera o tempo pedido quando recebe um 429 ou um 503 com um cabeçalho Retry-After.
- Não descarrega os seus ficheiros: uma ligação para um PDF ou um arquivo é avaliada pelos cabeçalhos da resposta, e a transferência é interrompida de imediato.
- Segue um número limitado de redirecionamentos, para mostrar aos nossos clientes onde as suas ligações levam realmente.
robots.txt
As nossas análises respeitam o seu robots.txt por predefinição: as regras Disallow e Allow, e a diretiva Crawl-delay, lidas no grupo que nos nomeia ou, na sua falta, no grupo genérico (User-agent: *).
Para fechar todo o seu site às nossas análises:
User-agent: expansel-monitor
Disallow: /Para as abrandar sem as bloquear (uma pausa em segundos entre duas páginas):
User-agent: expansel-monitor
Crawl-delay: 5Tal como noutras ferramentas deste tipo, três utilizações não leem o robots.txt: a verificação de uma ligação encontrada noutro site (um visitante que clicasse nela enviaria o mesmo pedido), a monitorização de um endereço registado por um cliente e uma verificação pontual lançada a partir das nossas ferramentas gratuitas. Um cliente pode também desativar o robots.txt ou o Crawl-delay ao analisar um site que gere, por exemplo um ambiente de testes fechado com Disallow: /.
Se a sua firewall o recusar
Uma recusa (403, 429, 503…) não diz nada sobre a existência de uma página. Para distinguir uma firewall de uma ligação quebrada, podemos fazer uma segunda tentativa, com a identificação de um navegador comum e através de outra biblioteca de rede. Se também falhar, a ligação é apresentada ao nosso cliente como «não verificada», nunca como quebrada. Durante uma análise, uma página que o seu robots.txt nos fecha não é pedida com nenhuma identidade.
Para o deixar passar, autorize o User-Agent acima na sua firewall. Como um User-Agent pode ser imitado, escreva-nos se precisar dos nossos endereços IP atuais.
O que registamos
Para cada pedido: o endereço pedido, o código de resposta, o tempo de resposta e, no caso de uma página, as ligações que contém. O resto está descrito na nossa política de privacidade.
Escreva-nos
Um problema, uma pergunta, um pedido para pararmos? Escreva-nos indicando o endereço do seu site e, se possível, um excerto dos seus registos (endereço IP e hora). Respondemos por email.