Orçamento de rastreio: porque não é o seu problema

O orçamento de rastreio é um conceito real, e para a imensa maioria dos sites é uma distração. Se tem algumas centenas ou alguns milhares de páginas, os motores não racionam as suas visitas em sua casa, e nenhuma otimização fará indexar o seu conteúdo mais depressa.

O termo merece sobretudo ser compreendido para reconhecer as situações em que se aplica de facto, e deixar de se preocupar com todas as outras.

O que isso quer dizer

Um robô não pode visitar todos os URL da web tantas vezes quantas gostaria: decide portanto que atenção concede a cada site. Duas coisas a determinam: o que pensa do interesse de voltar a sua casa, e o que o seu servidor aguenta sem custo.

Repare que nenhuma das duas é uma quota que se recarregue. Um site que publica regularmente coisas úteis é explorado mais porque vale a pena, não porque tenha ganho pontos. É uma consequência, não uma alavanca, e é esse contrassenso que produz a maioria das otimizações inúteis.

Diz-lhe respeito? A tabela que decide

As duas primeiras linhas cobrem a quase totalidade dos sites que fazem a pergunta. Se está nelas, a melhor decisão é fechar este artigo e ir escrever uma página útil.

A quem diz respeito realmente

Os sites com espaço de URL ilimitado. Uma loja em que cada combinação de filtros é um endereço distinto. Um calendário que gera de bom grado o ano 2147. Uma página de pesquisa que transforma qualquer consulta num URL explorável. Esses sites não têm dez mil páginas, têm uma infinidade, e é esse o verdadeiro problema: não é um orçamento insuficiente, é uma despesa sem fundo.

Os catálogos muito grandes: centenas de milhares de páginas reais, onde a cauda longa disputa mesmo a atenção. A essa escala a pergunta já não é técnica mas editorial: que páginas merecem existir.

Os sites que respondem lentamente. Se o seu servidor leva dois segundos por página, um robô alivia o pé para não o prejudicar. Aqui a correção não é uma afinação de posicionamento: é o tempo de resposta, e beneficia também os seus visitantes, o que faz dele o único trabalho desta lista que rende duas vezes.

O que se toma erradamente por um problema de orçamento

Um monte de 404. Parece um desperdício e não é. Um robô aprende que um URL desapareceu e deixa de o pedir. Corrija aqueles para os quais alguma coisa ainda aponta, não os outros, e sobretudo não elimine páginas para «aliviar» seja o que for.

Páginas não indexadas. Quase sempre um juízo de qualidade ou de duplicação, não de orçamento. A página foi vista e não foi retida: é outra conversa, e resolve-se melhorando a página, não afinando um robô.

Um arranque lento após uma migração. Os novos URL são descobertos progressivamente. É normal e sem relação com um racionamento: a lista de verificação de migração cobre o que ajuda de facto, a saber, redirecionamentos limpos e um sitemap atualizado.

Cadeias de redirecionamentos. Custam efetivamente pedidos, mas o problema que colocam está noutro lado: acabam cortadas, e perdem visitantes muito antes de custar a mínima exploração. A regra do salto único justifica-se sem invocar o orçamento de rastreio.

Se lhe diz respeito realmente

O trabalho consiste em suprimir endereços, não em acrescentar diretivas.

Deixe de gerar combinações de URL que ninguém deveria ver: é uma afinação de modelo, não um ficheiro de configuração. Use robots.txt para os espaços infinitos, calendários e pesquisas internas à cabeça. Devolva códigos de estado corretos, para que um robô saiba o que esquecer. Mantenha um sitemap limitado às páginas que quer mesmo fazer visitar, e retire dele tudo o que devolva um erro.

Uma palavra sobre noindex e robots.txt, que se confundem sem parar: o primeiro pede para não indexar uma página que será visitada na mesma, o segundo pede para não a visitar de todo. Para um espaço infinito é preciso o segundo, e é também aquele que torna a página definitivamente invisível, portanto a manejar com precaução.

Antes de pôr uma regra no robots.txt, teste-a: uma diretiva demasiado ampla fecha um setor inteiro do site sem anunciar nada. Verificar o que um robô tem direito a visitar leva dez segundos e evita o erro mais caro desta página.

De onde vem a inquietação, e porque dura

O assunto tem uma história, e conhecê-la ajuda a libertar-se dela. A expressão vem de documentações destinadas a sites muito grandes, onde descrevia um problema real de atribuição de recursos. Foi depois retomada em guias generalistas que retiraram a condição de tamanho, e ficou apenas uma inquietação sem limiar.

Dura por duas razões. Primeiro porque é agradável: oferece uma explicação técnica a uma falta de resultados, o que é mais confortável do que a conclusão editorial. Depois porque é inverificável para a maioria das pessoas, por falta de acesso aos registos do servidor. Uma crença que não se pode testar não morre.

O teste que a resolve cabe numa pergunta: uma página que publiquei na semana passada está indexada? Se sim, o seu site é explorado tanto quanto precisa, e o assunto está fechado. Se a resposta for não, verifique primeiro se a página está ligada a partir de algum lado antes de pensar num orçamento: uma página a que não leva caminho nenhum não está racionada, está inencontrável.

O que ajuda de facto a ser explorado

Três coisas, nenhuma das quais leva o nome de orçamento.

Links internos para as suas páginas profundas. Uma página que nenhum link alcança a partir da sua página inicial em três cliques é uma página que os robôs encontram tarde e revisitam raramente. É a alavanca mais eficaz, e é também a única que serve os seus leitores.

Um sitemap limpo. Atualizado, sem URL em erro, sem páginas bloqueadas, com datas de modificação honestas. Um sitemap que mente sobre as datas deixa depressa de ser levado a sério.

Um site que responde depressa. Isso não é questão de posicionamento, é questão de alojamento, e beneficia em primeiro lugar quem o lê. Os links mortos e os redirecionamentos em cascata também contribuem, o que é mais uma razão para os tratar sem nunca invocar o orçamento de rastreio.

Como medir, em vez de adivinhar

Os registos do seu servidor são o único sítio onde esta pergunta se resolve honestamente. Dizem que URL foram pedidos, por que robô, quantas vezes, e com que código de resposta.

Bastam três números, recolhidos antes e depois um mês mais tarde:

• O número de URL distintos explorados. Se for muito superior ao número das suas páginas reais, tem um espaço infinito algures.
• A parte das respostas em erro. Uma proporção elevada indica um problema de estrutura, não de orçamento.
• A parte dos pedidos sobre páginas sem interesse. É a única medida que justifica uma intervenção.

Sem estes três números, qualquer otimização do orçamento de rastreio é uma crença. Com eles, a pergunta resolve-se em geral numa tarde, e na maior parte das vezes a conclusão é que não havia nada a fazer.

Resta um trabalho que merece verdadeiramente o seu tempo e nada tem a ver com os robôs: os links que saem de sua casa para páginas mortas noutro lado. Esses não constam de nenhum relatório de exploração, e são os seus leitores que os encontram primeiro.