Crawl budget: perché probabilmente non è un tuo problema

Il budget di crawl è un concetto reale, e per l'immensa maggioranza dei siti è una distrazione. Se avete qualche centinaio o qualche migliaio di pagine, i motori non razionano le loro visite da voi, e nessuna ottimizzazione farà indicizzare i vostri contenuti più in fretta.

Il termine merita soprattutto di essere capito per riconoscere le situazioni in cui si applica davvero, e smettere di preoccuparsi per tutte le altre.

Che cosa vuol dire

Un robot non può visitare tutti gli URL del web tanto spesso quanto vorrebbe: decide quindi quanta attenzione concede a ogni sito. Due cose la determinano: che cosa pensa dell'interesse di tornare da voi, e che cosa il vostro server incassa senza fatica.

Notate che nessuna delle due è una quota che si ricarica. Un sito che pubblica regolarmente cose utili viene esplorato di più perché ne vale la pena, non perché abbia guadagnato punti. È una conseguenza, non una leva, ed è questo fraintendimento a produrre la maggior parte delle ottimizzazioni inutili.

Vi riguarda? La tabella che decide

Le prime due righe coprono la quasi totalità dei siti che si pongono la domanda. Se siete lì, la decisione migliore è chiudere questo articolo e andare a scrivere una pagina utile.

Chi è realmente riguardato

I siti con spazio di URL illimitato. Un negozio in cui ogni combinazione di filtri è un indirizzo distinto. Un calendario che genera volentieri l'anno 2147. Una pagina di ricerca che trasforma qualsiasi richiesta in un URL esplorabile. Questi siti non hanno diecimila pagine, ne hanno un'infinità, ed è questo il vero problema: non è un budget insufficiente, è una spesa senza fondo.

I cataloghi molto grandi: centinaia di migliaia di pagine reali, dove la coda lunga si contende davvero l'attenzione. A quella scala la domanda non è più tecnica ma editoriale: quali pagine meritano di esistere.

I siti che rispondono lentamente. Se il vostro server impiega due secondi per pagina, un robot alza il piede per non nuocervi. Qui la correzione non è una regolazione SEO: è il tempo di risposta, e giova anche ai vostri visitatori, il che ne fa l'unico lavoro di questo elenco che rende due volte.

Ciò che si scambia a torto per un problema di budget

Un mucchio di 404. Sembra uno spreco, e non lo è. Un robot impara che un URL è sparito e smette di chiederlo. Correggete quelli verso cui qualcosa punta ancora, non gli altri, e soprattutto non cancellate pagine per «alleggerire» alcunché.

Pagine non indicizzate. Quasi sempre un giudizio di qualità o di duplicazione, non di budget. La pagina è stata vista e non è stata trattenuta: è un'altra conversazione, e si risolve migliorando la pagina, non regolando un robot.

Un avvio lento dopo una migrazione. I nuovi URL vengono scoperti progressivamente. È normale e senza rapporto con un razionamento: la lista di controllo di migrazione copre ciò che aiuta davvero, ossia redirezioni pulite e una sitemap aggiornata.

Catene di redirezioni. Costano effettivamente richieste, ma il problema che pongono è altrove: finiscono tagliate, e perdono visitatori ben prima di costare la minima esplorazione. La regola del salto unico si giustifica senza invocare il budget di crawl.

Se vi riguarda davvero

Il lavoro consiste nel togliere indirizzi, non nell'aggiungere direttive.

Smettete di generare combinazioni di URL che nessuno dovrebbe vedere: è una regolazione di modello, non un file di configurazione. Usate robots.txt per gli spazi infiniti, calendari e ricerche interne in testa. Restituite codici di stato corretti, perché un robot sappia che cosa dimenticare. Tenete una sitemap limitata alle pagine che volete davvero far visitare, e toglietene tutto ciò che restituisce un errore.

Una parola su noindex e robots.txt, che si confondono di continuo: il primo chiede di non indicizzare una pagina che verrà comunque visitata, il secondo chiede di non visitarla affatto. Per uno spazio infinito serve il secondo, ed è anche quello che rende la pagina definitivamente invisibile, quindi da maneggiare con cautela.

Prima di mettere una regola in robots.txt, provatela: una direttiva troppo ampia chiude un intero settore del sito senza annunciare nulla. Verificare che cosa un robot ha diritto di visitare richiede dieci secondi ed evita l'errore più costoso di questa pagina.

Da dove viene l'inquietudine, e perché dura

Il tema ha una storia, e conoscerla aiuta a liberarsene. L'espressione viene da documentazioni destinate a siti molto grandi, dove descriveva un problema reale di allocazione di risorse. È poi stata ripresa in guide generaliste che hanno tolto la condizione di dimensione, ed è rimasta solo un'inquietudine senza soglia.

Dura per due ragioni. Prima perché è gradevole: offre una spiegazione tecnica a una mancanza di risultati, il che è più comodo della conclusione editoriale. Poi perché è inverificabile per la maggior parte delle persone, in mancanza di accesso ai registri del server. Una credenza che non si può provare non muore.

Il test che la risolve sta in una domanda: una pagina che ho pubblicato la settimana scorsa è indicizzata? Se sì, il vostro sito è esplorato quanto gli serve, e il tema è chiuso. Se la risposta è no, verificate prima che la pagina sia collegata da qualche parte, prima di pensare a un budget: una pagina a cui non porta alcuna strada non è razionata, è introvabile.

Ciò che aiuta davvero a essere esplorati

Tre cose, nessuna delle quali porta il nome di budget.

Link interni verso le vostre pagine profonde. Una pagina che nessun link raggiunge dalla vostra home in tre clic è una pagina che i robot trovano tardi e rivisitano di rado. È la leva più efficace, ed è anche l'unica che serve ai vostri lettori.

Una sitemap pulita. Aggiornata, senza URL in errore, senza pagine bloccate, con date di modifica oneste. Una sitemap che mente sulle date smette in fretta di essere presa sul serio.

Un sito che risponde in fretta. Non è una questione di posizionamento, è una questione di hosting, e giova per primi a chi vi legge. Anche i link morti e le redirezioni a cascata vi contribuiscono, il che è una ragione in più per trattarli senza mai invocare il budget di crawl.

Come misurare, anziché indovinare

I registri del vostro server sono l'unico posto in cui questa domanda si risolve onestamente. Dicono quali URL sono stati richiesti, da quale robot, quante volte, e con quale codice di risposta.

Bastano tre cifre, rilevate prima e poi un mese dopo:

• Il numero di URL distinti esplorati. Se è molto superiore al numero delle vostre pagine reali, avete uno spazio infinito da qualche parte.
• La quota di risposte in errore. Una proporzione elevata indica un problema di struttura, non di budget.
• La quota di richieste su pagine senza interesse. È l'unica misura che giustifica un intervento.

Senza queste tre cifre, ogni ottimizzazione del budget di crawl è una credenza. Con esse, la domanda si risolve in genere in un pomeriggio, e il più delle volte la conclusione è che non c'era niente da fare.

Resta un lavoro che merita davvero il vostro tempo e non ha nulla a che vedere con i robot: i link che partono da casa vostra verso pagine morte altrove. Quelli non figurano in nessun rapporto di esplorazione, e sono i vostri lettori a incontrarli per primi.