Sitemap XML e robots.txt: configurarli bene
· 6 min
La sitemap XML elenca le Sue pagine prioritarie per facilitarne la scoperta da parte di Googlebot. Il file robots.txt controlla quali sezioni il bot può scansionare. I due file sono complementari e vanno tenuti aggiornati per evitare errori di indicizzazione.
Sitemap e robots.txt sono i due file di configurazione SEO più fondamentali. Configurati male, possono escludere involontariamente pagine chiave o sprecare il crawl budget su URL inutili.
La sitemap XML: struttura e buone pratiche
Una sitemap XML elenca gli URL che vuole vedere indicizzati, accompagnati facoltativamente da metadati (data di modifica, frequenza di aggiornamento, priorità). Google legge questi metadati ma non li segue alla lettera.
Per i siti con più di 50.000 URL o più di 50 MB, crei un sitemap index che punti a più file sitemap tematici (articoli, prodotti, categorie).
- Includa solo URL canonici, indicizzabili e che restituiscono un codice 200.
- Escluda le pagine noindex, i redirect e le pagine con parametri.
- Invii la sitemap in Search Console e la citi nel robots.txt.
- Aggiorni la sitemap in automatico a ogni nuova pubblicazione.
Il file robots.txt: direttive e limiti
Il robots.txt si trova nella root del dominio e usa una sintassi semplice di regole Allow e Disallow per user-agent. Dice a Googlebot quali parti del sito non scansionare — ma non garantisce l'esclusione dall'indicizzazione.
Una pagina bloccata dal robots.txt può comunque comparire nei risultati se dei link esterni la puntano. Per un'esclusione totale, usi il tag noindex, non il robots.txt.
- Bloccare le cartelle di amministrazione, staging e test.
- Bloccare gli URL della ricerca interna che generano migliaia di varianti.
- Non bloccare mai i file CSS e JS necessari al rendering della pagina.
- Citare l'URL della sitemap in fondo al file robots.txt.
Errori critici e come evitarli
L'errore più grave: bloccare per sbaglio l'intero sito con «Disallow: /» nel robots.txt dopo una migrazione o una configurazione di staging ripulita male. Verifichi questo file per primo dopo ogni deploy.
Includere URL in errore (404, 301) nella sitemap è uno sbaglio frequente che segnala a Google una mancanza di rigore e spreca il crawl budget su risorse inesistenti.
Durante gli audit SEO, tra il 15 e il 40% dei siti presenta incoerenze tra la sitemap e le pagine realmente indicizzabili, spesso dovute a una manutenzione insufficiente dopo gli aggiornamenti del sito.
Studi di settore 2025-2026 sugli audit tecnici SEO
FAQ
Bisogna indicare priorità e frequenza nella sitemap?
Questi tag (priority e changefreq) vengono ampiamente ignorati da Google, che si basa sui propri segnali per stimare la frequenza di scansione. La loro presenza non è dannosa, ma nemmeno la loro assenza è un problema.
Quanto tempo impiega Google a leggere una sitemap inviata?
Dopo l'invio in Search Console, Google legge la sitemap in genere entro 24-72 ore. La scoperta dei nuovi URL e la loro indicizzazione effettiva richiedono più tempo a seconda dell'autorevolezza del sito.
Il robots.txt funziona per tutti i motori di ricerca?
Tutti i bot rispettosi dello standard rispettano il robots.txt. Tuttavia i bot malevoli (scraper, crawler non conformi) lo ignorano. Il robots.txt non è quindi uno strumento di sicurezza, ma uno strumento di gestione della scansione.