Cos’è il file Robots.txt?
Il file Robots.txt è stato inventato nel 1994, quando il passaggio dei robot di Google poteva far crollare un sito web per sovraccarico del server. È stato poi necessario limitare il passaggio di robot sul sito per motivi di capienza del server.
Oggi, essendo notevolmente aumentate le capacità dei server, l’utilità di questo file è diventata molto diversa. Google continua a eseguire la scansione dell’intero sito per impostazione predefinita, con l’obiettivo di indicizzare o meno le pagine che i suoi robot considerano utili agli utenti di Internet quando effettuano ricerche su Google.fr.
Ma questo processo gli richiede sempre più tempo e risorse (energetiche ed economiche). Il passaggio dei robot è quindi ormai limitato sul tuo sito ed è fondamentale sfruttare al meglio questo tempo concesso da Google e indirizzare i robot solo sulle pagine di interesse per la tua strategia SEO. Il file Robots.txt è una delle (molte) leve che ti permetteranno di ottenere questa ottimizzazione.
Dove mettere il file Robots.txt?
Un file Robots.txt deve trovarsi nella radice di un sito web. Può contenere commenti con il comando # e deve necessariamente chiamarsi “robots.txt”. Attualmente risponde a 4 comandi: Disallow, per bloccare una pagina o un gruppo di pagine, 🔎Allow per autorizzare una determinata pagina (per impostazione predefinita, Google autorizza tutte le pagine), Sitemap, per dichiarare la tua mappa del sito e User-Agent, per definire il tipo di robot interessati dalle richieste.
Vuoi saperne di più sul nostro
servizi di referenziazione naturale?