Se siete proprietari di un sito web o di un e-commerce, avrete notato che Google ha regolarmente problemi a indicizzare i nuovi contenuti. Alcune delle vostre pagine non compaiono nei risultati di Google, anche se vi siete impegnati a scriverle e siete sicuri che il contenuto sia interessante per gli utenti. È probabile che il vostro sito abbia problemi di indicizzazione. Ecco alcune cose da fare:
Che cos’è una pagina indicizzata da Google?
Per cominciare, è necessario capire che cos’è una pagina indicizzata. Google è un motore di ricerca, un sistema progettato per recuperare le informazioni memorizzate su Internet. Le informazioni vengono memorizzate in un indice, che viene aggiornato o “indicizzato” da software chiamati crawler. Quando un utente inserisce delle parole chiave in un motore di ricerca, quest’ultimo cerca nel suo indice le pagine web che contengono tali termini. Per essere scoperte dai motori di ricerca, le pagine del vostro sito web devono essere indicizzate. Quando una pagina viene indicizzata, significa che è stata analizzata da un motore di ricerca, che ne memorizza il contenuto in un database e lo propone agli utenti nella SERP. Le pagine vengono identificate dai software di indicizzazione e il loro contenuto viene quindi attribuito al loro URL. Al contrario, una pagina non indicizzata non verrà visualizzata dai motori di ricerca. Gli utenti di Internet non potranno trovare la vostra pagina su Google, ma solo navigando sul vostro sito. L’indicizzazione dei contenuti è talvolta un processo lungo, ma alcuni problemi tecnici possono rallentare notevolmente l’indicizzazione del sito.
Come si fa a capire se il sito ha problemi di indicizzazione?
Ci sono diversi modi per scoprire se il vostro sito o una particolare pagina ha problemi di indicizzazione. Il primo è quello di analizzare il rapporto di copertura nella Search Console, a patto che sia impostato! Il rapporto di copertura fornisce molte informazioni e, nel nostro caso, sull’indicizzazione delle vostre pagine:
- le pagine indicizzate
- le pagine escluse
È in questo rapporto, in particolare, che è possibile identificare le pagine del sito che non sono indicizzate. Se le vostre pagine strategiche sono elencate come “Crawled, currently unindexed” o “Detected, currently unindexed”, il vostro sito potrebbe avere problemi di indicizzazione. Una seconda tecnica consiste nell’utilizzare il comando site:https://sito.it/pagina nella barra di ricerca di Google. Per darvi un’idea, confrontate il numero effettivo di pagine disponibili con un crawl (ad esempio con screaming frog) e il numero di pagine indicizzate sui motori di ricerca. In questo modo è possibile identificare le pagine che non vengono indicizzate dai motori di ricerca.
Motivi tecnici che bloccano l’indicizzazione su Google
Un nuovo sito web
Come far apparire il proprio sito web su Google è una domanda essenziale per ogni webmaster. “Il mio sito web è online da circa una settimana, ma non riesco ancora a trovarlo su Google. Perché? Come posso cambiarlo? Cosa devo fare se voglio che il mio sito sia indicizzato rapidamente dai motori di ricerca non appena viene pubblicato?.” Se avete un nuovo sito, potreste dover aspettare qualche settimana prima che venga indicizzato dai principali motori di ricerca. Questo ritardo è normale e non può essere evitato. Per facilitare il processo di indicizzazione, è possibile inviare il proprio sito a Google per annunciarne la creazione. È inoltre possibile verificare che il file sitemap.xml sia stato creato e sia accessibile. Quest’ultimo facilita il lavoro di indicizzazione sui motori di ricerca. A tal fine, è necessario aggiungere l’indirizzo della sitemap nella Search Console.
Blocco di robots.txt
Nella maggior parte dei casi, il file robots.txt consiste in regole che vietano ai software di effettuare il crawling di una determinata directory, di una determinata categoria di pagine o di una parte di un sito web. Se alcune pagine o l’intero sito non vengono indicizzati, nonostante l’attesa prolungata dopo la creazione delle pagine del sito e l’invio della sitemap, è possibile che le pagine in questione siano state bloccate nel file robots.txt. È quindi necessario verificare rapidamente il blocco delle pagine. Questa dovrebbe essere una priorità prima di implementare qualsiasi altra soluzione, a pagamento o meno, per migliorare l’indicizzazione di un sito web. Logicamente, questo file si trova nella radice del sito:
- www.sito.it/robots.txt; verificare che le pagine non indicizzate non siano presenti in questo file.
- Search Console consente di verificare il file robots.txt. nella scheda Copertura > Esclusi > Rilevati, attualmente non indicizzati
- Fate clic su uno degli URL non indicizzati
- Verificate il blocco di robots.txt.
- Sarà quindi possibile determinare se è il file a bloccare l’indicizzazione della pagina.
Blocco tramite il file .htaccess
A volte è necessario proteggere l’accesso a una directory su un server web per impedire a chiunque di accedervi e non visualizzarla in robots.txt. A tal fine, nel file .htaccess viene inserito un pezzo di codice che blocca la visualizzazione di una pagina, richiedendo l’inserimento di un login e di una password. Si tratta di un file di configurazione per i server HTTP Apache che fa parte del vostro sito per renderlo accessibile al World Wide Web. Dovete quindi verificare che la vostra pagina non sia protetta in questo modo e che i vostri contenuti siano accessibili ai robot di Google.
La pagina è bloccata da un tag META
Uno di questi tag, il “meta robots”, consente di bloccare una pagina da tutti i motori di ricerca. Il meta tag noindex può essere uno strumento molto potente se non volete che gli URL del vostro sito appaiano nei risultati di ricerca di Google. Se invece volete che le vostre pagine vengano indicizzate, dovete rimuovere il noindex, altrimenti non avrete alcuna possibilità di trovare la vostra pagina nei motori di ricerca. Questo accade spesso quando si avvia un sito WordPress e si dimentica di deselezionare la casella “Visibilità sui motori di ricerca”. Per verificarlo, accedere al back office, alla sezione Impostazioni e poi a Lettura. Se volete bloccare l’indicizzazione di una pagina, assicuratevi di inserire il tag meta robots prima di bloccarla con il vostro robot. Se fate il contrario, i robot di indicizzazione non passeranno sulla vostra pagina e non vedranno il vostro tag noindex.
Pagine con JavaScript
Per scoprire se la vostra pagina si basa su JavaScript, provate l’estensione gratuita Web Developer. Nella scheda “Disabilita” è possibile fare clic su “Disabilita JavaScript” e aggiornare la pagina. Se non appare più alcun contenuto sullo schermo, significa che il rendering testuale della pagina web è realizzato con JS e che i robot di indicizzazione non possono leggere il contenuto della pagina. Tuttavia, a volte i software prendono in considerazione il vostro contenuto nonostante il JavaScript. Per verificarlo, controllate l’anteprima della pagina memorizzata nella cache. Per farlo, digitate “cache:https://urldemonsite.fr” nella barra di ricerca e otterrete la vostra pagina dal punto di vista di un software. Per lui non ha senso indicizzare una pagina vuota. Dovete quindi rendere rapidamente i vostri contenuti accessibili e leggibili per i robot di Google, in modo che possano integrare e indicizzare le vostre pagine.
Tag url canonici
Analizzate il tag canonical della vostra pagina. Se si nota che l’URL in questo tag è diretto a un’altra pagina, è probabile che la pagina non venga indicizzata. Google farà riferimento e indicizzerà la pagina inserita. Il tag canonical ci permette di dire a Google, quando abbiamo due pagine identiche in termini di contenuto, quale pagina il motore di ricerca deve considerare come l’originale.
Come accelerare l’indicizzazione delle vostre pagine su Google?
Abbiamo appena visto alcuni dei problemi tecnici che possono rallentare o bloccare l’indicizzazione delle pagine del vostro sito. Questo elenco non è esaustivo e, nonostante ciò, il vostro sito potrebbe ancora avere problemi di indicizzazione. Ecco alcune raccomandazioni da seguire per facilitare l’indicizzazione del vostro sito
Proporre contenuti di qualità
Non lo ripeteremo mai abbastanza: i contenuti di qualità sono essenziali se volete che la vostra pagina sia presente nelle SERP (le pagine dei risultati di Google). I contenuti di qualità saranno utili per gli utenti e genereranno coinvolgimento. Rivolgetevi al vostro pubblico di riferimento e usate il tono giusto. Non ci si rivolge ai professionisti nello stesso modo in cui ci si rivolge ai privati, o a una start-up nello stesso modo in cui ci si rivolge a una grande azienda. In breve, adattate il vostro discorso per essere sicuri di essere compresi. I contenuti devono affrontare un problema e rispondere in modo chiaro. Nella maggior parte dei casi, gli utenti di Internet cercano una risposta su Internet. Se rispondete a queste domande, avrete maggiori possibilità che Google suggerisca la vostra pagina e quindi che venga indicizzata. Inutile dire che dovreste evitare i contenuti duplicati: nel migliore dei casi la vostra pagina non verrà indicizzata e, nel peggiore, potreste subire una penalizzazione da parte di Google.
Aggiornare il file sitemap.xml
Controllare che la pagina sia presente nella sitemap! Questo file in formato xml deve essere collocato nella radice del sito e deve includere tutte le pagine. Permette di aiutare Google nel rilevamento delle vostre pagine. Inoltre, è possibile inviare il proprio file a Google con Google Search Console. Se il vostro sito non viene indicizzato, potete consultare il rapporto di copertura, che vi fornirà spiegazioni sugli errori riscontrati da Google durante l’esplorazione del vostro sito.
Link interni alle vostre pagine
Assicuratevi che la vostra pagina sia ben collegata ad altre pagine del vostro sito. Per trovare nuove pagine, i crawler di Google vanno alla vostra homepage e seguono i vari link presenti nei vostri contenuti. Se nessuna pagina rimanda alla pagina che si vuole indicizzare, i robot non la passeranno e non verrà inserita nell’indice di Google.
Creare backlink alla propria pagina
Abbiamo appena visto che per facilitare l’indicizzazione della vostra pagina, dovete creare dei link interni ad essa. Un’altra soluzione è quella di ottenere un backlink, ovvero un link da un sito terzo alla vostra pagina. Sappiamo che Google utilizza i link esterni per definire la popolarità di un sito. Questi link aiutano inoltre Google a individuare le vostre pagine e a velocizzare l’indicizzazione.
