Genera un file robots.txt per dare indicazioni personalizzate ai motori di ricerca e altri bot sulla scansione dei contenuti del tuo sito.
Il robots.txt è un file di testo che avvisa i bot o motori di ricerca indicando quali pagine del sito possono o non possono scansionare.
In questo modo possiamo evitare di far perdere tempo al bot scansionando pagine che non desideriamo diventino pubbliche o semplicemente sono inutili per i visitatori.
Ad esempio, quando Googlebot entra nel nostro sito per trovare i contenuti, leggerà sito.it/robots.txt e potrebbe trovare:
User-agent: *
Disallow: /
In questo caso non potrà scansionare nessuna pagina del sito.
Al contrario, potrebbe trovare:
User-agent: *
Disallow:
In quest’altro caso avrebbe la possibilità di scansionare tutte le pagine senza limitazioni.
La posizione standard è sempre nella root o public_html del tuo hosting.
Ad esempio: miosito.it/robots.txt
Ricorda che puoi modificare questo file con un semplice software come Notepad.
Aggiungi questo tool alla colonna laterale
Benvenuto, sono Federico Magni, SEO Specialist da 10 anni e CEO di SEOProf.
Vuoi imparare a fare SEO anche tu? Fai il nostro corso SEO Premium e inizia a imparare sul serio tutto quello che ti serve per fare SEO su qualsiasi sito web.
Questo sito usa cookies tecnici e di profilazione di terze parti per migliorare la navigazione. Puoi sempre disabilitare i cookies, ma proseguendo accetti il loro utilizzo. Informativa
Ricevi le prime 3 lezioni del Corso SEO Premium