Genera un file robots.txt per dare indicazioni personalizzate ai motori di ricerca e altri bot sulla scansione dei contenuti del tuo sito.
Il robots.txt è un file di testo che avvisa i bot o motori di ricerca indicando quali pagine del sito possono o non possono scansionare.
In questo modo possiamo evitare di far perdere tempo al bot scansionando pagine che non desideriamo diventino pubbliche o semplicemente sono inutili per i visitatori.
Ad esempio, quando Googlebot entra nel nostro sito per trovare i contenuti, leggerà sito.it/robots.txt e potrebbe trovare:
User-agent: *
Disallow: /
In questo caso non potrà scansionare nessuna pagina del sito.
Al contrario, potrebbe trovare:
User-agent: *
Disallow:
In quest’altro caso avrebbe la possibilità di scansionare tutte le pagine senza limitazioni.
La posizione standard è sempre nella root o public_html del tuo hosting.
Ad esempio: miosito.it/robots.txt
Ricorda che puoi modificare questo file con un semplice software come Notepad.
Per creare un file robots.txt personalizzato utilizza il nostro robots txt builder e maker compilando i campi specifici nel form soprastante.
Questo sito usa cookies tecnici e di profilazione di terze parti per migliorare la navigazione. Puoi sempre disabilitare i cookies, ma proseguendo accetti il loro utilizzo. Informativa
Ricevi le prime 3 lezioni del Corso SEO Premium