Genera un File Robots.txt per i Motori di Ricerca - Robots.txt Generator
corso seo premium

Robots.txt Generator

Genera un file robots.txt per dare indicazioni personalizzate ai motori di ricerca e altri bot sulla scansione dei contenuti del tuo sito.

Istruzioni di default per i bot:
   
Crawl-Delay:
   
Sitemap: (ignora se non presente) 
   
Google
Google Image
Google Mobile
MSN Search
Yahoo
Yahoo MM
Yahoo Blogs
Ask/Teoma
GigaBlast
DMOZ Checker
Nutch
Alexa/Wayback
Baidu
Naver
MSN PicSearch
 
Restricted Directories: Il percorso deve contenere lo slash /
 

Cos’è il file robots.txt?

Il robots.txt è un file di testo che avvisa i bot o motori di ricerca indicando quali pagine del sito possono o non possono scansionare.

In questo modo possiamo evitare di far perdere tempo al bot scansionando pagine che non desideriamo diventino pubbliche o semplicemente sono inutili per i visitatori.

Ad esempio, quando Googlebot entra nel nostro sito per trovare i contenuti, leggerà sito.it/robots.txt e potrebbe trovare:

User-agent: *
Disallow: /

In questo caso non potrà scansionare nessuna pagina del sito.

Al contrario, potrebbe trovare:

User-agent: *
Disallow:

In quest’altro caso avrebbe la possibilità di scansionare tutte le pagine senza limitazioni.

Come trovare il robots.txt del tuo sito?

La posizione standard è sempre nella root o public_html del tuo hosting.

Ad esempio: miosito.it/robots.txt

Ricorda che puoi modificare questo file con un semplice software come Notepad.

A cosa serve il file robots.txt?

Per creare un file robots.txt personalizzato utilizza il nostro robots txt builder e maker compilando i campi specifici nel form soprastante.

  • Bloccare contenuti riservati impedendo l'accesso ad aree private del sito.
  • Ottimizzare il crawl budget.
  • Prevenire duplicati bloccando la scansione di URL.
  • Permettere solo a certi bot l'accesso.
  • Inserire il percorso della sitemap per agevolare i bot nella scansione.

Ti è stato utile questo SEO tool?

FavoriteAggiungi questo tool alla colonna laterale

Condividi questo strumento SEO sui Social Network!

Chi è l'autore?

Federico Magni

Benvenuto, sono Federico Magni, SEO Specialist da 10 anni e CEO di SEOProf.

Vuoi imparare a fare SEO anche tu? Fai il nostro corso SEO Premium e inizia a imparare sul serio tutto quello che ti serve per fare SEO su qualsiasi sito web.

Questo sito usa cookies tecnici e di profilazione di terze parti per migliorare la navigazione. Puoi sempre disabilitare i cookies, ma proseguendo accetti il loro utilizzo. Informativa

x

ASPETTA UN ATTIMO!

Ricevi le prime 3 lezioni del Corso SEO Premium