Genera un File Robots.txt per i Motori di Ricerca - Robots.txt Generator

Robots.txt Generator

Genera un file robots.txt per dare indicazioni personalizzate ai motori di ricerca e altri bot sulla scansione dei contenuti del tuo sito.

Istruzioni di default per i bot:
   
Crawl-Delay:
   
Sitemap: (ignora se non presente) 
   
Google
Google Image
Google Mobile
MSN Search
Yahoo
Yahoo MM
Yahoo Blogs
Ask/Teoma
GigaBlast
DMOZ Checker
Nutch
Alexa/Wayback
Baidu
Naver
MSN PicSearch
 
Restricted Directories: Il percorso deve contenere lo slash /
 

Cos’è il file robots.txt?

Il robots.txt è un file di testo che avvisa i bot o motori di ricerca indicando quali pagine del sito possono o non possono scansionare.

In questo modo possiamo evitare di far perdere tempo al bot scansionando pagine che non desideriamo diventino pubbliche o semplicemente sono inutili per i visitatori.

Ad esempio, quando Googlebot entra nel nostro sito per trovare i contenuti, leggerà sito.it/robots.txt e potrebbe trovare:

User-agent: *
Disallow: /

In questo caso non potrà scansionare nessuna pagina del sito.

Al contrario, potrebbe trovare:

User-agent: *
Disallow:

In quest’altro caso avrebbe la possibilità di scansionare tutte le pagine senza limitazioni.

Come trovare il robots.txt del tuo sito?

La posizione standard è sempre nella root o public_html del tuo hosting.

Ad esempio: miosito.it/robots.txt

Ricorda che puoi modificare questo file con un semplice software come Notepad.

Ti è stato utile questo SEO tool?

FavoriteAggiungi questo tool alla colonna laterale

Condividi questo strumento SEO sui Social Network!

Chi è l'autore?

Federico Magni

Benvenuto, sono Federico Magni, SEO Specialist da 10 anni e CEO di SEOProf.

Nella mia carriera ho creato e posizionato su Google oltre 100 siti web, ma oggi condivido tutta la mia esperienza nel corso Metodo SEOProf.

Questo sito usa cookies tecnici e di profilazione di terze parti per migliorare la navigazione. Puoi sempre disabilitare i cookies, ma proseguendo accetti il loro utilizzo. Informativa

x

ASPETTA UN ATTIMO!

[VIDEO] Come aumentare le visite al tuo sito in 30 giorni