Evitare la duplicazione dei contenuti con il file robots.txt

evitare i duplicati con il file robots.txt

Scritto da Studio Ranking

21 Gennaio 2017

evitare i duplicati con il file robots.txtI file robots.txt è posizionato sulla webroot (directory principale) del sito dà delle indicazioni agli spider dei motore.

Tra queste indicazioni può esserci quella che dice di non indicizzare il contenuto di una directory.

Così facendo si evita di indicizzare delle pagine con contenuti già esistenti in altre.

Di seguito un esempio del contenuto del file:

User-agent: *

Disallow: /promozioni/

Disallow: /nuovi-arrivi/

Significa: per tutti gli spider, non passate in promozioni e nemmeno in nuovi-arrivi

 

 

 

 

Potrebbe interessarti anche…

Googlebot parlerà presto HTTP/2

Googlebot parlerà presto HTTP/2

A partire da novembre 2020, Googlebot inizierà a eseguire la scansione dei siti tramite HTTP/2. Google annuncia che il...

0 commenti

Invia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

Open chat
Contattaci su WhatsApp