Evitare la duplicazione dei contenuti con il TAG robots

Possiamo dire agli spider dei motori di non indicizzare una singola pagina attraverso l’uso del tag robots.

Questo metatag si distingue dal file robots.txt perché si riferisce alla singola pagina in cui è presente e non al sito nel suo complesso.

Il tag va inserito all’interno dell’head della pagina che vogliamo non indicizzare:

<meta name=”robots” content=”noindex, follow“>

Con l’istruzione diciamo allo spider di non inserire la pagina nel database  del motore ma può seguire i link presenti nella pagina.