Il file robots.txt
Questo file va messo nella root del sito.
Ad esempio per il mio sarà www.giorgiotave.it/robots.txt
Io l’ho inserito lo stesso questo file, però come giusta regola non dovevo farlo in quanto con questo file si posso escludere cartelle o file dall’indicizzazione. Nel mio robots non escludo niente, il comportamento dello spider sarà lo stesso. Molte voci di corridoio dicono che allo spider di google piace trovare questo file, ma queste voci non sono verificate.
Il file è composto da questi campi:
Disallow:
Nel campo User-agent devi mettere il nome dello spider. Con il simbolo * ti stai riferendo a tutti gli spider.
Nel campo Disallow: dirai cosa non vuoi che lo spider prelevi.
Stai dicendo a tutti gli spider che non ci sono file che volete che non prelevino:
Disallow:
Dici a google di non prendere il file ciao.htm
Disallow: /ciao.htm
Dici a google di non prendere niente nella cartella ciao
Disallow: /ciao/
Ecco una lista di spider
http://www.robotstxt.org/wc/active/html/index.html
Nonostante tutto ci sono alcuni motori di ricerca che non seguono questo tipo di indicazioni
Domande? se hai domande e vuoi discuterne con gli altri esperti di posizionamento sui motori di ricerca, allora visita il forum sul posizionamento motori di ricerca
| MENU DI NAVIGAZIONE | |
| ARTICOLO PRECEDENTE | ARTICOLO SUCCESSIVO |
| Sommario della Guida | |
Promemoria delle immagini
- Suggerimento
(Piccoli consigli da tenere sempre a mente) - Cosa non fare
(Piccoli consigli su cosa è bene non fare) - Esempio utile
(Ti mostrerò alcuni esempi da studiare) - Spiegazione tecnica
(Appena finita il paragrafo noterete subito una descrizione tecnica) - Risorsa esterna
(Si aprirà altro sito dove ci sarà un articolo, un tool utile, qualcosa che ti potrà servire in futuro) - Informazioni
(Piccoli approfondimenti su argomenti specifici)