C
Site web navigable
Définition
(Contexte : Général)
Un site web dont le contenu est accessible aux moteurs de recherche afin que le contenu puisse être indexé.
Un crawler suit les liens sur le web. Un crawler est également appelé robot, bot ou araignée. Il fait le tour de l'internet 24/7. Lorsqu'il arrive sur un site web, il enregistre la version HTML d'une page dans une gigantesque base de données, appelée index. Cet index est mis à jour chaque fois que le crawler passe sur votre site web et en trouve une version nouvelle ou révisée.
Référence :
Voir aussi
Site web alternatif "non grattable". Il n'y a pas d'indexation.