Site web: sécurité ou indexation, faut-il choisir ?

Pas mal de sites Web mettent à disposition du contenu sous la forme de forum avec questions/réponses.
Les réponses peuvent-être rémunérées afin de motiver les visiteurs à alimenter le site.

Les sites demandent donc à s’enregistrer (et payer) afin d’accéder au contenu….

Sauf que pour avoir des visiteurs et donc des clients, il faut que ces questions/réponses soient indexées par les moteurs de recherche comme Google. Hors il n’est pas possible de donner un compte d’accès à ces moteurs de recherches. Il en résulte que pas mal de sites filtrent sur le nom du navigateur (User Agent), afin de laisser le contenu en libre accès aux moteurs de recherche afin d’être indexés. On pourrait penser qu’il suffit d’interdire les moteurs à mettre les pages en cache et que le tour est joué….Pas vraiment.

Pour contourner, cette fausse sécurité, il suffit de présenter son navigateur comme étant googlebot par exemple pour avoir accès à tout le contenu!
Rien de plus facile avec Firefox et l’extension User Agent Switcher!

Si vous avez la flemme de trouver le nom exact pour googlebot ou autre, il vous suffit de nourrir l’extension avec un XML tout prêt: http://techpatterns.com/downloads/firefox/useragentswitcher.xml

Par exemple, le site SQL Server Central implémente cette fausse sécurité.

Solution pour une DSI++: Filtrer aussi sur les adresses IP des moteurs de recherches.

Laisser un commentaire