Comment bloquer le Crawler Referrer SPAM ou Spam au robot d’indexation via le .Htaccess ?

Voici quelques lignes à copier/coller dans votre .Htaccess afin d’empêcher l’accès à votre site aux crawler comme Semalt.

Dans le doute j’ai laissé quelques URL de Ghost SPAM. Vous pouvez les retirer si vous le désirez.

# BEGIN DETER SEMALT
RewriteEngine On
RewriteCond %{HTTP_REFERER} ^http://.*semalt\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*guardlink\.org [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*buy-cheap-online\.info [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*darodar\.com  [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*anticrawler\.org [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*sitevaluation\.org [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*simple-share-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*websites-reviews\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*2linkto\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*blog\.ranksonic\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*youporn-forum\.ga [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*pornhub-forum\.ga [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*maridan\.com\.ua [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*trafficmonetize\.org [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*непереводимая\.рф [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*makemoneyonline\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*econom\.co [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*100dollars-seo\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*www\.event-tracking\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*Get-Free-Traffic-Now\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*free-share-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*free-social-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*blackhatworth\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*hulfingtonpost\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*priceg\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*kambasoft\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*savetubevideo\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*yapoga\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*bottlenose\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*descargar-musica-gratis\.net [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*buttons-for-website\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*buttons-for-your-website\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*best-seo-offer\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*best-seo-solution\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*sharebutton\.net [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*baixar-musicas-gratis\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*o-o-6-o-o\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*humanorightswatch\.org [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*forum.topic49735429.darodar\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*s\.click\.aliexpress\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*aliexpress\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*bestwebsitesawards\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*cenoval\.ru [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*social-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*site25\.social-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*site37\.social-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*site31\.social-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*site23\.social-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*site18\.social-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*site33\.social-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*site3\.free-share-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*sanjosestartups\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*ilovevitaly\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*sanjosestartups\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*4webmasters\.org [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*editors\.choice49735429\.hulfingtonpost\.com [NC]
RewriteRule (.*) http://www.semalt.com [R=301,L]
# END DETER SEMALT

Comment bloquer le Ghost SPAM ou visite fantôme via un filtre Google Analytics ?

Deux méthodes existent mais je vais vous présenter celle que j’utilise et qui me semble la plus pratique à utiliser.

Il s’agit de créer un filtre sur les noms d’hôtes valides qui se chargera des ghosts SPAM de toutes formes (Sites référents, Organiques, direct).

Ce filtre vous permettra de bloquer les Spam avant qu’ils n’accèdent à votre analytique. Un seul filtre est nécessaire.

Comment fonctionne le filtre de nom d’hôte valide sur Google Analytics ?

Tous les Ghosts spam utilisent un nom d’hôte non valide puisqu’ils ne savent pas qui ils visent, si vous vérifiez les nom d’hôtes des sites de références que vous supposez être du SPAM vous constaterez qu’ils utilisent soit un nom d’hôte faux soit “not set”.

La partie la plus importante de cette méthode est de créer une liste des noms d’hôtes valides de manière à ne pas exclure du vrai trafic.

Pour créer ce filtre vous devez premièrement récupérer la liste de vos noms d’hôtes.

  1. Dans l’onglet Rapports sur GA sélectionnez une large période sur le calendrier (6 mois par exemple)
  2. Ensuite, dans le menu latéral sélectionnez Acquisition => Tout le trafic => Canaux
  3. Choisissez la Dimension principale en sélectionnant Source
  4. Cliquez sur Dimension secondaire et sélectionnez Nom d’hôte

la liste des noms d'hôtes

Ici, vous allez pouvoir observer que les Ghost Referrer Spam (bleu) ont un nom d’hôte invalide contrairement aux Crawlers Referrer Spam.

liste nom d'hôtes valides

  1. Une fois la liste des noms d’hôtes valides identifiée copiez la.

En général il s’agit des sites sur lesquels vous avez placé votre code de suivi GA (UA-XXXXXX-1)

www.monsite.com, monsite.com, Blog.monsite.com

Attention n’oubliez pas que si votre site à des visiteurs étrangers ces derniers peuvent utiliser un outil de traduction et dans ce cas vous verrez apparaitre des noms d’hôtes du type traductionservice.com.

  1. Vous pouvez dès à présent rassembler tous vos noms d’hôtes valides dans une expression régulière

www.youtube.com|translate.googleusercontent.com|m.youtube.com|daymier.com|www.daymier.com|lucas.daymier.com|www.lucas.daymier.com

Un fois votre REGEX créée, vous pouvez mettre le filtre en place.

  1. Allez sur l’onglet Admin et sélectionnez la Vue sur laquelle vous souhaitez appliquer le filtre.
  2. Sélectionnez Filtres

Si ce n’est pas déjà fait je vous recommande de créer une vue sans filtres pour pouvoir vérifier plus tard que le filtre fonctionne correctement.

  1. Cliquez sur Nouveau Filtre  nouveau filtre
  2. Sélectionnez Créer un filtre
  3. Choisissez personnalisé dans le type de filtre
  4. Ensuite attention à bien choisir Inclure et Sélectionnez nom d’hôte comme champ de filtrage
  5. Enfin, vous pouvez coller la REGEX que vous avez construit avec les noms d’hôte valides dans le champ Règle de filtrage

Filtre nom d'hôte

Bravo !

Vous allez maintenant pouvoir reprendre une analyse normale.
Cependant, vous allez constater que les effets de ce filtre et du blocage via .htaccess ne sont pas rétroactif.

Il vous faut donc retirer toutes ces fausses données.

Qu’est ce que le SPAM de sites référents de vos rapports Google Analytics.

Découvrir Comment retirer le SPAM de l’historique Google Analytics ?

5 réponses
  1. Jacques Picavez
    Jacques Picavez dit :

    J’avoue que je n’avais pas fait attention à la chose car même si mon site existe depuis un certain temps cela fait peut de temps que je m’intéresse à le faire vraiment progresser. Je ne cherchais pas à attirer des visiteurs en direct.
    Suite à votre précédent article et à celui-ci, je suis retourné sur mon compte Analytics : catatrophe !
    Merci pour ces précieuses informations.

    Répondre
    • Lucas DAYMIER
      Lucas DAYMIER dit :

      Oui j’ai eu la même impression.

      Selon les petites mains de Google, ils n’ont pas l’intention de s’en mêler.

      Sur ce site le SPAM représentait 80% du trafic c’est pour dire …
      Encore plus drôle, je viens de créer un compte analytique pour un nouveau site.
      Le site n’est pas encore en ligne et le tag pas posé mais j’ai déjà du SPAM …

      Répondre

Laisser un commentaire

Participez-vous à la discussion?
N'hésitez pas à contribuer!

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.