Comment bloquer le Crawler Referrer SPAM ou Spam au robot d’indexation via le .Htaccess ?
Voici quelques lignes à copier/coller dans votre .Htaccess afin d’empêcher l’accès à votre site aux crawler comme Semalt.
Dans le doute j’ai laissé quelques URL de Ghost SPAM. Vous pouvez les retirer si vous le désirez.
# BEGIN DETER SEMALT
RewriteEngine On
RewriteCond %{HTTP_REFERER} ^http://.*semalt\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*guardlink\.org [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*buy-cheap-online\.info [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*darodar\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*anticrawler\.org [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*sitevaluation\.org [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*simple-share-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*websites-reviews\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*2linkto\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*blog\.ranksonic\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*youporn-forum\.ga [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*pornhub-forum\.ga [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*maridan\.com\.ua [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*trafficmonetize\.org [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*непереводимая\.рф [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*makemoneyonline\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*econom\.co [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*100dollars-seo\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*www\.event-tracking\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*Get-Free-Traffic-Now\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*free-share-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*free-social-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*blackhatworth\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*hulfingtonpost\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*priceg\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*kambasoft\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*savetubevideo\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*yapoga\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*bottlenose\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*descargar-musica-gratis\.net [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*buttons-for-website\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*buttons-for-your-website\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*best-seo-offer\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*best-seo-solution\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*sharebutton\.net [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*baixar-musicas-gratis\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*o-o-6-o-o\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*humanorightswatch\.org [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*forum.topic49735429.darodar\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*s\.click\.aliexpress\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*aliexpress\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*bestwebsitesawards\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*cenoval\.ru [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*social-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*site25\.social-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*site37\.social-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*site31\.social-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*site23\.social-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*site18\.social-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*site33\.social-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*site3\.free-share-buttons\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*sanjosestartups\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*ilovevitaly\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*sanjosestartups\.com [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*4webmasters\.org [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://.*editors\.choice49735429\.hulfingtonpost\.com [NC]
RewriteRule (.*) http://www.semalt.com [R=301,L]
# END DETER SEMALT
Comment bloquer le Ghost SPAM ou visite fantôme via un filtre Google Analytics ?
Deux méthodes existent mais je vais vous présenter celle que j’utilise et qui me semble la plus pratique à utiliser.
Il s’agit de créer un filtre sur les noms d’hôtes valides qui se chargera des ghosts SPAM de toutes formes (Sites référents, Organiques, direct).
Ce filtre vous permettra de bloquer les Spam avant qu’ils n’accèdent à votre analytique. Un seul filtre est nécessaire.
Comment fonctionne le filtre de nom d’hôte valide sur Google Analytics ?
Tous les Ghosts spam utilisent un nom d’hôte non valide puisqu’ils ne savent pas qui ils visent, si vous vérifiez les nom d’hôtes des sites de références que vous supposez être du SPAM vous constaterez qu’ils utilisent soit un nom d’hôte faux soit “not set”.
La partie la plus importante de cette méthode est de créer une liste des noms d’hôtes valides de manière à ne pas exclure du vrai trafic.
Pour créer ce filtre vous devez premièrement récupérer la liste de vos noms d’hôtes.
- Dans l’onglet Rapports sur GA sélectionnez une large période sur le calendrier (6 mois par exemple)
- Ensuite, dans le menu latéral sélectionnez Acquisition => Tout le trafic => Canaux
- Choisissez la Dimension principale en sélectionnant Source
- Cliquez sur Dimension secondaire et sélectionnez Nom d’hôte
Ici, vous allez pouvoir observer que les Ghost Referrer Spam (bleu) ont un nom d’hôte invalide contrairement aux Crawlers Referrer Spam.
- Une fois la liste des noms d’hôtes valides identifiée copiez la.
En général il s’agit des sites sur lesquels vous avez placé votre code de suivi GA (UA-XXXXXX-1)
www.monsite.com, monsite.com, Blog.monsite.com
Attention n’oubliez pas que si votre site à des visiteurs étrangers ces derniers peuvent utiliser un outil de traduction et dans ce cas vous verrez apparaitre des noms d’hôtes du type traductionservice.com.
- Vous pouvez dès à présent rassembler tous vos noms d’hôtes valides dans une expression régulière
www.youtube.com|translate.googleusercontent.com|m.youtube.com|daymier.com|www.daymier.com|lucas.daymier.com|www.lucas.daymier.com
Un fois votre REGEX créée, vous pouvez mettre le filtre en place.
- Allez sur l’onglet Admin et sélectionnez la Vue sur laquelle vous souhaitez appliquer le filtre.
- Sélectionnez Filtres
Si ce n’est pas déjà fait je vous recommande de créer une vue sans filtres pour pouvoir vérifier plus tard que le filtre fonctionne correctement.
- Cliquez sur Nouveau Filtre
- Sélectionnez Créer un filtre
- Choisissez personnalisé dans le type de filtre
- Ensuite attention à bien choisir Inclure et Sélectionnez nom d’hôte comme champ de filtrage
- Enfin, vous pouvez coller la REGEX que vous avez construit avec les noms d’hôte valides dans le champ Règle de filtrage
Bravo !
Vous allez maintenant pouvoir reprendre une analyse normale.
Cependant, vous allez constater que les effets de ce filtre et du blocage via .htaccess ne sont pas rétroactif.
Il vous faut donc retirer toutes ces fausses données.
Qu’est ce que le SPAM de sites référents de vos rapports Google Analytics.
Découvrir Comment retirer le SPAM de l’historique Google Analytics ?
J’avoue que je n’avais pas fait attention à la chose car même si mon site existe depuis un certain temps cela fait peut de temps que je m’intéresse à le faire vraiment progresser. Je ne cherchais pas à attirer des visiteurs en direct.
Suite à votre précédent article et à celui-ci, je suis retourné sur mon compte Analytics : catatrophe !
Merci pour ces précieuses informations.
Oui j’ai eu la même impression.
Selon les petites mains de Google, ils n’ont pas l’intention de s’en mêler.
Sur ce site le SPAM représentait 80% du trafic c’est pour dire …
Encore plus drôle, je viens de créer un compte analytique pour un nouveau site.
Le site n’est pas encore en ligne et le tag pas posé mais j’ai déjà du SPAM …
waow c’est dingue comment arrive-t-il à spammer alors que le site web n’est pas encore en ligne ?? Merci pour ta liste de ghosts spam je vais mettre à jour mon ht access.
Hello Lucas,
Merci pour l’astuce, testé et approuvé sur mon site perso qui était spammé à 80% également :)
J’espère que tout va bien pour toi !
Antoine
Merci, oui tout vas bien.
Je vais pas tarder à mettre à jour la liste