Aujourd'hui, la plupart d'entre nous ont accepté que nous allons suivre régulièrement les que nous vaquons à notre vie quotidienne. Pratiquement tout ce que nous faisons sur les appareils numériques, surtout lorsque nous sommes connectés à Internet, est suivi par quelqu'un quelque part. En fait, à moins que nous prenons des mesures spécifiques pour empêcher d'autres personnes de le faire, il est une donnée que nous allons traqué, peu importe ce que nous faisons.
Être suivi est rien de nouveau. Tant que l'Internet a été autour, sites ont été en mesure de surveiller leurs utilisateurs. Cependant, l'éventail des techniques disponibles aujourd'hui est vraiment hallucinant. Fingerprinting, l'analyse de l'agent utilisateur, Adresse IP suivi de la localisation et beaucoup d'autres sont utilisés pour nous et le profil de fouiner sur ce que nous faisons quand nous sommes en ligne.
En fait, il y a quelque chose d'un paradoxe en jeu ici. les utilisateurs d'Internet d'origine sont désormais soumis à un examen beaucoup plus de plus qu'auparavant, en grande partie en raison de la hausse des bots et autres utilisateurs d'Internet non humains.
Vous pouvez comprendre pourquoi tant de services en ligne et des sites Web veulent empêcher les utilisateurs non humains d'y accéder. Chaque utilisateur représente un coût en ressources, Peu importe la taille. Pour les sites qui attirent un grand volume de trafic, ces visites généralement peu coûteuses peuvent être très importantes. Dans certains cas,, empêchant les utilisateurs automatisés et les robots d'accéder à un service peut réduire de manière significative la souche elle se trouve sous.
Pourquoi cela arrive-t-il?
Malgré le fait qu'il y ait un effort concerté pour éliminer les robots collecteurs de nombreuses plates-formes en ligne, ils ont continué à augmenter à un rythme remarquable. Toute personne qui utilise les médias sociaux très probablement rencontrer les robots collecteurs sur la plate-forme, qu'il le réalise ou non. Et même si vous ne visitez pas Média social plates-formes, il n'y a que quelques sites et services en ligne qui ne sont pas accessibles par les robots dans une certaine mesure ou une autre.
Par exemple, sites Web qui fournissent des comparaisons de prix ou l'agrégation de contenu devront utiliser les robots pour gratter autres sites afin d'obtenir les données qu'ils présentent à leurs utilisateurs. sans bots, les moteurs de recherche comme Google ne serait pas en mesure de fonctionner. Cependant, le bot terme a acquis un certain nombre de connotations négatives de ces dernières années, en grande partie parce qu'ils ont été utilisés pour répandre la propagande russe au cours de la 2016 élections américaines.
Parce que les bots sont maintenant sous un tel contrôle, et il y a un tel effort concentré pour les empêcher d'accéder aux services en ligne, Les développeurs de bots ont dû être beaucoup plus intelligent en essayant de ne pas être démasqués. Il y a un certain nombre de techniques développeurs de bots peuvent utiliser pour rendre leurs créations plus difficiles à repérer.
Moteurs de recherche Detecting
bots plus âgés et moins sophistiqués sont assez faciles à détecter en ligne. En fait, beaucoup d'entre eux n'emploient aucune des techniques de base que les développeurs de bots utilisent maintenant pour éviter la détection. Cependant, Il est révolu le temps où la recherche simplement à une adresse IP serait suffisant pour dire si un utilisateur était humain ou non. Bots emploient aujourd'hui des tactiques beaucoup plus sophistiqués que leurs prédécesseurs avaient pu faire.
Non seulement moderne bots masquent leur adresse IP; ils savent aussi comment usurper leurs agents utilisateurs, se débarrasser de tout effort d'empreintes digitales, et ils répondent aux cookies de la même manière un utilisateur humain ferait. Toutes ces techniques font bots beaucoup plus difficiles à détecter.
Pour l'instant, Les développeurs de bots continuent de déjouer la plupart des services en ligne. historiquement, ils ont été bons à rester une avance étape de la compétition. Mais cela ne l'empêche pas d'employer des sites Web beaucoup plus strictes et des méthodes de détection plus approfondie, ce qui signifie en fin de compte qu'ils finissent par recueillir plus d'informations de chaque utilisateur - qu'ils soient humains ou non.
Pris dans le Crossfire
En tant que développeurs de bots deviennent plus sophistiqués et trouver de nouvelles façons d'éviter les mesures de détection, nous avons dans la pratique, les sites sont de plus en plus agressifs dans leurs efforts pour démasquer et empêcher les robots d'utiliser leurs plates-formes. Malheureusement, cette surveillance plus agressive est également appliquée aux utilisateurs réguliers qui n'ont rien fait de mal.
Alors que la plupart d'entre nous attendent bots d'être une partie de la toile, et que les sites ont le droit d'empêcher les robots d'accéder à leur plate-forme si elles le souhaitent, il y a encore une question très importante sur le consentement éclairé. Les sites Web sont régulièrement nous suivi de façon qu'ils ne le faisaient auparavant, et certaines de ces méthodes peuvent porter atteinte à notre vie privée.
En général, il n'y a aucun moyen de savoir exactement quel type de défenses d'un site sans avoir d'abord le visiter. Cela rend impossible de voir à l'avance quelles sont les méthodes de détection utilisées et de décider si nous sommes heureux d'être soumis à eux ou non.
A propos de l'auteur: il noyau
Ebbe noyau est analyste et consultant en collecte de données suédoise. Il travaille dans le domaine de l'intelligence des données depuis plus de dix ans et ont conseillé des centaines de fournisseurs de données et les grandes entreprises sur les solutions d'acquisition de données en interne. En savoir plus sur moi à plus ebbekernel.com.
