Webcrawler betekent “crawler door het internet”. Webcrawlers zijn computerprogramma’s die onafhankelijk het internet doorzoeken en websites analyseren.
Webcrawlers zijn bots – computerprogramma’s die automatisch en onafhankelijk bepaalde taken uitvoeren. De figuurlijke term “web crawler” is afgeleid van de manier waarop deze bots werken. Ze “crawlen” van link naar link via het internet. Zo komen ze van website naar website. Zoekmachines gebruiken webcrawlers om websites te analyseren en aan hun directory toe te voegen. Elke zoekmachine gebruikt zijn eigen webcrawlers. Je bedrijfswebsite wordt bezocht door Googlebot, Bingbot en de webcrawlers van andere zoekmachines.
Webcrawlers kunnen worden gebruikt om automatisch gegevens van websites te verzamelen en te analyseren. Daarom worden ze bijvoorbeeld ook gebruikt voor prijsvergelijkingswebsites om de laagste prijzen voor bepaalde producten te vinden.
Maar webcrawlers worden ook gebruikt voor dubieuze of illegale doeleinden. Bijvoorbeeld om automatisch e-mailadressen te verzamelen , waarnaar spam wordt gestuurd.
Indirect kom je het elke keer tegen wanneer je een zoekmachine gebruikt. De zoekresultaten zijn het resultaat van het werk van de webcrawlers. Ongebruikelijke e-mailadresinformatie op websites zoals “info(at)unternehmen(dot)com” komt ook door webcrawlers. Dit formaat is bedoeld om het e-mailadres onleesbaar te maken voor dubieuze webcrawlers. Echter, e-mailadressen die op deze manier worden opgegeven zijn niet langer toegankelijk en kunnen ze niet meer worden gebruikt, bijvoorbeeld voor mensen met ernstig verminderd zicht. Bovendien zijn veel dubieuze webcrawlers nu geprogrammeerd om dergelijke alternatieve spellingen te herkennen.
Bescherm e-mailadressen die toegankelijk zijn op je bedrijfswebsite tegen dubieuze webcrawlers. Er zijn verschillende manieren om dit te doen. Twee voorbeelden: