Webcrawler

Webcrawler bedeutet übersetzt etwa „durchs-Internet-Krabbler“. Webcrawler sind Computerprogramme, die selbständig das Internet durchsuchen und Webseiten analysieren.

Was bedeutet Webcrawler im Detail?

Webcrawler sind Bots – Computerprogramme, die automatisch und selbständig bestimmte Aufgaben ausführen. Die bildliche Bezeichnung „Webcrawler“ leitet sich aus der Funktionsweise dieser Bots ab. Sie „krabbeln“ von Verlinkung zu Verlinkung durch das Internet. So gelangen sie von Webseite zu Webseite. Suchmaschinen nutzen Webcrawler, um Webseiten zu analysieren und in ihr Verzeichnis aufzunehmen. Jede Suchmaschine setzt ihre eigenen Webcrawler ein. Ihre Unternehmenswebseite wird vom Googlebot, vom Bingbot und den Webcrawlern anderer Suchmaschinen besucht.

Mit Webcrawlern lassen sich automatisch Daten von Webseiten sammeln und analysieren. Daher werden sie z. B. auch für Preisvergleich-Webseiten genutzt, um die jeweils niedrigsten Preise für bestimmte Produkte zu finden.
Doch auch für zwielichtige oder illegale Zwecke werden Webcrawler eingesetzt. Zum Beispiel zum automatischen Sammeln von E-Mail-Adressen an welche dann Spam versandt wird.

Wo begegnet mir das Thema „Webcrawler“ im Arbeitsalltag?

Indirekt begegnet es Ihnen bei jeder Nutzung einer Suchmaschine. Die Suchergebnisse sind die Ergebnisse der Arbeit der Webcrawler. Auch ungewöhnliche E-Mail-Adress-Angaben auf Webseiten wie „info(at)unternehmen(dot)com“ sind durch Webcrawler begründet. Dieses Format soll die E-Mail-Adresse für zwielichtige Webcrawler unlesbar machen. Allerdings sind so angegebene E-Mail-Adressen nicht mehr barrierefrei und z. B. für Menschen mit stark eingeschränkter Sehfähigkeit nicht mehr nutzbar. Weiterhin sind viele zwielichtige Webcrawler inzwischen darauf programmiert, solche Alternativschreibweisen zu erkennen.

Was kann ich tun, um meine Sicherheit zu verbessern?

Schützen Sie auf Ihrer Unternehmenswebseite zugängliche E-Mail-Adressen vor zwielichtigen Webcrawlern. Hierfür gibt es mehrere Möglichkeiten. Zwei Beispiele:

• Ersetzen Sie E-Mail-Adressen durch Kontaktformulare. Kontaktformulare sind für Bots nicht nutzbar, lassen sich aber für Menschen barrierefrei gestalten.
• Ersetzen Sie E-Mail-Adressen durch eine Weiterleitung über HTTP-Redirect. Dabei wird die E-Mail-Adresse über einen Umweg zugänglich, der für Bots nicht nachvollziehbar ist. Wenden Sie sich an Ihre IT-Abteilung, um Ihre Webseite besten Methoden zu identifizieren und umzusetzen.