Die Notwendigkeit Informationen aus dem Web zu sammeln, sei es für Web-Suchmaschinen oder sonstige Dienste, bedingt ein Traversieren des Webs. Webcrawler ermöglichen dies, indem sie den Verweisen in Webseiten nach gewissen Strategien folgen.

Wir werden zu Beginn die Struktur des Webs und Webcrawler einführend betrachten. Anschließend erörtern wir den Aufbau und die einzelnen Komponenten eines Webcrawlers genauer. Wir enden mit einer Sicherheitsbetrachtung und einem Ausblick.