Ein Webcrawler ist ein automatisiertes Programm, das Webseiten aufruft und deren Inhalte systematisch erfasst. Solche Programme werden auch als Crawler, Spider oder Bot bezeichnet.

Besonders wichtig sind Webcrawler für Suchmaschinen. Sie folgen Links von einer Webseite zur nächsten, entdecken dadurch neue oder veränderte Seiten und liefern Informationen, die anschließend für einen Suchindex verarbeitet werden können. Ohne Crawling könnten Suchmaschinen neue Inhalte nur schwer finden.

Webseitenbetreiber können den Zugriff von Crawlern teilweise steuern. Über die Datei robots.txt lässt sich beispielsweise festlegen, welche Bereiche einer Website ein bestimmter Crawler besuchen darf. Einige Suchmaschinen bieten darüber hinaus zusätzliche Möglichkeiten zur Steuerung der Zugriffshäufigkeit.

Webcrawler werden nicht ausschließlich für Suchmaschinen eingesetzt. Sie können beispielsweise auch für Webarchive oder andere automatisierte Datenerfassungen verwendet werden. Das eigentliche Crawling bedeutet dabei zunächst nur, dass Inhalte automatisiert aufgerufen und erfasst werden.