Ein Crawler ist ein automatisiertes Programm, das Webseiten aufruft und deren Inhalte erfasst. Suchmaschinen wie Google verwenden solche Programme, um neue oder veränderte Seiten zu entdecken. Die gefundenen Inhalte können anschließend analysiert und in einen Suchindex aufgenommen werden. 

Crawler folgen häufig Links von einer Seite zur nächsten und arbeiten dadurch große Teile des Webs systematisch ab. Neben Suchmaschinen setzen inzwischen auch KI-Anbieter eigene Crawler ein. Diese können Inhalte etwa für KI-Systeme abrufen oder Daten für deren Entwicklung sammeln. Websitebetreiber können den Zugriff bestimmter Crawler unter anderem über die Datei robots.txt steuern, wobei nicht jeder Bot solche Vorgaben zwingend beachtet. 

Crawler sind deshalb weder grundsätzlich nützlich noch schädlich. Entscheidend ist, wer sie betreibt, welche Inhalte sie abrufen und wofür die gesammelten Daten anschließend verwendet werden.