Ein Webcrawler ist ein Computerprogramm, das automatisch das Internet durchsucht und Webseiten analysiert. Webcrawler werden vor allem von Suchmaschinen zur Indexierung von Webseiten eingesetzt – so zum Beispiel auch von der Verwaltungssuchmaschine.NRW.