Crawler oder Webcrawler (zu Deutsch Internet-Krabbler) sind weitgehend "eigenständige" Programme, die Webseiten auf Inhalte hin durchsuchen. Die so gewonnenen Daten werden beispielsweise bei Suchmaschinen mit Webadressen und kurzen Inhaltsbeschreibungen gespeichert.