Ein Crawler ist ein Programm, das Websites automatisch durchsucht: Es ruft eine Seite ab, liest deren Inhalt und folgt den gefundenen Links zur nächsten — so arbeitet es sich durch das Web. Suchmaschinen betreiben die bekanntesten, etwa den Googlebot und den Bingbot; daneben crawlen KI-Anbieter für Training und Antwortsuche sowie SEO-Werkzeuge für ihre Analysen.
Steuern lässt sich der Besuch über die robots.txt, die Bereiche vom Crawling ausnimmt, und über Meta-Angaben auf der Seite; die XML-Sitemap weist umgekehrt den Weg zu allen gewünschten Inhalten. Seriöse Crawler halten sich an diese Regeln — erzwingen kann sie die Website nicht, weshalb gegen unerwünschte Bots serverseitige Sperren nötig sind.
Für große Websites wird das Crawl-Budget zum Thema: Suchmaschinen rufen pro Website nur begrenzt viele Seiten ab, und wer den Bot durch endlose Filter-URLs und Duplikate schickt, verbraucht es an Unwichtigem. Kleine Websites mit wenigen hundert Seiten müssen sich darum keine Sorgen machen.