Die Datei “robots.txt” befindet sich im Root-Verzeichnis einer Website und teilt Suchmaschinen mit, welche Teile Ihrer Website gecrawlt werden dürfen. Im Wesentlichen sagt sie den Suchmaschinen, welche Seiten und Inhalte sie indizieren dürfen. Diese Datei enthält spezifische Anweisungen für die Crawler der Suchmaschinen, die den Inhalt Ihrer Website analysieren. Diese Anweisungen legen fest, welche Seiten für den Crawler zugänglich sind. Wenn ein Crawler auf eine Seite oder einen Ordner stößt, die bzw. durch die robots.txt ausgeschlossen ist, wird dieser Teil weder indiziert noch in den Suchergebnissen angezeigt.
