Die robots.txt gibt dem Webmaster die Möglichkeit zu steuern, welche Dateien oder Verzeichnisse ein Bot auslesen darf und welche nicht. Die robots.txt ist eine Textdatei, die im Wurzelverzeichnis der Webdateien der Domain abgelegt wird.
Hinweise zur Gestaltung der robots.txt in meinem Post: SEO-Liveschalte oder bei SELFHTML.
Dein Kommentar: