Wie Sie verhindern, dass Suchmaschinen Ihre Website indizieren
Wenn Sie eine Entwicklungswebsite oder -seite haben, die nicht von Suchmaschinen indexiert werden soll, können Sie dies durch die Verwendung einer robots.txt-Datei feststellen. Eine robots.txt-Datei weist Roboter an, keine Seiten auf einer Website zu besuchen.Alle Roboter von der gesamten Website blockieren
1. Erstellen Sie eine Textdatei namens robots.txt2. Geben Sie Folgendes in die Datei ein:
User-agent: * Disallow: /3. Speichern Sie die Textdatei und platzieren Sie sie im Stammverzeichnis Ihrer Site-Dateien im Ordner httpdocs. Siehe Verwenden von FTP. Diese Datei wird von seriösen Suchmaschinen anerkannt, kann aber vom Code-Design mit böswilliger Absicht ignoriert werden. Weitere Informationen zu robots.txt-Dateien finden Sie unter dieser URL:http://www.robotstxt.org/robotstxt.html.