Wie blockiere ich Bots mit der Robots.txt-Datei in cPanel?

Robot.txt Datei ist eine einfache Textdatei, die in einem Stammverzeichnis Ihrer Website erstellt wird und es den Suchmaschinen-Bots ermöglicht, Ihre Website zu durchsuchen, um sie zu indizieren. Die robot.txt-Datei steuert auch, wie und auf welche Dateien die Bots zugreifen sollen, daher ist die richtige Konfiguration von entscheidender Bedeutung. Sie können die robot.txt-Datei verwenden, um zu verhindern, dass Bots Ihre Website in Suchmaschinen indizieren.

In diesem Artikel zeigen wir Ihnen, wie Sie Bots blockieren, indem Sie Ihre robot.txt-Datei bearbeiten. Befolgen Sie die nachstehenden Schritte, um loszulegen.

1. Melden Sie sich bei Ihrem cPanel-Konto an.
   
   
2. Dateimanager öffnen.
   
   
   
   
3. Erstellen Sie einen Dateinamen robot.txt und fügen Sie den folgenden Code hinzu, um den Bot zu blockieren. Dieser Code blockiert den Bot für die Baidu-Suchmaschine.
   
   

   RewriteEngine On
   RewriteCond %{HTTP_USER_AGENT} Baiduspider [NC]
   RewriteRule .* – [F,L]
   

   
   
   
   
   
   
4. Das ist es. Jetzt kann Baidu Ihre Website nicht mehr boten.