ConfigServer Security &Firewall oder csf kurz ist eine beliebte Firewall-Lösung für cPanel-Server. Kombiniert mit einigen guten Regeln für mod_security macht es einen tollen Job.
Um zu verhindern, dass csf die IPs guter Bots vorübergehend/permanent blockiert, sollten Sie die Datei /etc/csf/csf.rignore bearbeiten
####################### ##########################
# Copyright 2006–2017, Way to the Web Limited
# URL:http://www.configserver.com
# E-Mail:[email protected]
####################### ##########################
# Das Folgende ist eine Liste von Domänen und Teildomänen, die von lfd verarbeitet werden
# Tracking wird basierend auf Reverse- und Forward-DNS-Lookups ignoriert. Ein Beispiel für
# Seine Verwendung soll verhindern, dass Webcrawler von lfd blockiert werden, z.
# .googlebot.com und .crawl.yahoo.net
#
# Sie müssen entweder einen vollständig qualifizierten Domänennamen (FQDN) oder eine eindeutige Endung verwenden
# Teilmenge des Domainnamens, die mit einem Punkt beginnen muss (Wildcards sind NICHT
# sonst erlaubt)
#
# Beispielsweise sind die folgenden alle gültigen Einträge:
# www.configserver.com
# .configserver.com
# .configserver.co.uk
# .googlebot.com
# .crawl.yahoo.net
# .search.msn.com
#
# Die folgenden Einträge sind NICHT gültig:
# *.configserver.com
# *google.com
# google.com (es sei denn, die Suche ist GENAU google.com ohne Subdomain
#
# Wenn eine Kandidaten-IP-Adresse untersucht wird, wird ein Reverse-DNS-Lookup durchgeführt
# die IP-Adresse. Auf dem Ergebnis von wird dann ein Forward-DNS-Lookup durchgeführt
# Reverse-DNS-Lookup. Die IP-Adresse wird nur ignoriert, wenn:
#
# 1. Die Ergebnisse der endgültigen Suche stimmen mit der ursprünglichen IP-Adresse überein
# UND
# 2a. Die Ergebnisse der rDNS-Suche stimmen mit dem FQDN überein
# ODER
# 2b. Die Ergebnisse der rDNS-Suche stimmen mit der Teilmenge der Domäne überein
#
# Hinweis:Wenn die DNS-Lookups zu langsam sind oder nicht die erwarteten Ergebnisse liefern
# Die IP-Adresse wird wie gewohnt für den Blockierungsauslöser gezählt
#
Fügen Sie die folgenden Zeilen zu /etc/csf/csf.rignore hinzu Datei:
.googlebot.com
.crawl.yahoo.net
.search.msn.com
.google.com
.yandex.ru
.yandex.net
.yandex.com
.crawl.baidu.com
.crawl.baidu.jp
csf blockiert IPs, wenn ein Host mehrmals durch eine mod_security-Regel blockiert wird. Also müssen wir an die Wurzel des Problems gehen – wir werden mod_security-Regeln erstellen, um gute Bots zuzulassen.
Dazu bearbeiten wir die mod_security .conf-Dateien. Wenn Sie cPanel EasyApache 4 verwenden, fügen Sie die folgenden Zeilen zur Datei /etc/apache2/conf.d/modsec/modsec2.user.conf hinzu
HostnameLookups On
SecRule REMOTE_HOST "@endsWith .googlebot.com" "allow,log,id:5000001,msg:'googlebot'"
SecRule REMOTE_HOST "@endsWith .google.com" "allow,log,id:5000002,msg:'googlebot'"
SecRule REMOTE_HOST "@endsWith .search.msn.com" "allow,log,id:5000003,msg:'msn bot'"
SecRule REMOTE_HOST "@endsWith .crawl.yahoo.net" "allow,log,id:5000004,msg:'yahoo bot'"
SecRule REMOTE_HOST "@endsWith .yandex.ru" "allow,log,id:5000005,msg:'yandex bot'"
SecRule REMOTE_HOST "@endsWith .yandex.net" "allow,log,id:5000006,msg:'yandex bot'"
SecRule REMOTE_HOST "@endsWith .yandex.com" "allow,log,id:5000007,msg:'yandex bot'"
SecRule REMOTE_HOST "@endsWith .crawl.baidu.com" "allow,log,id:5000008,msg:'baidu bot'"
SecRule REMOTE_HOST "@endsWith .crawl.baidu.jp" "allow,log,id:5000009,msg:'baidu bot'"Nachdem Sie diese Zeilen hinzugefügt haben, starten Sie bitte den Apache-Webserver neu. Nach einiger Zeit sehen Sie Einträge in den Serverprotokollen. Gehen Sie einfach zu WHM->Sicherheitscenter->ModSecurity™ Tools->Trefferliste oder von der Kommandozeile:
root@web [/]# grep "500000" /usr/local/apache/logs/error_log | tail -30
Ressourcen:
https://webmasters.googleblog.com/2006/09/how-to-verify-googlebot.html
https://yandex.com/support/webmaster/robot-workings/check-yandex-robots.xml
https://www.bing.com/webmaster/help/how-to-verify-bingbot-3905dc26
https://github.com/SpiderLabs/ModSecurity/wiki/