Diese Frage hat hier bereits Antworten :
Kommentare
- Baidu benimmt sich oft ziemlich gut. Da Baidu eine japanisch / chinesische Suchmaschine ist, die hauptsächlich aus China stammt, verwenden einige Schaber möglicherweise den Namen des Agenten und werden Schurke. Dies kann sein, was Sie sehen. Andernfalls muss ich dies weiter untersuchen.
Antwort
Sie können versuchen, bestimmte IP-Adressen zu blockieren in Ihrer .htaccess-Datei. Die Bereiche finden Sie hier .
In robots.txt können Sie auch die folgenden
Wenn Sie Caching-Plugins oder CDN verwenden, müssen Sie auch den gesamten Cache leeren.
Kommentare
- Nur die erste
User-agent: Baiduspidersollte erforderlich sein, um alle Baidu-Spinnen zu blockieren (" eine Übereinstimmung zwischen Teilzeichenfolgen ohne Berücksichtigung der Groß- und Kleinschreibung " gemäß dem " Standard " und Baidu unterstützt angeblich die " Standard "). Dies wird in den Baidu-Hilfedokumenten angegeben. Es kann jedoch einige Tage dauern, bis die Spinne die Änderung anrobots.txt
Antwort
Ich denke, das Problem mit Ihrer Umschreiberegel ist das OR -Flag. Dieses Flag bedeutet normalerweise, dass eine zweite Umschreibungsbedingung bevorsteht. Sie haben nur eine Bedingung.
Hier ist eine Site , die eine ähnliche Regel zum Blockieren von BaiduSpider mit etwas anderer Syntax bietet:
RewriteEngine On RewriteCond %{HTTP_USER_AGENT} ^Baiduspider.* [NC] RewriteRule .* - [F]