Baiduspider está rastreando mi sitio incluso cuando está prohibido por robots.txt, ¿cómo puedo evitarlo? [duplicado]

Esta pregunta ya tiene respuestas aquí :

Comentarios

Baidu a menudo se comporta bastante bien. Es posible que, dado que Baidu es un motor de búsqueda japonés / chino principalmente de China, algunos raspadores están usando el nombre del agente y se están volviendo deshonestos. Esto puede ser lo que estás viendo. De lo contrario, esto es algo que necesito investigar más a fondo.

Responder

Puede intentar bloquear direcciones IP específicas en su archivo .htaccess. Puede encontrar los rangos aquí .

En robots.txt también puede agregar lo siguiente

User-agent: Baiduspider User-agent: baiduspider User-agent: Baiduspider+ User-agent: Baiduspider-video User-agent: Baiduspider-image Disallow: /

Además, si usa complementos de almacenamiento en caché o CDN, asegúrese de borrar todo su caché.

Comentarios

Solo la primera User-agent: Baiduspider debería ser necesaria para bloquear todas arañas Baidu (" una coincidencia de subcadena que no distingue entre mayúsculas y minúsculas " de acuerdo con el " estándar " y, según se informa, Baidu es compatible con " estándar "). Y esto se indica en los documentos de ayuda de Baidu . Sin embargo, la araña puede tardar algunos días en detectar el cambio a robots.txt

Responder

Creo que el problema con la regla de reescritura es el indicador OR. Esa bandera generalmente significa que se avecina una segunda condición de reescritura. Solo tiene una condición.

Aquí hay un sitio que proporciona una regla similar para bloquear BaiduSpider con una sintaxis ligeramente diferente:

RewriteEngine On RewriteCond %{HTTP_USER_AGENT} ^Baiduspider.* [NC] RewriteRule .* - [F]

Deja una respuesta Cancelar la respuesta