Baiduspider accesează cu crawlere site-ul meu chiar și atunci când este interzis de robots.txt, cum îl pot preveni? [duplicat]

Această întrebare are deja răspunsuri aici :

Comentarii

Baidu este adesea destul de bine purtat. Este posibil ca, din moment ce Baidu este un motor de căutare japonez / chinez, în mare parte din China, unii răzuitori folosesc numele agentului și devin necinstiți. Acesta poate fi ceea ce vedeți. În caz contrar, este ceva ce trebuie să analizez mai departe.

Răspuns

Puteți încerca să blocați anumite adrese IP în fișierul dvs. .htaccess. Puteți găsi intervalele aici .

În robots.txt puteți adăuga și următoarele

User-agent: Baiduspider User-agent: baiduspider User-agent: Baiduspider+ User-agent: Baiduspider-video User-agent: Baiduspider-image Disallow: /

De asemenea, dacă utilizați plugin-uri de cache sau CDN, asigurați-vă că ștergeți toată memoria cache.

Comentarii

Doar primul User-agent: Baiduspider ar trebui să fie necesar pentru a bloca toți păianjenii Baidu (" o potrivire insensibilă a majusculelor
id = „e632ac9d81″>

în conformitate cu standardul " standard " și se pare că Baidu acceptă " standard "). Și acest lucru este menționat în documente de ajutor Baidu . Cu toate acestea, poate dura câteva zile până când păianjenul să preia schimbarea în robots.txt

Răspuns

Cred că problema cu regula dvs. de rescriere este steagul OR. Acest steag înseamnă, de obicei, că apare o a doua condiție de rescriere. Aveți o singură condiție.

Iată un site care oferă o regulă similară pentru blocarea BaiduSpider cu o sintaxă ușor diferită:

RewriteEngine On RewriteCond %{HTTP_USER_AGENT} ^Baiduspider.* [NC] RewriteRule .* - [F]

Lasă un răspuns Anulează răspunsul