Baiduspider가 robots.txt에서 금지 한 경우에도 내 사이트를 크롤링합니다. 어떻게 방지합니까? [중복]

이 질문에 이미 답변이 있습니다. :

Baidu는 종종 상당히 잘 작동합니다. Baidu는 주로 중국에서 온 일본어 / 중국어 검색 엔진이기 때문에 일부 스크레이퍼가 에이전트 이름을 사용하고 악성으로 변할 수 있습니다. 이것은 당신이보고있는 것일 수 있습니다. 그렇지 않으면 더 자세히 조사해야합니다.

답변

특정 IP 주소를 차단할 수 있습니다. .htaccess 파일에 있습니다. 범위는 여기 에서 찾을 수 있습니다.

robots.txt에서 다음을 추가 할 수도 있습니다.

User-agent: Baiduspider User-agent: baiduspider User-agent: Baiduspider+ User-agent: Baiduspider-video User-agent: Baiduspider-image Disallow: /

또한 캐싱 플러그인이나 CDN을 사용하는 경우 모든 캐시를 삭제해야합니다.

첫 번째 User-agent: Baiduspider 만 모든 Baidu 스파이더를 차단하는 데 필요합니다 (" 대소 문자를 구분하지 않는 하위 문자열 일치 "는 " 표준 "을 따르며 Baidu는 표준 "). 그리고 이것은 Baidu 도움말 문서 에 명시되어 있습니다. 그러나 스파이더가 robots.txt

재 작성 규칙의 문제는 OR 플래그라고 생각합니다. 이 플래그는 일반적으로 두 번째 다시 쓰기 조건이 있음을 의미합니다. 조건은 하나뿐입니다.

RewriteEngine On RewriteCond %{HTTP_USER_AGENT} ^Baiduspider.* [NC] RewriteRule .* - [F]