robots.txtで禁止されている場合でも、Baiduspiderがサイトをクロールしているのですが、どうすれば防止できますか？ [重複]

この質問にはすでに回答があります：

Baiduはよく振る舞います。 Baiduは主に中国からの日中の検索エンジンであるため、一部のスクレーパーがエージェント名を使用して不正になっている可能性があります。これはあなたが見ているものかもしれません。それ以外の場合、これは私がさらに調査する必要があるものです。

回答

特定のIPアドレスをブロックしてみることができます.htaccessファイルにあります。範囲はここにあります。

robots.txtには、次のものを追加することもできます

User-agent: Baiduspider User-agent: baiduspider User-agent: Baiduspider+ User-agent: Baiduspider-video User-agent: Baiduspider-image Disallow: /

また、キャッシュプラグインまたはCDNを使用する場合は、必ずすべてのキャッシュをクリアしてください。

すべての Baiduスパイダーをブロックするには、最初のUser-agent: Baiduspiderのみが必要です（"大文字と小文字を区別しない部分文字列の一致iv "標準"に準拠したid = “e632ac9d81″>

であり、Baiduは標準"）。そして、これは Baiduヘルプドキュメントに記載されています。ただし、スパイダーがrobots.txt

書き換えルールの問題はORフラグだと思います。このフラグは通常、2番目の書き換え条件が発生することを意味します。条件は1つだけです。

RewriteEngine On RewriteCond %{HTTP_USER_AGENT} ^Baiduspider.* [NC] RewriteRule .* - [F]