検索避けの.htaccessの書き方

ウエブサイトやブログを運営していると、いろいろな理由で検索避けが必要になりますよね。Appleも検索サービスを始めるようなので、検索避けの.htaccessの中身を見直すことにしました。

実際、かなりの数の検索エンジンのクローラーがやってきますので、その点も見直して、対応する検索エンジンを大幅に増やしました。

以下が、検索避けの.htaccessの書き方です。基本的にユーザーエージェント(User-Agent)ではじきますが、一部のクローラーは本来のユーザーエージェントを送信してこないようなので、そういうクローラーはIPアドレスではじきます。

SetEnvIf User-Agent "Googlebot" shutout_ua
SetEnvIf User-Agent "Googlebot-Image" shutout_ua
SetEnvIf User-Agent "bingbot" shutout_ua
SetEnvIf User-Agent "msnbot" shutout_ua
SetEnvIf User-Agent "msnbot-media" shutout_ua
SetEnvIf User-Agent "Slurp" shutout_ua
SetEnvIf User-Agent "Y!J" shutout_ua
SetEnvIf User-Agent "BaiduImagespider" shutout_ua
SetEnvIf User-Agent "Baiduspider" shutout_ua
SetEnvIf User-Agent "Baidu" shutout_ua
SetEnvIf User-Agent "YoudaoBot" shutout_ua
SetEnvIf User-Agent "YodaoBot" shutout_ua
SetEnvIf User-Agent "Yeti" shutout_ua
SetEnvIf User-Agent "NaverBot" shutout_ua
SetEnvIf User-Agent "DuckDuckBot" shutout_ua
SetEnvIf User-Agent "Applebot" shutout_ua
SetEnvIf User-Agent "ichiro" shutout_ua
SetEnvIf User-Agent "goo_vsearch" shutout_ua
SetEnvIf User-Agent "gooblogsearch" shutout_ua
SetEnvIf User-Agent "LD_mobile_bot" shutout_ua
SetEnvIf User-Agent "moba-crawler" shutout_ua
SetEnvIf User-Agent "symphonybot" shutout_ua
SetEnvIf User-Agent "RFCrawler" shutout_ua
SetEnvIf User-Agent "360Spider" shutout_ua
SetEnvIf User-Agent "Sogou web spider" shutout_ua
SetEnvIf User-Agent "Sogou inst spider" shutout_ua
SetEnvIf User-Agent "Mail.RU_Bot" shutout_ua
SetEnvIf User-Agent "Mappy" shutout_ua
SetEnvIf User-Agent "psbot" shutout_ua
SetEnvIf User-Agent "Barkrowler" shutout_ua
SetEnvIf User-Agent "Exabot" shutout_ua
SetEnvIf User-Agent "istellabot" shutout_ua
SetEnvIf User-Agent "Exabot" shutout_ua
SetEnvIf User-Agent "SeznamBot" shutout_ua
SetEnvIf User-Agent "Pockey" shutout_ua
SetEnvIf User-Agent "Daun" shutout_ua
SetEnvIf User-Agent "archive.org_bot" shutout_ua
SetEnvIf User-Agent "ia_archiver" shutout_ua

order allow,deny

allow from all

deny from env=shutout_ua

deny from 42.224.0.0/12
deny from 115.48.0.0/12
deny from 125.40.0.0/13
deny from 182.112.0.0/12
deny from 222.136.0.0/13

ほとんどは明らかに検索エンジンのクローラーですが、何をやっているのかわからないクローラーも一緒にはじいてあります。他にも、まだ私の知らないクローラーもあるかもしれません。

見つけ次第、はじこうと思います。

シェアする

  • このエントリーをはてなブックマークに追加

フォローする