Bingのクローラーがサーバーに高負荷をかける

私の運営しているサイトの事ではありませんが、Bingのクローラーがサーバーに高い負荷をかけている事例があるようなので、参考までにご紹介します。こちらの記事です。

bingbotのクロール頻度が多すぎて重いので、robots.txtで調整した (colori)

この文章を読んでいると、どうもGoogleのクローラーも高負荷をかけているようです。たまにこういう迷惑なクローラーは出入り禁止にしてやりたいと思うのですが、いかがでしょうか?

以前、Baiduがそう言う迷惑行為をやって、多くのサーバーで出入り禁止になったことがありました。何事にも節度というものが必要です。

そう言えば、Googleは、機械的なアクセスを禁止していたのではないかと思いますが、自分のサイトへのアクセスを自動化するのを禁止しながら、他人のサイトへのアクセスは平気で迷惑なまでに自動化するというのは、かなり身勝手ですね。

最近、自分の管理するサイトで妙に重いところが目立つのですが、案外、検索エンジンのクローラーが高負荷をかけているのかもしれません。共用サーバーばかりだし、十分あり得ることだと思います。

シェアする

  • このエントリーをはてなブックマークに追加

フォローする