
ある日、さくらインターネットからこんな連絡が来た
平素より弊社サービスをご利用いただき誠にありがとうございます。
さくらインターネットのカスタマーセンターです。
この度、*****.sakura.ne.jp (www*****.sakura.ne.jp) サーバにおいて、
負荷が高まっている状態が確認されました。
弊社にて調査いたしましたところ、お客様に運営いただいております
コンテンツに対し、BOTリクエストが多数発生している事象が要因である事が
確認出来ました。
この状況を改善するため、Botのリクエストを制御する robots.txt を
弊社にて下記に設定させて頂きました。
--------------------------------------------------
/home/*****/www/*****/robots.txt
--------------------------------------------------
緊急的な措置であったため、事後のご連絡となってしまいましたことを
お詫び申し上げます。
「さくらのレンタルサーバ」は他のお客様と共用でご利用いただいている
ため、特定のユーザがサービスに支障をきたす負荷を発生した場合、同じ
サーバに収容される他のお客様へ影響を及ぼすこととなります。
ご理解とご協力のほど、よろしくお願いいたします。
これの意味は?サイトへのアクセス・影響は?
結論からいうと、「何もしなくてOK」です。アクセスにもほぼ影響ありません。自分の場合、このようなコードファイルが入っていました。
User-agent: meta-externalagent
Disallow: /
たったこれだけ。w
SEOはほぼ無傷 です。
内容を噛み砕くと
-
meta-externalagent = Meta(Facebook/Instagram)が使っている外部クローラー
-
これ だけ をブロックしている
-
他の全てのクローラー(Google・Bing・その他一般bot)は 禁止されていない
つまり、さくらインターネットは
「問題を起こしていた BOT だけピンポイントで止めた」だけです。
あなたのサイトの SEO に一切問題なし。
結論
検索エンジンのSEOはそのままで、必要な最低限のbot(meta系)だけ止めている状態。
Google や Bing は完全にクロールできます。
アクセス数が減る心配もほぼゼロ。


