プログラムとちょっとショップとかの紹介とか、いろいろと載せておきます。
× [PR]上記の広告は3ヶ月以上新規記事投稿のないブログに表示されています。新しい記事を書く事で広告が消えます。
ふとしたときに見るアクセス解析に見慣れぬあしあとを発見。
Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html) robotとか乗ってるので、なんだか気味が悪い。 サイトの性質上、ロボット問答無用でお断りなので遮断することにする。 続きに対応方法は書いておきます。 (参照) 1. 「Twiceler というロボット(クローラー) stanford製(?)」 2. Cuil のクローラー/ネットを徘徊するロボットたち(その1) 3. Twiceler はどうしよう? とりあえず、3が一番参考になったかな。 robots.txt を次のように変更 (変更前) ---------------------------- User-agent: * Disallow: / ---------------------------- ↓ (変更後) ---------------------------- User-agent: Twiceler Disallow: / ---------------------------- これでも遮断できないようなら「.htaccess」での対応を追加しようと思う。 とりあえず、このまま様子見~。 ダメだったので、追加 (変更前) -------------------------------------------------------- SetEnvIf User-Agent "ia_archiver" shutout SetEnvIf User-Agent "Googlebot" shutout SetEnvIf User-Agent "ZyBorg" shutout SetEnvIf User-Agent "nabot" shutout order allow,deny allow from all deny from env=shutout -------------------------------------------------------- ↓ (変更後) -------------------------------------------------------- SetEnvIf User-Agent "ia_archiver" badbot SetEnvIf User-Agent "Googlebot" badbot SetEnvIf User-Agent "ZyBorg" badbot SetEnvIf User-Agent "nabot" badbot SetEnvIf User-Agent "Twiceler" badbot order allow,deny allow from all deny from env=badbot <Files "robots.txt"> Allow from all </Files> -------------------------------------------------------- PR |
ブログ内検索
カテゴリー
|