忍者ブログ
プログラムとちょっとショップとかの紹介とか、いろいろと載せておきます。
[1061] [1060] [1059] [1058] [1057] [1056] [1055] [1054] [1053] [1052] [1051]
×

[PR]上記の広告は3ヶ月以上新規記事投稿のないブログに表示されています。新しい記事を書く事で広告が消えます。

ふとしたときに見るアクセス解析に見慣れぬあしあとを発見。

Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)

robotとか乗ってるので、なんだか気味が悪い。
サイトの性質上、ロボット問答無用でお断りなので遮断することにする。
続きに対応方法は書いておきます。

(参照)
1. 「Twiceler というロボット(クローラー) stanford製(?)」
2. Cuil のクローラー/ネットを徘徊するロボットたち(その1)
3. Twiceler はどうしよう?

とりあえず、3が一番参考になったかな。

robots.txt を次のように変更

(変更前)
----------------------------
User-agent: *
Disallow: /
----------------------------

(変更後)
----------------------------
User-agent: Twiceler
Disallow: /
----------------------------

これでも遮断できないようなら「.htaccess」での対応を追加しようと思う。
とりあえず、このまま様子見~。

ダメだったので、追加

(変更前)
--------------------------------------------------------
SetEnvIf User-Agent "ia_archiver" shutout
SetEnvIf User-Agent "Googlebot" shutout
SetEnvIf User-Agent "ZyBorg" shutout
SetEnvIf User-Agent "nabot" shutout
order allow,deny
allow from all
deny from env=shutout
--------------------------------------------------------

(変更後)
--------------------------------------------------------
SetEnvIf User-Agent "ia_archiver" badbot
SetEnvIf User-Agent "Googlebot" badbot
SetEnvIf User-Agent "ZyBorg" badbot
SetEnvIf User-Agent "nabot" badbot
SetEnvIf User-Agent "Twiceler" badbot
order allow,deny
allow from all
deny from env=badbot
<Files "robots.txt">
Allow from all
</Files>
--------------------------------------------------------

PR

コメント


コメントフォーム
お名前
タイトル
文字色
メールアドレス
URL
コメント
パスワード
  Vodafone絵文字 i-mode絵文字 Ezweb絵文字


忍者ブログ [PR]
ブログ内検索