Twicelerって誰？

ふとしたときに見るアクセス解析に見慣れぬあしあとを発見。

Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)

robotとか乗ってるので、なんだか気味が悪い。
サイトの性質上、ロボット問答無用でお断りなので遮断することにする。
続きに対応方法は書いておきます。

（参照）
1.　「Twiceler というロボット（クローラー） stanford製（？）」
2.　Cuil のクローラー／ネットを徘徊するロボットたち（その１）
3.　Twiceler はどうしよう？

とりあえず、3が一番参考になったかな。

robots.txt を次のように変更

（変更前）
----------------------------
User-agent: *
Disallow: /
----------------------------
↓
（変更後）
----------------------------
User-agent: Twiceler
Disallow: /
----------------------------

これでも遮断できないようなら「.htaccess」での対応を追加しようと思う。
とりあえず、このまま様子見～。

ダメだったので、追加

（変更前）
--------------------------------------------------------
SetEnvIf User-Agent "ia_archiver" shutout
SetEnvIf User-Agent "Googlebot" shutout
SetEnvIf User-Agent "ZyBorg" shutout
SetEnvIf User-Agent "nabot" shutout
order allow,deny
allow from all
deny from env=shutout
--------------------------------------------------------
↓
（変更後）
--------------------------------------------------------
SetEnvIf User-Agent "ia_archiver" badbot
SetEnvIf User-Agent "Googlebot" badbot
SetEnvIf User-Agent "ZyBorg" badbot
SetEnvIf User-Agent "nabot" badbot
SetEnvIf User-Agent "Twiceler" badbot
order allow,deny
allow from all
deny from env=badbot
<Files "robots.txt">
Allow from all
</Files>
--------------------------------------------------------