jitaku server

FreeBit社管理のIPアドレスから激連続ページ取得

2004 Takushi Komai - Studio Fineart Designs — Sat, 09 Apr 2005 11:28:00 GMT

IPアドレスは、220.150.179.159
エージェントは：Mozilla/4.0 (compatible; MSIE 6.0; Windows 98)

間髪おかずの激連続ページ総取得攻撃を受けました。泣きそうです。

whoisで調べたところ、該当IPアドレスを管理しているのは、「FreeBit Co.,LTD.」
という日本の渋谷にある会社。

プロバイダのようなこともやっているしっかりした会社のようなので、
FreeBit社の仕業でないことを切に切に願う。
FreeBit社のサービスを利用している第三者の仕業ですよね。

以前にも、バナナなんとかとかいうところから連続取得されたけど、
そこは、コンテンツをフィルタリングするソフトの開発及びサービスを提供している会社で、
その会社のURLフィルタリングソフトを使用すると、有害と認定されているサイトには、
ブラウザからアクセスできなくなる。主な取引先は学校などの教育機関。
有害か無害かを判断するのに、ロボットをつかって、ページを連続取得。迷惑このうえない。
しかも、勝手な基準で有害サイトだとフィルタリングされたんじゃ、たまったものではない。

googleやYahooのロボットだって、連続取得はしないというのに…
何のデータを集めているのかは知らないけど、
せめて、0.5～１秒のインターバルを空けるのが、ルールだと思う！
自動巡回取得なフリーウェアでさえ、インターバルの配慮ぐらいしているというのに…

FreeBitなIPアドレスの場合は、エージェント名まで詐称してるし…
windows98のIE6で、一秒間に何ページ閲覧するんだよーーーーーっ！
-----------
というわけで、調べた結果、spamメールアドレス取得回収ソフトの仕業ということがわかってきました。
とにかく、WEBを最高速で回れるだけ回ってメールアドレスを収集しまくるツールのようです。

Update Tim についての再検証削除ではない？

2004 Takushi Komai - Studio Fineart Designs — Fri, 08 Apr 2005 00:52:00 GMT

SEO塾さんが細かく再検証してくれた。ありがたい限り。
ここで、初めてでてきたのが「domain:abc.xyz.com」な検索方法。

Yahoo!Japanにて、domain:な検索をやってみると…
魔法のように沢山のページがYSTにインデックスされているのがわかる。
これにて、ホッとする方も居られるのではないか。

確かに、Update Tim以降、Yahooからの来訪が激減～!!!という感じはない。30%減ほどである。
削除されたと思っていたページが、それぞれに見合ったキーワードでの検索でヒットしているようなのである。
Slurpなクローラーも訪問しているようだ。

今回、感じたことは、
１つでも、別ドメインから被リンクされているページが、ヒットされやすいように感じた。
amazonなどは、ほぼ前頁がアソシエイト達によってリンクされているため、
大幅にヒット数を増やしたのではないか。楽天も然りである。
またブログサイトは、ブログ名などで検索した場合、トップページと人気ページだけがヒットされやすく、他のページは雲隠れする傾向だ。
やはり被リンクの有無にポイントがあるように感じる。

検索エンジンが、インデックスの中からヒットさせるページを選択する時代になってきたようだ。

新説？　4月1日のYSTインデックス削除

2004 Takushi Komai - Studio Fineart Designs — Thu, 07 Apr 2005 05:12:00 GMT

面白いことがわかった。

Yahoo!Japanの検索において、
「ホスト＋ドメイン名」(abc.efg.com等)で検索した場合、2005年4月1日を境に
3000あったヒット数がたったの15になってしまったとする。

しかし、「各ページ共通のキーワード　site:ホスト名＋ドメイン名」
（各ページにCopyrightの表記があるならCopyright site:aaa.bbb.comなど）
として検索してみると、以前と同じく3000以上のページがヒットするのである！！
結果、大量のページがサーバーから削除されたわけではなく、
「ホスト＋ドメイン名」のみで検索されなくなっただけだ…ということになる。

検索されたキーワードでヒットするページを選択する部分に、
今回のYSTのアップデートのからくりがあるのではないか？

YSTは、
前々から、キーワードの組み合わせによる、検索結果のバラツキが指摘されていたが、
「ホスト+ドメイン名」というキーワードでの検索でも同じことが起るようになったというのが、
正しいのかもしれない。

想像していた以上に、奥が深いのが今回のYSTのインデックス更新「Update Tim」なのではないか？（Update Tim - YSTの更新と順位変動）より。

激減したサイトが多いにも拘らず、YSTのインデックス総数が増加していることは、このことで説明がつくような気がする。

僕自身、自分のサイトのYSTでの登録数を「ホスト＋ドメイン名」で管理していただけに、かなり驚いたわけで…

YSTがインデックス大幅更新。アクセス激減！

2004 Takushi Komai - Studio Fineart Designs — Wed, 06 Apr 2005 03:58:00 GMT

各方面で大打撃！

YSTとはYahoo!が採用している検索エンジンのこと。
インデックスとは、自動のページ巡回ロボットにより登録されたページ。
インデックスされることにより、キーワード検索でヒットされるようになる。

今回2005年4月1日のインデックス更新で、
路頭に迷うWEBサイト運営者も続出するのではないか？
10000ページあったインデックスが０～15に激減といった具合なのである。

ある日を境にパタリとPVが激減してしまうということは、
サイト運営者にとっては死活問題である。

検索エンジンに左右されないサイトづくりを心がけるしかない。

ia_archiverとは…　そして僕は弾いた！　そして僕は怒った！その後…慌てた…

2004 Takushi Komai - Studio Fineart Designs — Mon, 15 Nov 2004 10:13:00 GMT

ia_archiverなる、User-Agentが来る。大量に来る…

Internet Archive: Wayback Machine　のAgentらしいけど…

robots.txtで拒否したところ、クロールされていた該当ページ(http://fineart.jp)が、
数時間後には、Internet Archive: Wayback Machine（http://web.archive.org/web/*/http://fineart.jp/）で
このサイトはrobots.txtによってアーカイブできないから表示できません！ときた！
レスポンス早！　爆撃的に来るだけのことはある！
下記はサイトに表示されたもの。

-------
Robots.txt Query Exclusion.

We're sorry, access to http://fineart.jp/ has been blocked by the site owner via robots.txt.
Read more about robots.txt
See the site's robots.txt file.
Try another request or click here to search for all pages on fineart.jp/
See the FAQs for more info and help, or contact us.
-------

というわけで、ia_archiverは100％Internet Archive: Wayback Machineのrobotだということが判明！
記述したrobots.txtは、

------
User-Agent: ia_archiver
Disallow: /
------

という単純なもの。
これを記述後、またサイトをごそっと取得されたが、そのときにrobots.txtも持って帰ったんだろう。
案外、行儀が良いらしいから（加筆：後で怒りの制裁が加えられることになる）

しかしながら…ia_archiver…
いまは厄介に感じているけど、将来歴史的価値のあるサイトになったらどうしよう…とか思いをめぐらす。
日本まできて、個人ページをくまなくクロールし、各サイトの歴史を保存していくということは、すごいことですよ！
ハーﾄﾞディスクの容量や、回線太さとか、すんごい力を入れてるんじゃないの？とか思ってしまう。

GoogleやYahoo!のキャッシュは、時として消えてしまったページを見ることが出来るけど、
それは、次のクロールまでの一時的なもの。
でもia_archiverは、サイトの変わっていく過程がずっと残るわけで、
犯罪や事件に関係したページや、何らかの不都合があり、削除されたページなんかも、
そのまんま閲覧できるわけじゃん！と思うと、
やはりInternet Archive: Wayback Machineのようなページは、
どうなんだろう？と考えてしまう…。

というわけで、僕は、ia_archiverを弾いた！わけなのです。
------
加筆（上の書き込みを書いた夜）
robots.txtを置いたのに…robots.txtを置いたのに…
Internet Archive: Wayback Machineでは、
robots.txtがあるから表示できないと言ってるくせに…
robots.txtがあるから表示できないと言ったくせに…

まだ来るかーーーー！　ia_archiver!!!!!!!!!!!!!!!!!!!!!!!!!!！

If Request.ServerVariables("HTTP_USER_AGENT") = "ia_archiver" Then response.redirect "http://www.archive.org/web/web.php"
'（IISでASPなVBscript）

もう怒り爆発！ia_archiverがページを取得しに来た時は、Internet Archive: Wayback Machineに
強制リダイレクトするようにしちゃいました。

-----------------------------------------------------------------------------------------

さらに加筆(2004/11/18)　新事実が発覚！

やはり、alexaとの深いかかわりを持っていた…
alexaと深くつながっていたのである。
悪名高き、alexaのツールバーにもWayback Machineのボタンを発見、
Wayback Machineは、alexaの１つのコンテンツと見ることができる。

Wayback Machine=alexa
である。ここまでならなんら問題がない。背後の、驚愕の事実とは…

alexaのトップページを見よ！
alexaのロゴに驚愕の事実が…悪名高きalexaは、崇高なる存在のamazonに買収されていたのである！

Wayback Machine=alexa=Amazon

alexaの活動は、A9.comの検索結果に直接影響するということ！

Wayback Machineを弾くという行為は…alexa、いや、来たるべくA9時代での死を意味するではないか！！

えらいことをした。えらいことをした。えらいことをした。えらいことをした。

Studio Fineart Designs

2004 Takushi Komai @ Studio Fineart Designs — Thu, 21 Oct 2004 11:16:00 GMT

HTTP://FINEART.JP/　を一新しました。

動的で面白いサイトになったかな。

内容も、格言、記念日カウントダウン、占い、トランプゲームと盛りだくさん。

ブラックジャックでハイスコアを出すとトップページに表示されるのだ。

願わくば・・・ブラウザのホームページに…（無理）

ついに…光回線になりました。

2004 Takushi Komai @ Studio Fineart Designs — Wed, 11 Aug 2004 03:43:00 GMT

こんな辺鄙なところまで光が届くなんて、
なんてラッキーで、幸せなのでしょう！

dns、ネームサーバーを変更。

2004 Takushi Komai @ Studio Fineart Designs — Thu, 29 Apr 2004 03:29:00 GMT

ネームサーバーを、hn.orgから、自サーバーに変更しました。

HammerNodeのネームサーバーのレスポンスが遅いので、
気になっていたのですが…

自サーバーをプライマリdnsとするこにより、
www等各種サーバーと同じところにdnsがあるわけで、
fineart.jpの体感レスポンスがかなり早くなりました。

とりあえず、dnsはhammernodeでいいやと、
自宅サーバーの運営を始めたのですが、
一年以上、そのまま放置されていた感じです・・・。

久しぶりにAレコードやCNAMEといったものと格闘しました。
BINDの設定は、検索すればかなりのHitがあるんですが…。

ちなみに、逆引きはやってません。