自分自身のための ものづくり / 自分自身のためのものづくりメモ

突っ込みなどがありましたら掲示板にお願いします。

* GetHTMLWにお引き取り願う

 ログを見たら、"Pockey-GetHTML/4.12.0 (Win32; GUI; ix86)"を名乗るUAがものすごい勢い(秒間数アクセス)で根こそぎ(RandomNoteの項目まで)さらっていった形跡があった。

 検索してみたところ、GetHTMLWとのこと。
 あ゛ー、俺、昔使っていたよ…。ダイヤルアップ時代ならともかく、数メガbps当たり前の今日日動かすと恐ろしいことになるのだな。
★★ GetHTML Ver.4.13, GetHTMLW Ver.7.13 より、★★

(1) 同一サーバ(ホスト)への同時取得数が 1 に固定されました
(2) 同一サーバ(ホスト)への連続取得に対し、1秒の wait をデフォルトで入れました

上記は、ブロードバンド化に伴う Web サーバへの負荷を軽減する為の措置です。
とのことだけど、使用者は古いのを使っていたようだな。

 プロキシモードで一度見た記事をため込んで使う分にはとても便利で有用なソフトだと思うのだけど、まるごと取得は勘弁。

というわけで、ちゃんとrobots.txtは読むので、一部動的ページからお引き取り願うことにした。
 4.12以前は丸ごとお引き取り願うべきかなー。


参考:
先読みソフトについて [Archive] - XREA SUPPORT BOARD
http://sb.xrea.com/archive/index.php/t-1388.html
#Web

create : 2006/10/06 (Fri)
update : 2006/10/06 (Fri)