- deny from 64.124.85.0/24
- 色々な掲示板spam
- DSC-UE4.3GのHDD換装
- e-SocietyRobotよ、動的ページの扱い方をなんとかしろよ
- NBKが各種機構部品のWeb通販をやっていた
- Yahoo!オークションWebサービスで商品詳細のデータ取得が可能に!!
- 新種のspam投稿ロボット「6fNS6」(仮称)
- シンクロ連射回路
- G-LIGHT(等)向け、お手軽spam対策
- layeredtech.comを立ち入り禁止に
- Yahoo!オークションWebサービスで検索ができるようになった
- spam投稿司令塔とゾンビの兵隊
- 人とロボットを区別したい
- GetHTMLWにお引き取り願う
- spam投稿ロボットと302
* deny from 64.124.85.0/24
#Web
再び、BecomeBotに検索履歴をかき回されたので、.htaccessにて排除することにした。
robots.txt BecomeBot締め出し
http://baku.homeunix.net/WiKi/rnx/index.rb?1138996756.txt
にてのけ者にしたはずなのだが、BecomeJPBotは別物というわけか。え゛ー。
ちなみに、robots.txtは最初にちゃんと読んでる。
20秒に一度のアクセスだったり、UAの項に載っている http://www.become.co.jp/site_owners.htmlは「お客様が指定されたページは見つかりませんでした。」だったり、かなり感じ悪い。
(ちなみに、正しくは、http://www.become.co.jp/site_owner.html だそうだ。その辺の食い違いも感じ悪いぞ)
また、他の多くのクローラの挙動と違ってリファラを送る点で、RandomeNoteの敵。
↓はた迷惑なアクセスの記録
(ReadMore...)
再び、BecomeBotに検索履歴をかき回されたので、.htaccessにて排除することにした。
robots.txt BecomeBot締め出し
http://baku.homeunix.net/WiKi/rnx/index.rb?1138996756.txt
にてのけ者にしたはずなのだが、BecomeJPBotは別物というわけか。え゛ー。
ちなみに、robots.txtは最初にちゃんと読んでる。
20秒に一度のアクセスだったり、UAの項に載っている http://www.become.co.jp/site_owners.htmlは「お客様が指定されたページは見つかりませんでした。」だったり、かなり感じ悪い。
(ちなみに、正しくは、http://www.become.co.jp/site_owner.html だそうだ。その辺の食い違いも感じ悪いぞ)
また、他の多くのクローラの挙動と違ってリファラを送る点で、RandomeNoteの敵。
↓はた迷惑なアクセスの記録
(ReadMore...)
* 色々な掲示板spam
* DSC-UE4.3GのHDD換装
#PC #PC-98
IDEのHDDをSCSIに変換するSDATを搭載のDSC-UE4.3G…の殻をヤフオク経由で入手した。早速、手持ちの6.4GBのHDDを入れたら無事認識された。
しかし、他のHDDに変えると認識しなかった。
手持ちのHDDで試した結果は以下の通り。
○Quantum Fireball CR 6.4G
×SAMSUNG SV0844A
×DK-238A-43
×MK2103MAV
情報を求めてWebを彷徨うと
DSC-UE3.2Gを改造する
http://www11.cds.ne.jp/~youkan/y2k700/DSC-UE32.html
に、以下の記述があった。
8.4Gのも4.3Gのも2.1Gのもダメだったのは、最初の条件に当てはまったっぽい。
Interface 2000年7月号の「ATA(IDE)/ATAPIの徹底活用研究」を見てみたところ、ビット0,1,2が「マルチワードDMAモード0をサポートする」「(ryモード1又はそれ以下をサポートする」「(ryモード2または(ry」だそうだ。
#同じ悩みの人用の検索ホイホイ:DSC-UE4.3G, DSC-UE4.3G, DSC-UE8.3G,
IDEのHDDをSCSIに変換するSDATを搭載のDSC-UE4.3G…の殻をヤフオク経由で入手した。早速、手持ちの6.4GBのHDDを入れたら無事認識された。
しかし、他のHDDに変えると認識しなかった。
手持ちのHDDで試した結果は以下の通り。
○Quantum Fireball CR 6.4G
×SAMSUNG SV0844A
×DK-238A-43
×MK2103MAV
情報を求めてWebを彷徨うと
DSC-UE3.2Gを改造する
http://www11.cds.ne.jp/~youkan/y2k700/DSC-UE32.html
に、以下の記述があった。
ATAコマンドのIDENTIFY DEVICEを投げているとおぼしきところから追っていくと、怪しい部分が2つ見つかりました。
・Multiword DMA Capability を見て Mode 2 supported でなければエラーとしている。ここで該当ビットを見るのではなく即値の 0x04 と比較しているが、ATAPI-6のスペックを読むと「Mode 2 supported なら Mode1,0 のビットも立ててね」と書いてあるような気がする。0x07を返すHDDだとまずいっぽい。
・HDDから取得した総セクタ数をあらかじめ用意したテーブルのデータと順次比較し、「総セクタ数以下で一番近い容量のエントリ」を選択している。このとき実際の総セクタ数と決めうちで持っているセクタ数の差が0x100000(≒537MB)以上あるとエラーになる。つまり、このファームウェアはあらかじめ決められた数パターンの容量(9.1G/8.3G/6.4G/4.3G/3.2G/2.1G/1.2G + 0〜0.5G)しかサポートしていないのであった。これが20Gでも4Gでもダメだった原因っぽい。
8.4Gのも4.3Gのも2.1Gのもダメだったのは、最初の条件に当てはまったっぽい。
Interface 2000年7月号の「ATA(IDE)/ATAPIの徹底活用研究」を見てみたところ、ビット0,1,2が「マルチワードDMAモード0をサポートする」「(ryモード1又はそれ以下をサポートする」「(ryモード2または(ry」だそうだ。
#同じ悩みの人用の検索ホイホイ:DSC-UE4.3G, DSC-UE4.3G, DSC-UE8.3G,
* e-SocietyRobotよ、動的ページの扱い方をなんとかしろよ
#Web
動的生成されるページを10秒に一回GETするってのは、締め出しくらっても自業自得だと思うぞ。
robots.txtは読むらしいので、このメモからはお引き取り願うことにした。
割と昔からログに散見される割には、いまいち成果が見えなくて、いっそ/からDisallowしたくなる。
e-Society 先進的なストレージ技術およびWeb解析技術
http://cif.iis.u-tokyo.ac.jp/e-society/database/Kitsuregawa_t.html
の「コミュニティ時系列解析」なんかは面白そうなのにな。
Webに負荷をかけるからには、何らかの見返りをWebに返さないと、そのうちWebから閉め出されちゃうぞー。
動的生成されるページを10秒に一回GETするってのは、締め出しくらっても自業自得だと思うぞ。
2006/12/14,07:49:42,"-",GET,"/WiKi/rnx/index.rb","cmd=search&word=#掲示板spam対策","1.1",200,30313,"-","","e-SocietyRobot(http://www.yama.info.waseda.ac.jp/~yamana/es/)"
2006/12/14,07:49:53,"-",GET,"/WiKi/rnx/index.rb","cmd=search&word=#電子工作","1.1",200,28519,"-","","e-SocietyRobot(http://www.yama.info.waseda.ac.jp/~yamana/es/)"
2006/12/14,07:50:14,"-",GET,"/WiKi/rnx/index.rb","cmd=random","1.1",200,33033,"-","","e-SocietyRobot(http://www.yama.info.waseda.ac.jp/~yamana/es/)"
2006/12/14,07:50:25,"-",GET,"/WiKi/rnx/index.rb","cmd=edit","1.1",200,9501,"-","","e-SocietyRobot(http://www.yama.info.waseda.ac.jp/~yamana/es/)"
2006/12/14,07:50:35,"-",GET,"/WiKi/rnx/index.rb","rss","1.1",200,9118,"-","","e-SocietyRobot(http://www.yama.info.waseda.ac.jp/~yamana/es/)"
2006/12/14,07:50:50,"-",GET,"/WiKi/rnx/index.rb","cmd=referer","1.1",200,350139,"-","","e-SocietyRobot(http://www.yama.info.waseda.ac.jp/~yamana/es/)"
2006/12/14,07:51:01,"-",GET,"/WiKi/rnx/index.rb","cmd=change_log","1.1",200,32010,"-","","e-SocietyRobot(http://www.yama.info.waseda.ac.jp/~yamana/es/)"
2006/12/14,07:51:12,"-",GET,"/WiKi/rnx/index.rb","page=1","1.1",200,27836,"-","","e-SocietyRobot(http://www.yama.info.waseda.ac.jp/~yamana/es/)"
2006/12/14,07:51:23,"-",GET,"/WiKi/rnx/index.rb","page=2","1.1",200,28107,"-","","e-SocietyRobot(http://www.yama.info.waseda.ac.jp/~yamana/es/)"
2006/12/14,07:51:33,"-",GET,"/WiKi/rnx/index.rb","page=3","1.1",200,28679,"-","","e-SocietyRobot(http://www.yama.info.waseda.ac.jp/~yamana/es/)"
2006/12/14,07:51:44,"-",GET,"/WiKi/rnx/index.rb","page=4","1.1",200,32334,"-","","e-SocietyRobot(http://www.yama.info.waseda.ac.jp/~yamana/es/)"
2006/12/14,07:51:55,"-",GET,"/WiKi/rnx/index.rb","page=5","1.1",200,14081,"-","","e-SocietyRobot(http://www.yama.info.waseda.ac.jp/~yamana/es/)"
2006/12/14,07:52:06,"-",GET,"/WiKi/rnx/index.rb","1165944355.txt","1.1",200,12767,"-","","e-SocietyRobot(http://www.yama.info.waseda.ac.jp/~yamana/es/)"
2006/12/14,07:52:16,"-",GET,"/WiKi/rnx/index.rb","fname=1165944355.txt&cmd=edit","1.1",200,11869,"-","","e-SocietyRobot(http://www.yama.info.waseda.ac.jp/~yamana/es/)"
robots.txtは読むらしいので、このメモからはお引き取り願うことにした。
割と昔からログに散見される割には、いまいち成果が見えなくて、いっそ/からDisallowしたくなる。
e-Society 先進的なストレージ技術およびWeb解析技術
http://cif.iis.u-tokyo.ac.jp/e-society/database/Kitsuregawa_t.html
の「コミュニティ時系列解析」なんかは面白そうなのにな。
Webに負荷をかけるからには、何らかの見返りをWebに返さないと、そのうちWebから閉め出されちゃうぞー。
* NBKが各種機構部品のWeb通販をやっていた
#メカトロ #電子工作
家とかビルとか橋とか壊す方じゃなくて、
鍋屋バイテック会社
http://www.nbk1560.com/index.html
の方。
セットカラー数個とか六角穴付きボルト1袋20本入り数セットとか、お手軽に買える。
オリジナルマインドは480円と結構安いのだけど、それを上回る。送料とかがかかると「せっかくだから」とついつい色々買ってしまうけど、送料無しならそーゆー考えをしなくて済むのはありがたい。
電子部品は色々と通販できるけど、メカ部品はあまりなかった。近頃じわじわ増えているのは嬉しいな。
家とかビルとか橋とか壊す方じゃなくて、
鍋屋バイテック会社
http://www.nbk1560.com/index.html
の方。
運賃についてと、えらく太っ腹。
出荷梱包の商品合計金額が1,000円(税抜き)以上の場合
運賃は当社が負担いたします。
出荷梱包の商品合計金額が1,000円(税抜き)未満の場合
運賃500円を申し受けます。
セットカラー数個とか六角穴付きボルト1袋20本入り数セットとか、お手軽に買える。
オリジナルマインドは480円と結構安いのだけど、それを上回る。送料とかがかかると「せっかくだから」とついつい色々買ってしまうけど、送料無しならそーゆー考えをしなくて済むのはありがたい。
電子部品は色々と通販できるけど、メカ部品はあまりなかった。近頃じわじわ増えているのは嬉しいな。
* Yahoo!オークションWebサービスで商品詳細のデータ取得が可能に!!
#ヤフオク #Web
キタ━━━━(゜∀゜)━━━━ッ!!
Yahoo!デベロッパーネットワーク - Yahoo!オークション - REST - 商品詳細
http://developer.yahoo.co.jp/auctions/rest/auctionitem/V1/auctionitem.html
キタ━━━━(゜∀゜)━━━━ッ!!
Yahoo!デベロッパーネットワーク - Yahoo!オークション - REST - 商品詳細
http://developer.yahoo.co.jp/auctions/rest/auctionitem/V1/auctionitem.html
* 新種のspam投稿ロボット「6fNS6」(仮称)
* シンクロ連射回路
PS2版スターブレード(鉄拳Vがおまけにつく)用のシンクロ連射が欲しい。
新宿スポーツランドの筐体についていたトリガ交互連射のに慣れた身では、普通の連射パッドの連射では破壊力が足りない。
http://naruken.cweb.tk/diary/diary.cgi?b=06084
PICとかでも、たぶん、同じようなことができるな。
昔からの多くの作例で同期信号を使っていたのは、汎用ロジックで組む場合には結局それが一番楽だったからだろう。しかし、扱うのは本来手で押すボタンなのだから、精密な同期は必要ない。
同期信号を使うのは、映像信号の取り回しとか色々面倒が多く、部品点数も増える。マイコンで1/60秒測るなら、極端な話、本当にワンチップで済むだろう。
ただ、マイコンで1/60秒を測った場合、VSYNCとの微妙なずれから「うなり」が生じるかもしれない。乱数でタイミングを揺らしてやるべきか?
#電子工作 #途中経過 #シンクロ連射
新宿スポーツランドの筐体についていたトリガ交互連射のに慣れた身では、普通の連射パッドの連射では破壊力が足りない。
ボタンとのI/F
PSあたりとお話しするのは大変なので、コントローラを乗っ取る。AVRは全てのポートでオープンコレクタっぽい出力ができる。 PORTxxを0にして、DDRxxを操作すればそのポートは外付けの部品なしに Hi-Z or L の出力ができる。naru 日記
http://naruken.cweb.tk/diary/diary.cgi?b=06084
PICとかでも、たぶん、同じようなことができるな。
連射制御
最初は「AVアダプタからコンポジットビデオ信号をもらってLM1881Nで同期信号をとりだして」と考えていたが、マイコン使うなら1/60秒測ればいいじゃん、と思った。昔からの多くの作例で同期信号を使っていたのは、汎用ロジックで組む場合には結局それが一番楽だったからだろう。しかし、扱うのは本来手で押すボタンなのだから、精密な同期は必要ない。
同期信号を使うのは、映像信号の取り回しとか色々面倒が多く、部品点数も増える。マイコンで1/60秒測るなら、極端な話、本当にワンチップで済むだろう。
ただ、マイコンで1/60秒を測った場合、VSYNCとの微妙なずれから「うなり」が生じるかもしれない。乱数でタイミングを揺らしてやるべきか?
#電子工作 #途中経過 #シンクロ連射
* G-LIGHT(等)向け、お手軽spam対策
glight.cgiの400行目あたり↓の部分の
メール欄記入時のエラー条件が反転する。
その結果、メールアドレス欄に記入されていて、かつその文字列がメールアドレスとして有効なものである場合に、エラーが発生する。
英語圏の無差別spamは、ほとんどの場合にformのそれっぽい欄(name="mail"とか)にメールアドレスを入れて投稿するので、この改変でエラーとして弾かれる。
spamが飛び交う昨今、掲示板に無防備にメールアドレスを書き込む人なんていないよね?
Webの日本語圏に蔓延^H^H普及しているKent製の掲示板プログラムでは同じような部分があるので、G-LIGHT以外でも同様の改変が可能であろう。わずか一文字書き換えるだけでいい割には、効果絶大だと思う。
#掲示板spam対策 #Web
if ($in{'email'} && $in{'email'}!~ /^[\w\.\-]+\@[\w\.\-]+\.[a-zA-Z]{2,6}$/)にある「!~」を「=~」に変える。
{ &error("Eメールの入力内容が不正です"); }
メール欄記入時のエラー条件が反転する。
その結果、メールアドレス欄に記入されていて、かつその文字列がメールアドレスとして有効なものである場合に、エラーが発生する。
英語圏の無差別spamは、ほとんどの場合にformのそれっぽい欄(name="mail"とか)にメールアドレスを入れて投稿するので、この改変でエラーとして弾かれる。
spamが飛び交う昨今、掲示板に無防備にメールアドレスを書き込む人なんていないよね?
Webの日本語圏に蔓延^H^H普及しているKent製の掲示板プログラムでは同じような部分があるので、G-LIGHT以外でも同様の改変が可能であろう。わずか一文字書き換えるだけでいい割には、効果絶大だと思う。
#掲示板spam対策 #Web
* layeredtech.comを立ち入り禁止に
xxx.xxx.xxx.xxx.reverse.layeredtech.comからのアクセス後に、必ずOpenProxy経由とおぼしきspam投稿試行があり、
クラスBを丸ごとってのはどうよ?と思わないでもないけど、日本語に堪能でかつゲーム機のRGB出力化改造とかに興味を持った人が、layeredtech.comにいる可能性は極めて低いと判断してアクセス禁止。
もしも巻き込まれた不幸な人がいたなら、あからさまなspammerをのさばらせているlayeredtech.comを呪うがよい。あくまでGETしかしていないから規約で退会させるって事ができない、のかもしれないけど、それはそれ。
#掲示板spam対策 #Web
2006/11/06,10:37:27,72.232.179.242,"242.179.232.72.reverse.layeredtech.com","-","-",GET,"/BBS/BBS.cgi"," 2006/11/06,10:37:28,62.225.72.140,"","-","-",POST,"/BBS/BBS/BBS.cgi" 2006/11/06,10:37:36,81.183.212.133,"mail.fairway.hu","-","-",POST,"/BBS/BBS/BBS.cgi"かつ、まともそうなアクセスもないので、
#xxx.xxx.xxx.xxx.reverse.layeredtech.com deny from 72.232.0.0/16として、丸ごとアクセス禁止にした。
クラスBを丸ごとってのはどうよ?と思わないでもないけど、日本語に堪能でかつゲーム機のRGB出力化改造とかに興味を持った人が、layeredtech.comにいる可能性は極めて低いと判断してアクセス禁止。
もしも巻き込まれた不幸な人がいたなら、あからさまなspammerをのさばらせているlayeredtech.comを呪うがよい。あくまでGETしかしていないから規約で退会させるって事ができない、のかもしれないけど、それはそれ。
#掲示板spam対策 #Web
* Yahoo!オークションWebサービスで検索ができるようになった
これまではそれができないのがかなり痛かったのだが、これで通常のブラウザでのアクセスとほぼ同等の情報が得られるようになったな。
残るは、アダルトカテゴリへの対応?
Yahoo!デベロッパーネットワーク - 検索
http://developer.yahoo.co.jp/auctions/rest/search/V1/search.html
#ヤフオク #YAH! #Web
残るは、アダルトカテゴリへの対応?
Yahoo!デベロッパーネットワーク - 検索
http://developer.yahoo.co.jp/auctions/rest/search/V1/search.html
#ヤフオク #YAH! #Web
* spam投稿司令塔とゾンビの兵隊
2006/10/25,22:18:17,209.67.214.90,"server1.xpressaccess.com","-","-",GET,"/BBS/BBS.cgi","","1.1",200 2006/10/25,22:18:19,201.13.121.178,"201-13-121-178.dsl.telesp.net.br","-","-",POST,"/BBS/BBS/BBS.cgi","","1.1",404 2006/10/25,22:18:22,86.55.117.135,"","-","-",POST,"/BBS/BBS/BBS.cgi","","1.1",404 2006/10/25,22:18:27,59.94.9.179,"","-","-",POST,"/BBS/BBS/BBS.cgi","","1.1",404server1.xpressaccess.comがフォームを取得した後、OpenProxy経由での書き込みを試みている様子がはっきりとわかる。
対象BBSは、DSBLに登録されているホストには問答無用で404を返すように改造してあるので、投稿自体は失敗に終わっている。
しかし、司令塔みたいなserver1.xpressaccess.comはDSBLには登録されていない。ただの想像だが、DSBLとかに登録されないように運用しているのだろう。BBQでも引っかからないし。で、潰してもいい人様の穴のあいたマシンを踏み台にして、実際のspam投稿を行う、と。
以下は、他にもあった同様の痕跡。
2006/10/24,23:38:14,72.36.151.106,"dcwindows.net","-","-",GET,"/BBS/BBS.cgi","","1.1",200 2006/10/24,23:38:23,200.204.126.148,"200-204-126-148.dsl.telesp.net.br","-","-",POST,"/BBS/BBS/BBS.cgi","","1.1",404 2006/10/24,23:38:32,61.95.205.88,"dsl-KK-static-088.205.95.61.touchtelindia.net","-","-",POST,"/BBS/BBS/BBS.cgi","","1.0",404 2006/10/24,23:38:33,221.247.27.81,"221x247x27x81.ap221.ftth.ucom.ne.jp","-","-",POST,"/BBS/BBS/BBS.cgi","","1.0",404 2006/10/24,23:38:36,59.94.101.21,"","-","-",POST,"/BBS/BBS/BBS.cgi","","1.1",404
#掲示板spam対策 #Web
* 人とロボットを区別したい
* GetHTMLWにお引き取り願う
ログを見たら、"Pockey-GetHTML/4.12.0 (Win32; GUI; ix86)"を名乗るUAがものすごい勢い(秒間数アクセス)で根こそぎ(RandomNoteの項目まで)さらっていった形跡があった。
検索してみたところ、GetHTMLWとのこと。
あ゛ー、俺、昔使っていたよ…。ダイヤルアップ時代ならともかく、数メガbps当たり前の今日日動かすと恐ろしいことになるのだな。
プロキシモードで一度見た記事をため込んで使う分にはとても便利で有用なソフトだと思うのだけど、まるごと取得は勘弁。
というわけで、ちゃんとrobots.txtは読むので、一部動的ページからお引き取り願うことにした。
4.12以前は丸ごとお引き取り願うべきかなー。
参考:
先読みソフトについて [Archive] - XREA SUPPORT BOARD
http://sb.xrea.com/archive/index.php/t-1388.html
#Web
検索してみたところ、GetHTMLWとのこと。
あ゛ー、俺、昔使っていたよ…。ダイヤルアップ時代ならともかく、数メガbps当たり前の今日日動かすと恐ろしいことになるのだな。
★★ GetHTML Ver.4.13, GetHTMLW Ver.7.13 より、★★とのことだけど、使用者は古いのを使っていたようだな。
(1) 同一サーバ(ホスト)への同時取得数が 1 に固定されました
(2) 同一サーバ(ホスト)への連続取得に対し、1秒の wait をデフォルトで入れました
上記は、ブロードバンド化に伴う Web サーバへの負荷を軽減する為の措置です。
プロキシモードで一度見た記事をため込んで使う分にはとても便利で有用なソフトだと思うのだけど、まるごと取得は勘弁。
というわけで、ちゃんとrobots.txtは読むので、一部動的ページからお引き取り願うことにした。
4.12以前は丸ごとお引き取り願うべきかなー。
参考:
先読みソフトについて [Archive] - XREA SUPPORT BOARD
http://sb.xrea.com/archive/index.php/t-1388.html
#Web
* spam投稿ロボットと302
spammerの投稿用リストに問題でもあったのか、そもそも存在しない/bbs/bbs.cgiへのアクセスが見られる。
せっかくだから、実験用に302を返すだけのページを用意してみたところ…
へぇ、302を追いかけるのね。
これを利用して、spammerからのアクセスだったら、その宣伝したいサイトに302で誘導して無用な負荷をかけて嫌がらせ…、と思ったけど誤認したときが厄介なのでダメだな。
#掲示板spam対策 #Web
せっかくだから、実験用に302を返すだけのページを用意してみたところ…
2006/09/17,14:48:10,69.41.171.138,"wmstream.libertyleague.com","-","-",GET,"/bbs/bbs.cgi","","1.1",302,302,"http://baku.homeunix.net/bbs/bbs.cgi"
2006/09/17,14:48:10,69.41.171.138,"wmstream.libertyleague.com","-","-",GET,"/bbs/bbs.txt","","1.1",200,0,"http://baku.homeunix.net/bbs/bbs.txt"
へぇ、302を追いかけるのね。
これを利用して、spammerからのアクセスだったら、その宣伝したいサイトに302で誘導して無用な負荷をかけて嫌がらせ…、と思ったけど誤認したときが厄介なのでダメだな。
#掲示板spam対策 #Web