kako si kej ?

百度莫名其妙的spider

In 腦殘遊記, 閒聊瞎扯 on 2006 年 01 月 09 日 at 01:48

爆吉的網站下午的時候又掛了,又是因為頻寬爆炸,自從他把跨年倒數的影片放上網頁後已經是第3次了。我想應該跟某個無聊人留言的影響無關,因為他一留完言沒多久,他公司那一小段的IP就被爆吉block掉了;後來去查log,發現原來是百度奇怪的spider搞的鬼,光是baiduspider就吃掉6G多的流量(抱歉,我們水管小啊),爆吉都已經把flash影片移到別的地方去,只剩下Loader了耶……真是太誇張了,到底這個bot是怎樣搜尋資料的,光是文字資料跟個幾K的Loader可以搞到6G,我真是太佩服了。總之最後爆吉一個奇摩子不爽,就直接把百度的IP給ban掉了。

爆吉曰:「反正我想大陸人應該也不想看台北101的煙火吧。」

post this page to twitter via twitthat

No TweetBacks yet.
  1. alan 說道:

    呴呴~
    請問百度的IP是多少?我的流量也是上上下下,很討厭!

  2. Kej 說道:

    根據百度自己說的,可以設置robots.txt拒絕機器人
    不過我看到lukhnosivan似乎都說沒用
    所以還是就ban ip吧,依照ivan在這篇文章說的,baiduspider應該是202.108.1.*
    另一個202.96.63.* 就不知道是那裡囉

  3. Jeff 說道:

    請問IIS 如何BAN 掉百度的IP..
    我快瘋了.. 設了IIS 內的拒絕IP, 它們還是進來亂DL..

    HELP, 3Q

  4. Dotblogs 說道:

    IIS 設定還蠻簡單
    可以看我這篇圖文介紹
    IIS Block 擋特定 IP (封鎖特定IP)
    http://www.dotblogs.com.tw/dotjum/archive/2008/03/10/1313.aspx
    點部落-專屬於IT技術的Blog http://www.dotblogs.com.tw/

Comments are closed.

    follow me on Twitter