Feed on Posts or Comments 16 March 2010

Web™ qiucool on 19 八 2006 10:34 下午

抓虾的爬虫是这么工作的

经常用抓虾的朋友可能注意到一个问题,有些种子刚一更新,抓虾马上就能显示出来,比如MyDonews更新feed,而有些种子在更新了很长时间后,抓虾才有显示。是不是抓虾对有的种子有歧视?不是的,今天偶然在yee的blog中找到了答案。

抓虾的更新频率----抓虾在抓取上并没有等级歧视,她会根据你的内容更新速度来决定抓取的频率。意思是如果你很长时间没有更新你的内容,抓取的间隔时间就会增加,如果你的更新加快了,那么抓取的间隔时间也会随之减少。“抓虾的一位成员如是说。

gougou的爬虫肯定不是这么工作的,因为每当我写完一个blog,他总是能在20分钟内检测到,不管我间隔了多少天没有更新。gougou爬虫的问题在于,有些用的好好的feed,不知什么原因爬虫就不去爬了,抓虾目前来看还没有这个问题。


Rand Posts:

2 Responses to “抓虾的爬虫是这么工作的”

  1. on 20 八 2006 at 11:35 上午 1.KEViN恺 said …

    feedburner是每秒钟都会更新RSS的,
    可有的时候过一个月还没有更新。
    根据官方给我的答复,原因是有的时候feedburner被my.donews给封掉了!

    [ 引用 ]

  2. on 20 八 2006 at 2:13 下午 2.qiucool said …

    恩,my.donews与feedburner似乎不兼容。

    feedsky没有问题。

    [ 引用 ]

Trackback This Post | Subscribe to the comments through RSS Feed

Leave a Reply


京ICP备06014225号

qiucool blog © 2010 |WordPress Themes made free by Web Hosting Bluebookyo2.cn 提供 WordPress 博客服务