【采集猫】TD爬虫的方案最多能添加多少个呢?

【采集猫】TD爬虫的方案最多能添加多少个呢?

最近不少用户咨询这个问题,下面专门讲一下大致的情况:

一对一的方案,建议不超过20个
多对一,不超过10个
多对多,建议不超过10
有正序爬取历史的,建议不超过5个

比如,飞机对普通用户的最大请求限制在15-40之间,这是飞机官方限制,

新用户一般15那样子,超过这个会提示让你开会员.

采集猫你设置请求假如是25,那到了15以后,基本上就被飞机停了,15的请求,发送撑死了一分钟就是12次,你假如有20个一对一方案,1分钟发一次,那么一分钟最多才能发12次,剩下8个到第二分钟,以此类推,最后导致发送频次不断加大,所以,方案多少,没关系,有关系的是多久发一次,

假如你一天发一次,你设置1000个方案都没事!