有些网站设置了反爬虫策略,当我们采集速度太快,就会触发反爬虫策略,然后网页弹出验证码、访问错误之类的提示信息。
任务编辑器,第三步设置,基本设置
在浏览器引擎下,我们只需要设置间隔时间,时间单位是毫秒,1000毫秒=1秒。
注意
在HTTP引擎和JSON引擎下,同时需要设置线程 为 1,如果大于1,间隔时间则无效。
具体间隔时间,可以根据网站,多测试调整,在不触发反爬虫策略的同时,最大效率提供抓取速度。
有些网站设置了反爬虫策略,当我们采集速度太快,就会触发反爬虫策略,然后网页弹出验证码、访问错误之类的提示信息。
任务编辑器,第三步设置,基本设置
在浏览器引擎下,我们只需要设置间隔时间,时间单位是毫秒,1000毫秒=1秒。
注意
在HTTP引擎和JSON引擎下,同时需要设置线程 为 1,如果大于1,间隔时间则无效。
具体间隔时间,可以根据网站,多测试调整,在不触发反爬虫策略的同时,最大效率提供抓取速度。