后裔采集器采集数据时提前停止的原因是什么?

- 作者:zhanhy ——来源:原创 ——

如果你在使用后裔采集器的过程中,遇到采集数据时提前停止,不要着急。要学会自己去发现问题,找出问题,然后学会怎么去解决问题。那么后裔采集器采集数据时提前停止的原因是什么?我们先来检查下,定位下出现这种情况的原因。

分两步检查后裔采集器采集数据时提前停止的原因:


第一步检查:请确认您在浏览器中能看见多少内容

有的时候搜索显示数量和你最终能看得见的数量不是一致的。

第二步检查:采集结果数量和在浏览器中看到的数量不一致

在采集过程中,如果遇到这个问题,有以下两种可能性:

解决后裔采集器采集数据时提前停止的问题:


第一种问题方案:确认能看到的数据和已经采集到的数据是否一致,如果一致则是正常停止,如果不是则是提前停止,进一步检查其它原因。

第二种问题方案:由于网站加载速度过慢,但是采集速度过快,进而导致不能正常采集到网页中的数据,导致采集提前停止。可以适当放慢采集速度增加请求等待时间,等待时间长一点之后,就有足够的时间留给网页加载内容。也可以使用代理带规避网站反爬策略。

请求等待时间的设置在 启动设置—>智能策略中,如下图所示:

第三种问题方案:遇到了其他问题

我们可以通过在运行过程中,点击运行界面中的“查看网页”来观察一下当前的网页内容是否正常,是否无法正常显示,是否出现异常提示等。

如果出现了上述情况,我们可以通过降低采集速度、手动输入验证码等方式,至于哪种方式可以起作用,这个需要您测试后才知道,不同的网站问题不同,没有一个统一的解决方案。

如果尝试了以上方案后仍然无法解决,你可以在帮助中心反馈给我们,我们会为您提供解答。

如果你还有其它疑问可以来本站搜索相关问题,这里会有你想要的答案:火车脚本网

还有什么疑问可以提出来
  • 全部评论(0
    还没有评论,快来抢沙发吧!