采集任务如何配置?流程图模式和智能模式采集配置有什么不同?

- 作者:zhanhy ——来源:原创 ——

后羿采集器有流程图模式和智能模式,智能模式比较适合小白人员,适合简单的采集任务,使用该模式可以快速的完成任务采集。如果是流程图模式相对来说比较复杂一点,适合复杂的网站采集和数据输出。下面对着两种模式的采集配置进行简单讲解,希望可以帮助到你。

在编辑任务界面,点击右下角“开始采集”按钮,跳转到任务启动界面,我们可以在任务启动界面对任务进行配置。

1、定时启动

定时启动功能包括循环采集和定时采集,其中循环采集是按照一个固定的时间间隔(从前一次任务停止到下一次任务启动),循环启动采集任务;定时采集是按照设置的时间周期,循环启动采集任务。

更多详情内容,请参考以下教程:

如何设置定时采集

2、智能策略

智能策略设置包含代理设置、智能切换设置、手动切换设置,更多详情内容,请参考以下教程:

如何设置智能策略

3、自动导出

通过使用该功能,可以实现在采集数据的过程中自动导出采集结果到本地文件和数据库,不需要等到任务运行结束后手动导出数据。

更多详情内容,请参考以下教程:

如何设置自动导出

4、文件下载

软件支持在采集的过程中下载文件,文件类型包括:图片、音频、视频、文档及其他文件,用户可以选择保存路径,并且按照规则创建独立文件夹或重命名下载的文件。

更多详情内容,请参考以下教程:

如何设置文件下载

5、加速引擎

加速引擎功能可以对采集任务进行加速,加速效果和网页加载速度以及采集任务的设置有关,通常可以达到3~10倍的加速效果。

更多详情内容,请参考以下教程:

如何使用加速引擎

6、数据去重

数据去重功能是指在任务采集过程中,将当前采集的数据与已经采集的数据进行对比,如果发现数据重复,就根据设置条件进行处理。

如果当前任务中保存的数据越多,去重比较过程就越慢,因此开启此项功能会造成采集速度变慢,大家请谨慎使用。

更多详情内容,请参考以下教程:

如何设置数据去重

7、开发者设置

后羿采集器支持Webhook功能,通过使用该功能,后羿采集器可以将采集到的数据发布到HTTP地址。

更多详情内容,请参考以下教程:

如何设置Webhook功能

如果你还有其它疑问可以来本站搜索相关问题,这里会有你想要的答案:火车脚本网

还有什么疑问可以提出来
  • 全部评论(0
    还没有评论,快来抢沙发吧!