后羿采集如何批量启动采集器任务

- 作者:houyi ——来源:后羿官网 ——

我们在制作爬虫采集网站的数据时,由于每个网站的栏目有很多,想要按照不同的栏目把采集到的数据发布到自己网站上不同的栏目。这时就需要对不同的栏目添加不同的任务,这时同一个网站下面的任务就会很多。在启动任务时如果一个一个启动任务,就比较浪费时间了。那么后羿采集如何批量启动采集器任务。大家可以把需要采集的任务放在一个分组中,然后展开分组,点击顺序启动组内任务,如下图所示:

注意,需要把组展开才能够批量启动组内任务,未打开分组使用此功能会出现如下报错:

按组批量启动任务后,会跳转到启动页面,此时在启动页面进行的所有设置会应用给组内的每一个任务。

点此了解更多关于采集任务设置的内容。

注意一点,如果在此时勾选加速引擎功能,由于组内任务是按照顺序进行采集的,只会占用一个加速引擎资源。

点击“启动”按钮开启采集任务,组内的任务会按照顺序逐个运行,下一个任务会在前一个任务停止后开始。

如果用户想要在采集的某个任务时暂停或停止,可以直接在任务运行时,在页面上点击“暂停/停止”按钮。

在点击单个任务停止时,此时这个任务会停止直接采集下一个任务,如果点击单个任务暂停,此时任务会整个暂停,点击启动之后才会接着运行任务。

如果需要停止整个任务,可以在选中分组,然后点击停止任务。

注意:采集完任务如果需要查看数据,可以在各个任务中进行查看,现在暂不支持组内任务采集到的数据批量导出。

如果你还有其它疑问可以来本站搜索相关问题,这里会有你想要的答案:火车脚本网

还有什么疑问可以提出来
  • 全部评论(0
    还没有评论,快来抢沙发吧!