后羿采集流程图模式怎么实现分页采集?

- 作者:houyi ——来源:后裔官网 ——

现在很多网站为了收录数量增多,都会对页面进行分页设置。如果我们遇到了分页设置,后羿采集流程图模式怎么实现分页采集?分页模式一般可以分为三种:一种是直接有分页按钮的网页,一种是瀑布流类型的网页,还有一种是分页+瀑布流类型的网页。

1. 页面中有可点击的分页按钮(例如“下一页”或“点击加载更多”)

这种网页是最常见的一种分页类型,在提取列表元素后,软件会提示是否需要自动翻页采集。如果用户只采集单页数据,则不需要设置分页循环。

在点击需要设置分页循环之后,软件会提示所识别到的分页是否正确,如果点击正确按钮,软件会配置好循环组件。

具体如下动图所示:

如果软件识别的分页按钮不够准确,用户可以点击“不正确,重新设置分页”按钮,跳转到新的操作框选择“分页按钮”,然后手动点选页面上的分页按钮完成手动设置。

如果手动点选分页按钮还是无法识别到准确的分页xpath,用户可以在翻页循环中手动修改分页xpath。

2. 页面中没有可点击的分页按钮(滚动页面即可加载)

在瀑布流的网页,提取列表数据之后,由于页面上没有分页按钮,此时操作提示框会提示未识别到分页。

此时用户可以点击“设置分页”按钮,跳转到新的操作框点击“瀑布流分页(滚动加载)”按钮,软件会自动设置瀑布流类型的翻页循环。

3. 需要滚动网页才能出现分页按钮的网页(瀑布流+分页)

1)分页按钮需要滚动才会出现的网页

有些网页的分页按钮不会直接出现在第一屏的界面上,需要滚动页面才会出现分页按钮,我们提取数据并确定需要设置分页循环之后,此时操作提示框会提示未识别到列表。

此时用户可以点击“设置分页”按钮,跳转到新的操作框点击“滚动加载+分页按钮”按钮,软件会跳转到新的操作提示框。

如果按照上述设置无法识别到准确的分页xpath,用户可以在翻页循环中手动修改分页xpath。

2)分页按钮能直接识别到但需要加滚动条才能采集数据

有些网页能够直接识别出分页列表,但是需要添加滚动条之后才能采集数据,在我们提取数据列表识别到分页之后,设置“不正确,重新设置分页”。

在跳转到新的操作框上点击“滚动加载+分页按钮”按钮,接着软件会跳转到新的操作提示框。

具体如下动图所示:

如果按照上述设置无法识别到准确的分页xpath,用户可以在翻页循环中手动修改分页xpath。

如果你还有其它疑问可以来本站搜索相关问题,这里会有你想要的答案:火车脚本网

还有什么疑问可以提出来
  • 全部评论(0
    还没有评论,快来抢沙发吧!