火车头采集器起始网址怎么进入多行编辑模式?

- 作者:zhanhy ——来源:原创 ——

火车头采集器起始网址怎么进入多行编辑模式?本篇内容可能大多数人都用不到,但对于会用到的人会提供很大的便利。我们在采集数据时,对于一些特殊的网站,数据显示可能只有25页或者100页,如果想要获取更多的数据,网站就不会再对请求地址返回数据。遇到这种网站有限制,数据不能在翻多页后正常显示,就需要添加其它筛选条件来实现数据分类再分页进行采集。这时就需要多行编辑这个小技巧了。

下面举例来说明使用多行编辑的条件和如何使用,希望可以给你的采集带来一定的帮助。举例网址爱名网一口价:https://am.22.cn/ykj/,这个列表地址显示的数据一般都会有十几万,如何才能把这些数据都采集下来。网站提示5页之后的数据需要登录,实际上登录之后通过cookie来请求25页以后的数据,数据仍然无法正常显示。举例网址:https://am.22.cn/ajax/yikoujia/default.ashx?t=0.18892895012521682&MaxPrice=100&MinPrice=0&act=list&chkday=-1&chkorder=0&ddlSuf=0%2C&isdefault=0&keytype=0&orderby=EndDate_a&pageCount=200&pageIndex=1&position=&position1=&position2=®istrar=0&showtype=0

这时就需要对地址添加更多的参数,来实现分类分页。我们可以根据最高价格MaxPrice,最低价格MinPrice来对页面进行分类。这里我们需要注意一个问题,不能讲最低价格和最高价格都设置成地址参数。如果设置的话会导致很多很多无效的地址出来,会严重干扰我们的采集效率。出现这种情况的原因是目前火车采集器的地址参数逻辑循环嵌套循环,有几个地址参数就会嵌套几次,而不是我们需要的最低价格和最高价格同步增长后嵌套地址循环。目前站长已经和官方提出优化这部分的需求,希望可以尽早上线,满足我们的需要。下面我们接着来说多行编辑的方法。

整理好需求之后我们开始编辑地址,由于数据过多,因此价格这里就需要分的更细致一些,每次递增10比较合适。这样MaxPrice=10&MinPrice=0.1,MaxPrice=20&MinPrice=10.1。这样设置之后就可以满足我们的需要了,但是如果一个地址一个地址的编辑明显会浪费我们太多的时间。这个时候我们可以一次添加很多行地址。然后将进度条拉到最下面后点击=这个符号即可进入多行编辑模式。

进入多行编辑模式之后,就可以快速添加大量网址,添加完成之后点击保存即可。本篇文章就讲到这里了,希望可以给你带来帮助,如果有其它需要可以来网站:www.huochejiaoben.com,也可联系站长。

如果你还有其它疑问可以来本站搜索相关问题,这里会有你想要的答案:火车脚本网

还有什么疑问可以提出来
  • 全部评论(0
    还没有评论,快来抢沙发吧!