求解各位大神们帮忙看一下这个网站的如何写采集规则?

- 作者:zhanhy ——来源:原创 ——

有网友问站长这个网站的招标信息要怎么采集,下面针对这个网站的采集咱们看看其它网友的回答,看过之后站长来给大家说下这个网站要怎么采集到招标的数据。通过测试发现直接对网站进行采集就可以,写了一个只采集列表和内容页只采集标题和正文的规则。感兴趣的可以直接下载附件试试,如果不能直接采集到内容的话,可以试试抓包软件,然后把采集器的请求头和抓包软件获取的请求头设置的一样再试试。如果仍然不行可试试采集器内容的微型浏览器获取cookie,一般可以处理90%以上的网站都可以正常采集到。https://ggzyfw.beijing.gov.cn/jylcgcjs/index.html

 

 

【其它网友回答】

源码里有数据直接根据源码采集即可

【其它网友回答】

规则里加上cookie后看下

【其它网友回答】

还是不行好像网址开头为https的就采不出网址,我今天也遇到一个这样的网站 ...

可以做的 照文档处理下

【其它网友回答】

可以做的 照文档处理下

为什么只有在抓包软件打开的情况下才能采集出来,关闭抓包软件就不可以呢? ...

【其它网友回答】

不会的对应都加上cookie和user-agent了吗

加上了,但是就是已关闭抓包软件采不出来了,打开抓包软件就可以
 

 附件点击小球即可下载

如果你还有其它疑问可以来本站搜索相关问题,这里会有你想要的答案:火车脚本网

还有什么疑问可以提出来
  • 全部评论(0
    还没有评论,快来抢沙发吧!