肿瘤康复网,内容丰富有趣,生活中的好帮手!
肿瘤康复网 > 中国土地市场网数据爬取

中国土地市场网数据爬取

时间:2021-12-31 13:55:21

相关推荐

最近,由于需求,又要继续爬取中国土地市场网的数据。打开网站,发现页面又更新了,所以得重新分析网页结构。

更新之后的页面如下:

地址:/resultNotice

找到初始的页面接口

下面是POST提交的参数,当然写代码的时候不要忘记把header加上去。如果你设置的搜索条件更加严格,提交的参数也就越多。

点击进去,看下详情页,也是一个JSON格式的数据结构,这样就很清晰了。

总结,也就是对两个JSON接口进行处理,前提是POST的参数和HEADERS参数不要忘记加上去。

经过分析,这次更新之后,网站的反爬机制更加严格,如果不加代理的话,很快会被封IP,返回同一固定页面。

最终,所有代码如下:

如果觉得《中国土地市场网数据爬取》对你有帮助,请点赞、收藏,并留下你的观点哦!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。