Python3智联招聘网爬虫学习_北京雅正创意品牌科技有限公司

作者：神奇cpp | 2024-08-06 23:55:17

踩

北京雅正创意品牌科技有限公司

今天想分享一下自己是怎么样在智联招聘网站进行的爬虫。

注意哦，本文是以学习为目的的，没有任何的恶意想法。本人也不会将爬虫所得的数据进行售卖或者分享。这里只分享手法。

首先打开https://www.zhaopin.com/beijing/后，发现网站的request中似乎并没有什么很强的反爬机制。于是ctrl+u分析源码

使用这张图中的关键词在网页源码中进行分析看看能不能找到什么吧~
找比较显眼的容易找到特殊entry的词，比如公司名
然后发现了这个东西：
在这里插入图片描述
然后定睛一看这不就是json嘛~
愉快的丢json beautifier里面看一眼~

想要的东西json里看来都有了~
所以普通的header带一个User-Agent应该就行了
代码走一个：

import requests, re, json

if __name__ == '__main__':
    page = requests.get('https://www.zhaopin.com/beijing/')
    headers = 1
2
3
4

声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop】