赞
踩
前段时间做了一个爬虫爬取微博用户粉丝及其关注的小项目,但忙着中期毕设答辩忘了加以记录了。对于动态网页的解决办法是使用selenium(上手比较快,而且抓包实在太麻烦了hhhhh我就还没学)。
关于selenium爬虫的学习:
github地址:https://github.com/hit-thusz-RookieCJ/crawler_for_weibo_fans
本项目通过selenium库爬取指定微博用户的关注、粉丝相关数据(昵称、性别、简介、地域、年龄、星座、学校、公司)。
需要注意的是,新浪微博网页版(https://weibo.com) 的查看粉丝存在数目限制(最多5页),因此在这里我们通过https://weibo.cn, 来爬取更多的粉丝数据。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。