当前位置:   article > 正文

爬虫爬取微博用户粉丝及其关注_爬取微博关注列表

爬取微博关注列表

爬虫爬取微博用户粉丝及其关注

前言

​ ​ 前段时间做了一个爬虫爬取微博用户粉丝及其关注的小项目,但忙着中期毕设答辩忘了加以记录了。对于动态网页的解决办法是使用selenium(上手比较快,而且抓包实在太麻烦了hhhhh我就还没学)。

​ ​ 关于selenium爬虫的学习:


项目

​ ​ github地址:https://github.com/hit-thusz-RookieCJ/crawler_for_weibo_fans

简介

​ ​ 本项目通过selenium库爬取指定微博用户的关注、粉丝相关数据(昵称、性别、简介、地域、年龄、星座、学校、公司)。

​ ​ 需要注意的是,新浪微博网页版(https://weibo.com) 的查看粉丝存在数目限制(最多5页),因此在这里我们通过https://weibo.cn, 来爬取更多的粉丝数据。

Pipeline
  1. python get_cookie.py,而后在浏览器上登录,获取相关cookie信息,使得我们之后爬取信息时候可以自动登录
  2. 在selenium_crawler.py中填写需要搜索的用户名称后,python selenium_crawler.py
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/article/detail/56723
推荐阅读
相关标签
  

闽ICP备14008679号