当前位置: article > 正文

爬虫抓取新浪微博数据_本次所分析的数据是通过爬虫抓取的微博数据。选取新浪微博为数据平台,选取我国34

作者：lpred | 2024-02-03 14:54:47

踩

本次所分析的数据是通过爬虫抓取的微博数据。选取新浪微博为数据平台,选取我国34

目标：抓取某个博主的全部微博

分析网页结构：

我们抓取的思路是模拟浏览器自动访问页面抓取。

我们来看一下页面结构，首先每个微博列表，必须进行三四次的下拉加载，如果底部有个翻页的按钮，那么判断本页加载完成。

抓取需要登录账号，如何登录呢？

登录是不需要验证码的，如果你输入错了，才会叫你输入验证码，所以登录是没什么技术难度的。

我们可以创建一个【登录模块】，先用浏览器登录，往后所有的页面都基于这个浏览器共享的cookie去抓取。

我们不需要微博的详情页。所以整个爬虫的流程是没有详情页的，数据都从列表里面提取。

总共花费了5分钟的时间，抓取了10个页面，总计四百条微博。因为我的微博发的不是很频繁。

数据如下：

做个简单的词云：

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/article/detail/57022