热门标签
热门文章
- 1系统安装 安装 win11 系统跳过微软账户登录_windows11安装跳过登录账户
- 2Qt编写自定义控件：图片显示控件_qt 图片控件
- 3自动驾驶数据闭环与工程化_自动驾驶数据闭环参考文献
- 4阿里云数据库设置ip白名单连接正式库详细步骤_阿里云数据库实例白名单
- 5Apache Flink 漫谈系列(11) - Temporal Table JOIN
- 6kafka卡夫卡单机模式启动_kafka单机启动
- 7二叉排序树的定义及基本操作（构造、查找、插入、删除）递归及非递归算法_c++二叉排序树的建立、遍历、插入元素、删除元素、查找元素的算法
- 8Windows下MySQL安装到配置的详细操作_windos mysql my.int
- 9py2neo连接neo4j报错Error: could not begin a transaction_neo4jerror: you cannot begin a transaction on a se
- 10求三角形面积_头歌scala函数三角形的面积
当前位置: article > 正文
爬虫的一些经验和思考_爬虫实训思考建议
作者：你好赵伟 | 2024-06-14 04:09:53
赞
踩
爬虫实训思考建议
微博爬虫的一些经验和思考
1. 总结
如果量不大，大型网站(微博，知乎)，建议直接使用路线2，省时省力
如果量不大，小型网站(反爬策略弱)，直接路线1
2. todos
- 分布式爬虫
- 自建框架
- scrapy
- 抓包，爬取app数据
3. 基本路线
- requests: 需要手动寻找请求, 高频依赖代理,useragent,cookie
- 构造Header头时需重点关注Referer和Useragent
- selenium + chromedriver: 频率不高或网页结构复杂
- 针对微博两次请求可以间隔十秒
4. cookie
- 登录后手动获取
- 注意:登出后可能失效
- 自动登录获取
- selenium 模拟登录获取(推荐)
- requests 模拟请求
5. 代理
-
购买付费代理
-
抓取免费代理: 质量十分差
-
进阶:构建代理池
6. 验证码
-
打码平台: 省事，便宜
-
进阶: 机器学习验证码识别
7. Others
- 两次请求之间随机睡眠
8. 一些好的教程
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/716281
推荐阅读
相关标签
