当前位置:   article > 正文

python爬虫基础(15:补录环境安装)_爬虫 补环境

爬虫 补环境

1. 环境安装

由于每个人的硬件设备、操作系统和使用习惯的不同,再加上环境安装的过程中特别多的不可控因素以及可能性,我觉得编写每个软件或模块的安装方法十分耗费心力,因此一直没有给出环境安装方法,在此抱歉

在学习过程中参考了崔庆才的《Python3网络爬虫开发实战教程》,其中作者耗费心血地写了关于环境的安装,在此就厚着脸贴出链接了:https://cuiqingcai.com/5052.html

转载请注明:静觅 » Python3网络爬虫开发实战教程

2.解析方法

除了我案例中一直使用的BeautifulSoup以外,还有xpath、pyquery等很好用的工具,应根据不同的网页结构选用对应的解析提取工具,如果遇到实在难以提取的,再考虑正则,因为一般正则很难写

3.数据库

案例一直选用mysql这种关系型数据库,但现在的趋势是非关系型数据库例如MongolD,或轻量高效的Redis,实际开发者也应根据需求选用

4.模拟登陆

模拟登录

声明:本文内容由网友自发贡献,转载请注明出处:【wpsshop博客】
推荐阅读
相关标签
  

闽ICP备14008679号