python爬虫与mongodb交互_mongodb与spider交互

作者：盐析白兔 | 2024-08-04 16:57:07

踩

mongodb与spider交互

python爬虫与mongodb交互

一、创建框架
创建框架:
scrapy startproject projectname(项目名称)
cd projectname
scrapy gendspider spidername(爬虫文件名) www.baidu.com(爬取网址的域名)
二、创建项目文件的作用
1、items.py定义持久化的字段
2、middlews.py中间件
3、pipelines.py持久化:数据库
4、settings…py配置文件
5、scrapy.cfg配置文件:项目部署

三、交互
1、进入items文件中
在这里插入图片描述
2、进入创建的爬虫文件中并写解析过程

四、将数据写入mongodb中

1、进入pipelines.py文件中

在这里插入图片描述

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/盐析白兔/article/detail/928733