赞
踩
Scrapy(/ˈskreɪpi/) 是一个Python编写的开源网络爬虫框架。它是一个被设计用于爬取网络数据、提取结构性数据的程序框架。
使用Scrapy框架可以很方便地爬取网站。
scrapy startproject xxx
新建一个Scrapy 项目。scrapy genspider xxx "url"
新建一个spider.scrapy crawl xxx
开始爬取文件目录如下图:
如架构图中所示,Scrapy 总共有五个重要的组件和两个中间件组件:
中间件的功能如架构图所示
Scrapy 数据流转流程,结合架构图。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。