赞
踩
在这里分享一个刚刚学习爬虫时自己做的一个小案例,爬取了当当网TOP500的图书信息,包括图书名称、作者名称和出版社的名称。
url:http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00-recent30-0-0-1-1
首先,我们在浏览器里输入以上这个网址这个网址,进入到我们本次将要爬取的网页,然后鼠标右键点击检查。
使用抓包工具,得到将要爬取的数据所在的位置。
解析图书名称的xpath解析式:
//ul/li/div[@class='name']/a/@title
获取图书作者xpath解析式:
//ul/li/div[@class='publisher_info']/a[1]/@title
获取出版社的xpath解析式:
//ul/li/div[@class='publisher_info'][2]/a/text()
import requests from lxml import etree import pymysql # 连接数据库所需要的参数 DBHOST = 'localhost' DBUSER = 'root' DBPASS = '215413' DBNAME = 'librarysysterm' db = pymysql.connect(host=DBHOST, user=DBUSER, password=DBPASS, database=DBNAME) cur = db.cursor() # 声明游标 print("连接数据成功") print("正在插入数据========>") if __name__ == "__main__": # 定义请求头 header = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36' } # 爬取的网址 url = "http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00-recent30-0-0-1-%d" # 共爬取网页中对应的20页数据 for page in range(21, 26): new_url = format(url%page) # 此处对网址进行分页处理 html = requests.get(url=new_url,headers=header) if html.status_code == 200: # 获取状态码,若为200,则代表网页可以正常访问 html.encoding = html.apparent_encoding page_text = html.text # 获取网页源代码 tree = etree.HTML(page_text) book_name_list = tree.xpath("//ul/li/div[@class='name']/a/@title") # 在网页源代码中解析出图书名 author_list = tree.xpath("//ul/li/div[@class='publisher_info']/a[1]/@title") # 在网页原代码中解析出作者姓名 publishing_house = tree.xpath("//ul/li/div[@class='publisher_info'][2]/a/text()") # 在网页源代码中解析出出版社名称 for data in zip(book_name_list,author_list,publishing_house): sql = 'INSERT INTO book(bookname,author,bookpress) VALUE (%s,%s,%s)' # 将爬取得到的数据存入数据库 value = data cur.execute(sql,value) db.commit() # 提交 print("图书信息数据插入成功!")
运行到此处,爬虫程序就已经结束了,之后到数据库中查看数据的插入情况。
可以看到,每本图书的书名,作者以及出版社的信息已经存入到了数据库当中。到此,这个爬虫小案例就结束了。
xpath用来解析网页代码是我认为很适合刚刚学习爬虫的同学来使用,它相对于正则表达式更加简单,也更加方便。
好了,本次的分享就到这里了,如果你感觉我的分享对你有帮助的话,就请贡献一下你宝贵的一键三连可以吗。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。