当前位置:   article > 正文

爬虫小案例-爬取当当网TOP500的图书并将数据存入数据库_利用八爪鱼软件采集当当网图书畅销榜top500图书的全部数据,包括序号、书名、

利用八爪鱼软件采集当当网图书畅销榜top500图书的全部数据,包括序号、书名、

在这里插入图片描述

在这里分享一个刚刚学习爬虫时自己做的一个小案例,爬取了当当网TOP500的图书信息,包括图书名称、作者名称和出版社的名称。


1.分析网页

url:http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00-recent30-0-0-1-1
首先,我们在浏览器里输入以上这个网址这个网址,进入到我们本次将要爬取的网页,然后鼠标右键点击检查。在这里插入图片描述
使用抓包工具,得到将要爬取的数据所在的位置。
解析图书名称的xpath解析式:

//ul/li/div[@class='name']/a/@title
  • 1

获取图书作者xpath解析式:

//ul/li/div[@class='publisher_info']/a[1]/@title
  • 1

获取出版社的xpath解析式:

//ul/li/div[@class='publisher_info'][2]/a/text()
  • 1

2.具体实现

import requests
from lxml import etree
import pymysql
# 连接数据库所需要的参数
DBHOST = 'localhost'
DBUSER = 'root'
DBPASS = '215413'
DBNAME = 'librarysysterm'
db = pymysql.connect(host=DBHOST, user=DBUSER, password=DBPASS, database=DBNAME)
cur = db.cursor()  # 声明游标

print("连接数据成功")
print("正在插入数据========>")
if __name__ == "__main__":
    # 定义请求头
    header = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36'
    }
    # 爬取的网址
    url = "http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00-recent30-0-0-1-%d"

    # 共爬取网页中对应的20页数据
    for page in range(21, 26):
            new_url = format(url%page) # 此处对网址进行分页处理
            html = requests.get(url=new_url,headers=header)
            if html.status_code == 200: # 获取状态码,若为200,则代表网页可以正常访问
                html.encoding = html.apparent_encoding
                page_text = html.text

            # 获取网页源代码
            tree = etree.HTML(page_text)
            book_name_list = tree.xpath("//ul/li/div[@class='name']/a/@title") # 在网页源代码中解析出图书名
            author_list = tree.xpath("//ul/li/div[@class='publisher_info']/a[1]/@title") # 在网页原代码中解析出作者姓名
            publishing_house = tree.xpath("//ul/li/div[@class='publisher_info'][2]/a/text()") # 在网页源代码中解析出出版社名称

            for data in zip(book_name_list,author_list,publishing_house):
                sql = 'INSERT INTO book(bookname,author,bookpress) VALUE (%s,%s,%s)' # 将爬取得到的数据存入数据库
                value = data
                cur.execute(sql,value)
                db.commit() # 提交
    print("图书信息数据插入成功!")
  
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42

3.运行结果

在这里插入图片描述
运行到此处,爬虫程序就已经结束了,之后到数据库中查看数据的插入情况。


4.数据库展示

在这里插入图片描述
可以看到,每本图书的书名,作者以及出版社的信息已经存入到了数据库当中。到此,这个爬虫小案例就结束了。


xpath用来解析网页代码是我认为很适合刚刚学习爬虫的同学来使用,它相对于正则表达式更加简单,也更加方便。
好了,本次的分享就到这里了,如果你感觉我的分享对你有帮助的话,就请贡献一下你宝贵的一键三连可以吗。
在这里插入图片描述


声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/我家自动化/article/detail/825075
推荐阅读
相关标签
  

闽ICP备14008679号