每日爬虫练习：bs4库爬取诗词名句网的四大名著_爬取诗词名句网站上任意一本书

一、前言

2020-04-2日爬虫练习

爬取网站：诗词名句网的四大名著
需求：将四大名著的每一个章节存储到本地
技术路线：
1.requests
2.BeautifulSoup
3.os

二、代码解释

1、最近在学习 数据解析之BeautifulSoup4库 ，所以写这篇爬虫来练练手，巩固知识点。

BeautifulSoup4知识点参考我博文：【爬虫学的好，基础少不了】：数据解析之BeautifulSoup4库

2、其实我也是小白，学习python没多久，这样写代码的好处有两点、一、结构清晰，一个函数负责一个功能，二、能提高代码复用率。因为诗词名句网中每一个章节是一个页面，所以需要重复获取页面的html。

3、由于，特别是爬虫代码都有时效性，如果不能使用记得私聊我~

import requests
from bs4 import BeautifulSoup
import os, time


class Book:
    def __init__(self):
        self.headers = {
   
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36',
            'Referer': 'http://www.shicimingju.com/book/',
        }

    # 获取html
    def get_html(self, url):
        result = requests.get(url=url, headers=self.headers)
        
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16