豆瓣电影信息爬虫【2024年6月】教程

豆瓣电影信息爬虫【2024年6月】教程，赋完整代码

在本教程中，我们将使用以下技术栈来构建一个爬虫，用于爬取豆瓣电影列表页面的信息：

完整代码放到最后 ； 完整代码放到最后 ； 完整代码放到最后 ； 重要的事情说三遍。

1. 技术栈介绍

在本教程中，我们将使用以下技术栈来构建一个爬虫，用于爬取豆瓣电影列表页面的信息：

• Python: 一种广泛使用的高级编程语言，因其简洁的语法和强大的库支持而受到开发者的喜爱。
• Requests: 一个简单易用的HTTP库，用于发送各种HTTP请求。
• PyQuery: 一个使Python像jQuery一样解析HTML文档的库。
• 正则表达式 (re模块): Python内置的正则表达式库，用于字符串搜索和替换。

2. 环境搭建

在开始编写爬虫之前，需要确保你的开发环境中安装了Python以及上述提到的库。可以通过以下命令安装所需的库：

pip install requests pyquery
1

3. 代码逻辑概述

本爬虫的主要任务是从一个给定的豆瓣电影列表页面URL中提取电影的详细信息。以下是代码的主要逻辑流程：

1. 发送HTTP请求：使用requests库向豆瓣电影列表页面发送GET请求。
2. 检查响应状态：确保请求成功，即HTTP状态码为200。
3. 解析HTML内容：使用PyQuery解析返回的HTML文档。
4. 提取电影信息：遍历页面中的电影列表项，提取每部电影的相关信息。
5. 数据存储与输出：将每部电影的信息存储在字典中，并添加到列表中，最后返回这个列表。

4. 详细代码解析

4.1 导入库

import requests
from pyquery import PyQuery as pq
import re
1
2
3

这里导入了所需的库，requests用于网络请求，PyQuery用于HTML解析，re用于正则表达式匹配。

4.2 定义爬虫函数

def doulist_crawler(url):
    # ...
1
2

定义了一个名为doulist_crawler的函数，它接受一个参数url，即豆瓣电影列表的URL。

4.3 设置请求头

headers = {
    'User-Agent': '...',
    'Accept': '...'
}
1
2
3
4
'
运行
运行

设置请求头，模拟浏览器访问，避免被服务器识别为爬虫。

4.4 发送GET请求

response = requests.get(url, headers=headers)
1

使用requests.get函数发送GET请求到指定的URL，并携带之前设置的请求头。

4.5 检查响应状态

if response.status_code == 200:
    # ...
1
2

检查HTTP响应状态码，如果为200，表示请求成功，继续执行；否则打印错误信息并返回空列表。

4.6 解析HTML内容

doc = pq(response.text)
1

使用PyQuery解析服务器返回的HTML内容。

4.7 提取电影信息

doulist_item_doc = doc(".doulist-item")
doulist = []
for item in doulist_item_doc.items():
    # ...
1
2
3
4

遍历页面中所有电影列表项(.doulist-item)，并对每一项进行信息提取。

4.8 存储与返回电影信息

item_dict = {
    # ...
}
doulist.append(item_dict)
1
2
3
4

将每部电影的信息存储在一个字典中，然后将该字典添加到列表doulist中。

5. 运行爬虫和完整代码

最后，调用doulist_crawler函数，并传入豆瓣电影列表页面的URL，就可以得到一个包含所有电影信息的列表。

import requests
from pyquery import PyQuery as pq
import re

def doulist_crawler(url):
    '''
    此函数爬取豆瓣电影列表页面，并提取列出的电影的详细信息。
    该函数向指定的豆瓣电影列表URL发送GET请求，并使用预定义的头部信息来模拟浏览器请求。如果请求成功，它将使用PyQuery解析HTML内容，并提取电影的详细信息，如标题、导演、主演、类型、地区、年份、评分和评分数量。每部电影的信息存储在一个字典中，并添加到名为'doulist'的列表中。然后打印出详细信息。
    提取的数据包括：
    - 电影标题
    - 导演
    - 主演
    - 类型
    - 制作地区
    - 发行年份
    - 评分数量
    - 每部电影的详细URL
    参数:
        url (str): 要爬取的豆瓣-豆列的电影列表页面的URL。
        https://www.douban.com/doulist/240962/
    返回:
        list: 包含每部电影详细信息的字典组成的列表。
    :return:
    '''
    # 定义请求头
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
        # 其他需要的请求头...
    }
    # 发送 GET 请求并获取响应内容
    response = requests.get(url, headers=headers)

    # 确保请求成功
    if response.status_code == 200:
        # 使用 PyQuery 解析网页内容
        doc = pq(response.text)
        doulist_item_doc = doc(".doulist-item")
        doulist = []
        for item in doulist_item_doc.items():
            item_dict = {}
            # 初始化变量
            director = None
            starring = None
            genre = None
            region = None
            year = None
            detail_url = item(".title a").attr("href")
            title = item(".title a").text()
            rating_nums = item(".rating_nums").text()
            rating_count_text = item('.rating span:contains("人评价")').text()
            rating_count = int(re.search(r'\d+', rating_count_text).group(0))
            lines = item('div.abstract').text().split('\n')
            for line in lines:
                if '导演' in line:
                    director = line.split('导演:')[-1].strip()
                elif '主演' in line:
                    starring = line.split('主演:')[-1].strip()
                elif '类型' in line:
                    genre = line.split('类型:')[-1].strip()
                elif '制片国家/地区' in line:
                    region = line.split('制片国家/地区:')[-1].strip()
                elif '年份' in line:
                    year = line.split('年份:')[-1].strip()

            item_dict['director'] = director
            item_dict['starring'] = starring
            item_dict['genre'] = genre
            item_dict['region'] = region
            item_dict['year'] = year
            item_dict['detail_url'] = detail_url
            item_dict['title'] = title
            item_dict['rating_count'] = rating_count
            doulist.append(item_dict)

        return doulist  # 返回电影列表
    else:
        print(f"请求失败，状态码：{response.status_code}")
        return []  # 如果请求失败，返回空列表

if __name__ == "__main__":
    move_list = doulist_crawler('https://www.douban.com/doulist/240962/')
    print(move_list)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83

6. 注意事项

• 确保遵守豆瓣的使用条款，不要过度请求。
• 考虑到网站的反爬虫机制，可能需要定期更新请求头或使用代理。
• 爬取的数据应仅用于个人学习和研究，不得用于商业用途。

通过本教程，你应该能够理解并运行这个豆瓣电影信息爬虫。如果有任何问题，欢迎随时提问。