devbox
编程领航者
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

python爬取微博用户信息（四）—— 爬取用户信息的功能函数_爬取新浪微博内容及用户信息

作者：编程领航者 | 2024-02-03 14:19:14

赞

踩

爬取新浪微博内容及用户信息

这一节，将会将 MicroBlog.py 文件中的函数介绍一下。

感兴趣的小伙伴可以收藏哦！

另外，关于本代码的效果展示，以及教程，点击以下链接即可。

python爬取微博用户信息（一）—— 效果展示

python爬取微博用户信息（二）—— cookie的获取方式以及configs中参数的设置

python爬取微博用户信息（三）—— 创建MicroBlog类实例

python爬取微博用户信息（五）—— os.sep函数、os.path.split() 、os.path.realpath()、os.path.isdir()、os.makedirs()用法

python爬取微博用户信息（六）—— 完整代码

目录

一、导入包

二、初始化

三、函数及其函数功能

1、get_microblog_info() —— 获取微博信息

2、get_user_info() —— 获取用户昵称、微博数、关注数、粉丝数

3、get_nickname() —— 获取用户昵称

4、get_page_num() —— 获取微博总页数 

5、get_one_page() —— 获取第page页的全部微博

6、get_one_microblog() —— 获取一条微博的全部信息

7、is_original() —— 判断微博是否为原创微博

8、get_microblog_content() —— 获取微博内容

9、get_original_microblog() —— 获取原创微博 

10、get_retweet_microblog() —— 获取转发微博

11、get_picture_url() —— 获取微博原始图片url

12、extract_picture_urls() —— 提取微博原始图片url

13、get_publish_place() —— 获取微博地理位置

14、get_publish_time_tool() —— 获取微博发布时间、工具

15、get_weibo_footer() —— 获取微博点赞数、转发数、评论数

16、write_csv() —— 将爬取的信息写入csv文件

17、write_txt() —— 将爬取的信息写入txt文件

18、download_pictures() —— 下载微博图片

19、get_filepath() —— 获取结果文件路径

20、deal_html() —— 处理html

21、deal_garbled() —— 处理乱码

22、start() —— 运行爬虫

一、导入包

1、import os

2、import re

3、import csv

4、import sys

  1. import os
  2. import re
  3. import csv
  4. import sys
  5. import random
  6. import requests
  7. import traceback
  8.  
  9. from tqdm import tqdm
  10. from time import sleep
  11. from lxml import etree
  12. from collections import OrderedDict
  13. from datetime import datetime, timedelta

二、初始化

1、变量

（1）cookie: cookie是客户端与服务器的一个会话机制，比如做地铁时买的车票。

（2）user_id: 用户id，例如1669879400(迪丽热巴)

（3）user_url: user_url这里设置的是：https://weibo.cn/

（4）filter:  爬取微博的类型。0 or 1 (0: 原创微博 + 转发微博; 1:原创微博)

（5）pic_download: 是否下载微博图片。0 or 1 (0: 不下载原始微博图片; 1: 下载微博原始图片)

（6）nickname: 用户名，例如 ‘Dear-迪丽热巴’

（7）microblog_num: 微博数

（8）get_num: 爬取的微博数

（9）following: 用户关注数

（10）fans: 用户粉丝数

（11）microblog: 存储爬取的所有微博信息，为列表型

2、代码

  1. def __init__(self, cookie, user_id, user_url,  filter, pic_download):
  2.     self.cookie = cookie
  3.     self.user_id = user_id
  4.     self.user_url = user_url
  5.     self.filter = filter
  6.     self.pic_download = pic_download
  7.     self.nickname = ''
  8.     self.microblog_num = 0
  9.     self.get_num = 0
  10.     self.following = 0
  11.     self.fans = 0
  12.     self.microblog = []

三、函数及其函数功能

1、get_microblog_info() —— 获取微博信息

（1）功能: 获取微博信息

（2）代码

  1. def get_microblog_info(self):
  2.     """ 获取微博信息 """
  3.     try:
  4.         url = self.user_url + 'u/' + str(self.user_id)
  5.         selector = self.deal_html(url)
  6.  
  7.         # 获取用户昵称、微博数、关注数、粉丝数
  8.         self.get_user_info(selector)
  9.  
  10.         # 获取微博总页数
  11.         page_num = self.get_page_num(selector)
  12.  
  13.         wrote_num = 0
  14.         page_index = 0
  15.         random_pages = random.randint(1, 5)
  16.  
  17.         for page in tqdm(range(1, page_num + 1), desc=u'进度'):
  18.             # 获取第page页的全部微博
  19.             self.get_one_page(page)
  20.             print('第{}页微博爬取完毕！'.format(page))
  21.  
  22.             # 每爬取一页写入一次文件
  23.             if self.get_num > wrote_num:
  24.                 self.write_csv(wrote_num)
  25.                 self.write_txt(wrote_num)
  26.                 wrote_num = self.get_num
  27.  
  28.                 # 图片的存储
  29.                 if self.pic_download == 1:
  30.                     # pic_download: 0 or 1 (0: 不下载原始微博图片; 1: 下载微博原始图片)
  31.                     self.download_pictures()
  32.  
  33.             """
  34.             通过加入随机等待避免被限制。
  35.             爬虫速度过快容易被系统限制(一段时间后限制会自动解除)，
  36.             加入随机等待模拟人的操作，可降低被系统限制的风险。
  37.             默认是每爬取1到5页随机等待6到10秒，如果仍然被限，可适当增加sleep时间
  38.             """
  39.             if page - page_index == random_pages and page < page_num:
  40.                 sleep(random.randint(6, 10))
  41.                 page_index = page
  42.                 random_pages = random.randint(1, 5)
  43.         if not self.filter:
  44.             print(u'共爬取{}条微博'.format(self.get_num))
  45.         else:
  46.             print(u'共爬取{}条原创微博'.format(self.get_num))
  47.     except Exception as e:
  48.         print('Error: ', e)
  49.         traceback.print_exc()

2、get_user_info() —— 获取用户昵称、微博数、关注数、粉丝数

（1）功能: 获取用户昵称、微博数、关注数、粉丝数

（2）代码

  1. def get_user_info(self, selector):
  2.     """ 获取用户昵称、微博数、关注数、粉丝数 """
  3.     try:
  4.         self.get_nickname()  # get user's name
  5.         user_info = selector.xpath("//div[@class='tip2']/*/text()")
  6.  
  7.         self.microblog_num = int(user_info[0][3: -1])
  8.         print(u'微博数: ', self.microblog_num)
  9.  
  10.         self.following = int(user_info[1][3: -1])
  11.         print(u'关注数: ', self.following)
  12.  
  13.         self.fans = int(user_info[2][3: -1])
  14.         print(u'粉丝数: ', self.fans)
  15.         print('*' * 100)
  16.     except Exception as e:
  17.         print('Error: ', e)
  18.         traceback.print_exc()

3、get_nickname() —— 获取用户昵称

（1）功能: 获取用户昵称

（2）代码

  1. def get_nickname(self):
  2.     """ 获取用户昵称 """
  3.     try:
  4.         url = self.user_url + str(self.user_id) + '/info'
  5.         selector = self.deal_html(url)
  6.         
  7.         nickname = selector.xpath('//title/text()')[0]
  8.         self.nickname = nickname[: -3]
  9.  
  10.         if self.nickname == u'登录 - 新' or self.nickname == u'新浪':
  11.             """
  12.             sys.exit(): 抛出一个SystemExit异常来尝试结束程序
  13.             """
  14.             sys.exit(u'cookie错误或已过期,请重新获取cookie!')
  15.         else:
  16.             print(u'用户名: ', self.nickname)
  17.     except Exception as e:
  18.         print('Error: ', e)
  19.         traceback.print_exc()

4、get_page_num() —— 获取微博总页数 

（1）功能: 获取微博总页数

（2）代码

  1. def get_page_num(self, selector):
  2.     """ 获取微博总页数 """
  3.     try:
  4.         if selector.xpath("//input[@name='mp']") == []:
  5.             page_num = 1
  6.         else:
  7.             page_num = (int)(selector.xpath("//input[@name='mp']")[0].attrib['value'])
  8.             return page_num
  9.     except Exception as e:
  10.         print('Error: ', e)
  11.         traceback.print_exc()

5、get_one_page() —— 获取第page页的全部微博

（1）功能: 获取第page页的全部微博

（2）代码

  1. def get_one_page(self, page):
  2.     """ 获取第page页的全部微博 """
  3.     try:
  4.         url = self.user_url + 'u/' + str(self.user_id) + '?page=' + str(page)
  5.         selector = self.deal_html(url)
  6.         info = selector.xpath("//div[@class='c']")
  7.         is_exist = info[0].xpath("div/span[@class='ctt']")
  8.         if is_exist:
  9.             for i in range(0, len(info) - 2):
  10.                 microblog = self.get_one_microblog(info[i])
  11.                 if microblog:
  12.                     self.microblog.append(microblog)
  13.                     self.get_num += 1
  14.                     print('-' * 100)
  15.     except Exception as e:
  16.         print('Error: ', e)
  17.         traceback.print_exc()

6、get_one_microblog() —— 获取一条微博的全部信息

（1）功能: 获取一条微博的全部信息

（2）代码

  1. def get_one_microblog(self, info):
  2.     """ 获取一条微博的全部信息 """
  3.     try:
  4.         """
  5.         OrderedDict: 是 collections 提供的一种数据结构,该类型存放顺序和添加顺序一致
  6.         """
  7.         microblog = OrderedDict()
  8.         is_original = self.is_original(info)
  9.  
  10.         """
  11.         self.filter = 1: 原创微博
  12.         is_original = True: 该微博为原创微博
  13.         解释：
  14.         如果想要爬取的内容为原创微博，则self.filter = 1, 那么is_original = True，执行
  15.         如果想要爬取额内容为原创 + 转发， 则self.filter = 0, 那么is_original = True/False，执行
  16.         """
  17.         if (not self.filter) or is_original:
  18.             """
  19.             microblog['id']: 微博id
  20.             microblog['content']: 微博内容
  21.             microblog['original_pictures']: 原创微博图片地址
  22.             microblog['retweet_pictures']: 转发微博图片地址
  23.             microblog['original']: 是否为原创微博
  24.             microblog['publish_place']: 微博发布位置
  25.             microblog['publish_time']: 微博发布时间
  26.             microblog['publish_tool']: 微博发布工具
  27.             microblog['up_num']: 微博点赞数
  28.             microblog['retweet_num']: 转发数
  29.             microblog['comment_num']: 评论数
  30.             """
  31.             microblog['id'] = info.xpath('@id')[0][2:] # 微博id
  32.             microblog['content'] = self.get_microblog_content(info, is_original) # 微博内容
  33.  
  34.             picture_urls = self.get_picture_url(info, is_original)
  35.             microblog['original_pictures'] = picture_urls['original_pictures'] # 原创微博图片地址
  36.             if not self.filter:
  37.                 microblog['retweet_pictures'] = picture_urls['retweet_pictures'] # 转发微博图片地址
  38.                 microblog['original'] = is_original # 是否为原创微博
  39.  
  40.             microblog['publish_place'] = self.get_publish_place(info) # 微博发布位置
  41.  
  42.             publish_time_tool = self.get_publish_time_tool(info)
  43.             microblog['publish_time'] = publish_time_tool['time']  # 微博发布时间
  44.             microblog['publish_tool'] = publish_time_tool['tool']  # 微博发布工具
  45.  
  46.             footer = self.get_weibo_footer(info)
  47.             microblog['up_num'] = footer['up_num'] # 微博点赞数
  48.             microblog['retweet_num'] = footer['retweet_num'] # 转发数
  49.             microblog['comment_num'] = footer['comment_num'] # 评论数
  50.         else:
  51.             microblog = None
  52.         return microblog
  53.     except Exception as e:
  54.         print('Error: ', e)
  55.         traceback.print_exc()

7、is_original() —— 判断微博是否为原创微博

（1）功能: 判断微博是否为原创微博

（2）代码

  1. def is_original(self, info):
  2.     """ 判断微博是否为原创微博 """
  3.     """
  4.     return: bool(True: 原创微博; False: 非原创微博，即转发微博)
  5.     """
  6.     is_original = info.xpath("div/span[@class='cmt']")
  7.     if len(is_original) > 3:
  8.         return False
  9.     else:
  10.         return True

8、get_microblog_content() —— 获取微博内容

（1）功能: 获取微博内容

（2）代码

  1. def get_microblog_content(self, info, is_original):
  2.     """ 获取微博内容 """
  3.     try:
  4.         microblog_id = info.xpath('@id')[0][2:]
  5.         """
  6.         if is_original: get the original content
  7.         if not is_original: get the retweet content
  8.         """
  9.         if is_original:
  10.             microblog_content = self.get_original_microblog(info, microblog_id)
  11.         else:
  12.             microblog_content = self.get_retweet_microblog(info, microblog_id)
  13.  
  14.         print(microblog_content)
  15.         return microblog_content
  16.     except Exception as e:
  17.         print('Error: ', e)
  18.         traceback.print_exc()

9、get_original_microblog() —— 获取原创微博 

（1）功能: 获取原创微博

（2）代码

  1. def get_original_microblog(self, info, microblog_id):
  2.     """ 获取原创微博 """
  3.     try:
  4.         microblog_content = self.deal_garbled(info)
  5.         # rfind(): 返回字符串最后一次出现的位置(从右向左查询)，如果没有匹配项则返回-1
  6.         microblog_content = microblog_content[: microblog_content.rfind(u'赞')]
  7.  
  8.         a_text = info.xpath('div//a/text()')
  9.  
  10.         if u'全文' in a_text:
  11.             url = self.user_url + 'comment/' + microblog_id
  12.             """ 获取长的原创微博 """
  13.             """
  14.             long_content: the long microblog’s information
  15.             microblog_time: the time
  16.             """
  17.             selector = self.deal_html(url)
  18.             info = selector.xpath("//div[@class='c']")[1]
  19.             long_content = self.deal_garbled(info)
  20.             microblog_time = info.xpath("//span[@class='ct']/text()")[0]
  21.             long_content = long_content[long_content.find(':') +
  22.                                         1: long_content.rfind(microblog_time)]
  23.             if long_content:
  24.                 microblog_content = long_content
  25.         return microblog_content
  26.     except Exception as e:
  27.         print('Error: ', e)
  28.         traceback.print_exc()

10、get_retweet_microblog() —— 获取转发微博

（1）功能: 获取转发微博

（2）代码

  1. def get_retweet_microblog(self, info, microblog_id):
  2.     """ 获取转发微博 """
  3.     try:
  4.         original_user = info.xpath("div/span[@class='cmt']/a/text()")
  5.  
  6.         if not original_user:
  7.             retweet_content = u'转发微博已被删除'
  8.             return retweet_content
  9.         else:
  10.             original_user = original_user[0]
  11.  
  12.         retweet_content = self.deal_garbled(info)
  13.         retweet_content = retweet_content[retweet_content.find(':') +
  14.                                           1: retweet_content.rfind(u'赞')]
  15.         retweet_content = retweet_content[: retweet_content.rfind(u'赞')]
  16.  
  17.         a_text = info.xpath('div//a/text()')
  18.  
  19.         if u'全文' in a_text:
  20.             url = self.user_url + 'comment/' + microblog_id
  21.             """ 获取长转发微博 """
  22.             """
  23.             long_content: the long microblog’s information
  24.             microblog_time: the time
  25.             """
  26.             selector = self.deal_html(url)
  27.             info = selector.xpath("//div[@class='c']")[1]
  28.             long_content = self.deal_garbled(info)
  29.             microblog_time = info.xpath("//span[@class='ct']/text()")[0]
  30.             long_content = long_content[long_content.find(':') +
  31.                                         1: long_content.rfind(microblog_time)]
  32.             long_content = long_content[: long_content.rfind(u'原文转发')]
  33.             if long_content:
  34.                 retweet_content = long_content
  35.             # 转发理由
  36.             retweet_reason = self.deal_garbled(info.xpath('div')[-1])
  37.             retweet_reason = retweet_reason[:retweet_reason.rindex(u'赞')]
  38.             retweet_content = (retweet_reason + '\n' + u'原始用户: ' + original_user +
  39.                       '\n' + u'转发内容: ' + retweet_content)
  40.             return retweet_content
  41.     except Exception as e:
  42.         print('Error: ', e)
  43.         traceback.print_exc()

11、get_picture_url() —— 获取微博原始图片url

（1）功能: 获取微博原始图片url

（2）代码

  1. def get_picture_url(self, info, is_original):
  2.     """ 获取微博原始图片url """
  3.     try:
  4.         """
  5.         microblog_id: id
  6.         picture_urls: the original picture’s url
  7.         is_original: bool(True: 原创微博; False: 非原创微博，即转发微博)
  8.         """
  9.         microblog_id = info.xpath('@id')[0][2:]
  10.         picture_urls = {}
  11.         if is_original:
  12.             picture_urls['original_pictures'] = self.extract_picture_urls(info, microblog_id)
  13.             if not self.filter:
  14.                 picture_urls['retweet_pictures'] = '无'
  15.         else:
  16.             """
  17.             retweet_url: https://weibo.cn/comment/JhKDyomnO?rl=0#cmtfrm
  18.             retweet_id: 'JhKEG6sp2'
  19.             spilt('/')[-1]: 以'/'为分割符保留最后一段        
  20.             spilt('?')[0]: 以'?'为分隔符，返回'?'的一段    
  21.             """
  22.             retweet_url = info.xpath("div/a[@class='cc']/@href")[0]
  23.             retweet_id = retweet_url.split('/')[-1].split('?')[0]
  24.             picture_urls['retweet_pictures'] = self.extract_picture_urls(info, retweet_id)
  25.  
  26.             a_list = info.xpath('div[last()]/a/@href')
  27.             original_picture = '无'
  28.             """
  29.             endswith(): 用于判断字符串是否以指定后缀结尾，如果以指定后缀结尾返回True，否则返回False。
  30.             """
  31.             for a in a_list:
  32.                 if a.endswith(('.gif', '.jpeg', '.jpg', '.png')):
  33.                     original_picture = a
  34.                     break
  35.             picture_urls['original_pictures'] = original_picture
  36.         return picture_urls
  37.     except Exception as e:
  38.         print('Error: ', e)
  39.         traceback.print_exc()

12、extract_picture_urls() —— 提取微博原始图片url

（1）功能: 提取微博原始图片url

（2）代码

  1. def extract_picture_urls(self, info, microblog_id):
  2.     """ 提取微博原始图片url """
  3.     try:
  4.         a_list = info.xpath('div/a/@href')
  5.         first_pic = self.user_url + 'mblog/pic/' + microblog_id + '?rl=0'
  6.         all_pic = self.user_url + 'mblog/picAll' + microblog_id + '?rl=1'
  7.  
  8.         if first_pic in a_list:
  9.             # 一张图片 or 多张图片
  10.             if all_pic in a_list:
  11.                 selector = self.deal_html(all_pic)
  12.                 preview_pic_list = selector.xpath('//img/@src')
  13.                 """
  14.                 replace(): 把字符串中的 old（旧字符串）替换成 new(新字符串)
  15.                            如果指定第三个参数max，则替换不超过 max 次
  16.                 """
  17.                 picture_list = [
  18.                     p.replace('/thumb180/', '/large/') for p in preview_pic_list
  19.                 ]
  20.                 """
  21.                 join():用于将序列中的元素（必须是str）以指定的字符,连接生成一个新的字符串。
  22.                 """
  23.                 picture_urls = ','.join(picture_list)
  24.             else:
  25.                 if info.xpath('.//img/@src'):
  26.                     preview_picture = info.xpath('.//img/@src')[-1]
  27.                     picture_urls = preview_picture.replace(
  28.                         '/wap180/', '/large/'
  29.                     )
  30.                 else:
  31.                     sys.exit(
  32.                         u"爬虫微博可能被设置成了'不显示图片'，请前往"
  33.                         u"'https://weibo.cn/account/customize/pic'，修改为'显示'"
  34.                     )
  35.         else:
  36.             picture_urls = '无'
  37.         return picture_urls
  38.     except Exception as e:
  39.         print('Error: ', e)
  40.         traceback.print_exc()

13、get_publish_place() —— 获取微博地理位置

（1）功能: 获取微博发布位置

（2）代码

  1. def get_publish_place(self, info):
  2.     """ 获取微博发布位置 """
  3.     try:
  4.         div_first = info.xpath('div')[0]
  5.         a_list = div_first.xpath('a')
  6.         publish_place = u'无'
  7.         for a in a_list:
  8.             if 'place.weibo.com' in a.xpath('@href')[0] and a.xpath('text()')[0] == u'显示地图':
  9.                 microblog_list = div_first.xpath("span[@class='ctt']/a")
  10.                 if len(microblog_list) >= 1:
  11.                     publish_place = microblog_list[-1]
  12.                     if u'视频' == div_first.xpath("span[@class='ctt']/a/text()")[-1][-2:]:
  13.                         if len(microblog_list) >= 2:
  14.                             publish_place = microblog_list[-2]
  15.                         else:
  16.                             publish_place = u'无'
  17.                     publish_place = self.deal_garbled(publish_place)  
  18.                     break
  19.         print(u'微博发布位置: ', publish_place)
  20.         return publish_place
  21.     except Exception as e:
  22.         print('Error: ', e)
  23.         traceback.print_exc()

14、get_publish_time_tool() —— 获取微博发布时间、工具

（1）功能: 获取微博发布时间、工具

（2）代码

  1. def get_publish_time_tool(self, info):
  2.     """ 获取微博发布时间、工具 """
  3.     try:
  4.         str_time_time = info.xpath("div/span[@class='ct']")
  5.         str_time_time = self.deal_garbled(str_time_time[0])
  6.  
  7.         publish = {}
  8.  
  9.         publish_time = str_time_time.split(u'来自')[0]
  10.  
  11.         """ 获取微博发布工具 """
  12.         if len(str_time_time.split(u'来自')) > 1:
  13.             publish_tool = str_time_time.split(u'来自')[1]
  14.         else:
  15.             publish_tool = u'无'
  16.         publish['tool'] = publish_tool
  17.  
  18.         """ 获取微博发布时间 """
  19.         if u'刚刚' in publish_time:
  20.             publish_time = datetime.now().strftime('%Y-%m-%d %H:%M')
  21.         elif u'分钟' in publish_time:
  22.             """
  23.             publish_time: '4分钟前 '
  24.             publish_time[: publish_time.find(u'分钟')]: 4
  25.             timedelta(minutes=int(minute)): 0:04:00
  26.             minute: 0:04:00
  27.             """
  28.             minute = publish_time[: publish_time.find(u'分钟')]
  29.             minute = timedelta(minutes=int(minute))
  30.             publish_time = (datetime.now() - minute).strftime('%Y-%m-%d %H:%M')
  31.         elif u'今天' in publish_time:
  32.             """
  33.             publish_time: '今天 14:10 '
  34.             time: '14:10 '
  35.             """
  36.             today = datetime.now().strftime('%Y-%m-%d')
  37.             time = publish_time[3: ]
  38.             publish_time = today + ' ' + time
  39.         elif u'月' in publish_time:
  40.             """
  41.             publish_time = 10月19日 14:49
  42.             year = '2020'
  43.             month = '10'
  44.             day = '19'
  45.             time = '14:49'
  46.             """
  47.             year = datetime.now().strftime('%Y')
  48.             month = publish_time[0: 2]
  49.             day = publish_time[3: 5]
  50.             time = publish_time[7: 12]
  51.             publish_time = year + '-' + month + '-' + day + ' ' + time
  52.         else:
  53.             """
  54.             '2019-04-26 18:19:58 '
  55.             publish_time[:16]: 2019-04-26 18:19
  56.             """
  57.             publish_time = publish_time[:16]
  58.         publish['time'] = publish_time
  59.         print(u'微博发布时间: ', publish_time)
  60.         print(u'微博发布工具: ', publish_tool)
  61.         return publish
  62.     except Exception as e:
  63.         print('Error: ', e)
  64.         traceback.print_exc()

15、get_weibo_footer() —— 获取微博点赞数、转发数、评论数

（1）功能: 获取微博点赞数、转发数、评论数

（2）代码

  1. def get_weibo_footer(self, info):
  2.     """ 获取微博点赞数、转发数、评论数 """
  3.     try:
  4.         footer = {}
  5.         # \d+表示匹配数字1次或多次
  6.         """
  7.         re.findall(pattern,string,flags):
  8.             flags:
  9.                 - re.I: 使匹配对大小写不敏感
  10.                 - re.L: 做本地化识别（locale-aware）匹配
  11.                 - re.M: 多行匹配, 影响^和 $, 让^匹配每行的开头，$匹配每行的结尾
  12.                 - re.S: 使.匹配包括换行在内的所有字符
  13.                 - re.U: 根据Unicode字符集解析字符。这个标志影响 \w, \W, \b, \B.
  14.                 - re.X: 该标志通过给予你更灵活的格式以便你将正则表达式写得更易于理解。
  15.                 换句话说，使用了 re.M以后，运行效果看起来就像是程序首先根据换行符把字符串拆分成了多个子字符串，然后再在子字符串中执行正则表达式。
  16.         """
  17.         """
  18.         str_footer: '转发理由:转发微博  已赞[1] 转发[0] 评论[0] 收藏 08月26日 23:06 来自iPhone X'
  19.         str_footer[str_footer.rfind(u'赞'):]: '赞[1] 转发[0] 评论[0] 收藏 08月26日 23:06 来自iPhone X'
  20.         microblog_footer: ['1', '0', '0', '08', '26', '23', '06']
  21.         """
  22.         pattern = r'\d+'
  23.         str_footer = info.xpath('div')[-1]
  24.         str_footer = self.deal_garbled(str_footer)
  25.         str_footer = str_footer[str_footer.rfind(u'赞'):]
  26.         microblog_footer = re.findall(pattern, str_footer, re.M)
  27.  
  28.         up_num = int(microblog_footer[0])
  29.         print(u'点赞数: ', str(up_num))
  30.         footer['up_num'] = up_num
  31.  
  32.         retweet_num = int(microblog_footer[1])
  33.         print(u'转发数: ', str(retweet_num))
  34.         footer['retweet_num'] = retweet_num
  35.  
  36.         comment_num = int(microblog_footer[2])
  37.         print(u'评论数: ', str(comment_num))
  38.         footer['comment_num'] = comment_num
  39.  
  40.         return footer
  41.     except Exception as e:
  42.         print('Error: ', e)
  43.         traceback.print_exc()

16、write_csv() —— 将爬取的信息写入csv文件

（1）功能: 将爬取的信息写入csv文件

（2）代码

  1. def write_csv(self, wrote_num):
  2.     """ 将爬取的信息写入csv文件 """
  3.     try:
  4.         result_headers = [
  5.             '微博id',
  6.             '微博正文',
  7.             '原始图片url',
  8.             '发布位置',
  9.             '发布时间',
  10.             '发布工具',
  11.             '点赞数',
  12.             '转发数',
  13.             '评论数',
  14.         ]
  15.         if not self.filter:
  16.             result_headers.insert(3, '被转发微博原始图片url')
  17.             result_headers.insert(4, '是否为原创微博')
  18.         result_data = [w.values() for w in self.microblog][wrote_num:]
  19.  
  20.         csv_path = self.get_filepath('csv')
  21.         with open(csv_path, 'a', encoding='utf-8-sig', newline='') as f:
  22.             writer = csv.writer(f)
  23.             if wrote_num == 0:
  24.                 writer.writerows([result_headers])
  25.             writer.writerows(result_data)
  26.         print(u'{}条微博写入csv文件完毕, '.format(self.get_num))
  27.         # print(csv_path)
  28.     except Exception as e:
  29.         print('Error: ', e)
  30.         traceback.print_exc()

17、write_txt() —— 将爬取的信息写入txt文件

（1）功能: 将爬取的信息写入txt文件

（2）代码

  1. def write_txt(self, wrote_num):
  2.     """ 将爬取的信息写入txt文件 """
  3.     try:
  4.         tmp = []
  5.         if wrote_num == 0:
  6.             if self.filter:
  7.                 result_header = u'\n\n原创微博内容: \n'
  8.             else:
  9.                 result_header = u'\n\n微博内容: \n'
  10.  
  11.             result_header = (u'用户信息\n用户昵称：' + self.nickname
  12.                              + u'\n用户id: ' + str(self.user_id)
  13.                              + u'\n微博数: ' + str(self.microblog_num)
  14.                              + u'\n关注数: ' + str(self.following)
  15.                              + u'\n粉丝数: ' + str(self.fans)
  16.                              + result_header)
  17.             tmp.append(result_header)
  18.  
  19.         for i, w in enumerate(self.microblog[wrote_num:]):
  20.             tmp.append(
  21.                 str(wrote_num + i + 1) + ':' + w['content'] + '\n'
  22.                 + u'微博位置: ' + w['publish_place'] + '\n'
  23.                 + u'发布时间: ' + w['publish_time'] + '\n'
  24.                 + u'点赞数: ' + str(w['up_num']) + '\n'
  25.                 + u'转发数: ' + str(w['retweet_num']) + '\n'
  26.                 + u'评论数: ' + str(w['comment_num']) + '\n'
  27.                 + u'发布工具: ' + w['publish_tool'] + '\n\n'
  28.             )
  29.         result = ''.join(tmp)
  30.  
  31.         txt_path = self.get_filepath('txt')
  32.         with open(txt_path, 'ab') as f:
  33.             f.write(result.encode(sys.stdout.encoding))
  34.         print(u'{}条微博写入txt文件完毕！'.format(self.get_num))
  35.     except Exception as e:
  36.         print('Error: ', e)
  37.         traceback.print_exc()

18、download_pictures() —— 下载微博图片

（1）功能: 下载微博图片

（2）代码

  1. def download_pictures(self):
  2.     """ 下载微博图片 """
  3.     try:
  4.         print(u'------------即将下载图片------------')
  5.         """
  6.         img_dir: 图片存储路径
  7.         pic_prefix: 图片名称前缀, such as '20201023 _Jxxxxxxxk'
  8.         pic_suffix: 图片名称后缀, such as 'jpg', 'png'
  9.         pic_name: pic_prefix + (j + 1) + pic_suffix, such as '20201023 _Jxxxxxxxk_1.jpg'
  10.         pic_path: 图片地址
  11.         """
  12.         img_dir = self.get_filepath('img')
  13.         for w in tqdm(self.microblog, desc=u'图片下载进度'):
  14.             if w['original_pictures'] != '无':
  15.                 # replace('-', ''): 将字符串中的'-'替换成'', 即2020-10-23 --> 20201023
  16.                 pic_prefix = w['publish_time'][:11].replace('-', '') + '_' + w['id']
  17.  
  18.                 # if 多张图片，则w['original_pictures']中的图片地址以','隔开
  19.                 if ',' in w['original_pictures']:
  20.                     w['original_pictures'] = w['original_pictures'].split(',')
  21.  
  22.                     for j, url in enumerate(w['original_pictures']):
  23.                         pic_suffix = url[url.rfind('.'):]
  24.                         pic_name = pic_prefix + '_' + str(j + 1) + pic_suffix
  25.                         pic_path = img_dir + os.sep + pic_name
  26.  
  27.                         """ 下载单张图片 """
  28.                         try:
  29.                             response = requests.get(url)
  30.                             with open(pic_path, 'wb') as f:
  31.                                 f.write(response.content)
  32.                         except Exception as e:
  33.                             error_file = self.get_filepath('img') + os.sep + 'not_downloaded_pictures.txt'
  34.                             with open(error_file, 'ab') as f:
  35.                                 url = url + '\n'
  36.                                 f.write(url.encode(sys.stdout.encoding))
  37.                             print('Error: ', e)
  38.                             traceback.print_exc()
  39.                 else:
  40.                     pic_suffix = w['original_pictures'][w['original_pictures'].rfind('.'):]
  41.                     pic_name = pic_prefix + pic_suffix  # such as 20161031 _Jxxxxxxxk.jpg
  42.                     pic_path = img_dir + os.sep + pic_name
  43.                     """ 下载单张图片 """
  44.                     try:
  45.                         response = requests.get(w['original_pictures'])
  46.                         with open(pic_path, 'wb') as f:
  47.                             f.write(response.content)
  48.                     except Exception as e:
  49.                         error_file = self.get_filepath('img') + os.sep + 'not_downloaded_pictures.txt'
  50.                         with open(error_file, 'ab') as f:
  51.                             url = w['original_pictures'] + '\n'
  52.                             f.write(url.encode(sys.stdout.encoding))
  53.                         print('Error: ', e)
  54.                         traceback.print_exc()
  55.         print(u'图片下载完毕!')
  56.     except Exception as e:
  57.         print('Error: ', e)
  58.         traceback.print_exc()

19、get_filepath() —— 获取结果文件路径

（1）功能: 获取结果文件路径

（2）代码

  1. def get_filepath(self, type):
  2.     """ 获取结果文件路径 """
  3.     try:
  4.         file_dir = os.path.split(os.path.realpath(__file__))[0]
  5.         file_dir = file_dir + os.sep + 'user_information' + os.sep + self.nickname
  6.         if type == 'img':
  7.             file_dir = file_dir + os.sep + 'img'
  8.         if not os.path.isdir(file_dir):
  9.             os.makedirs(file_dir)
  10.         if type == 'img':
  11.             return file_dir
  12.         file_path = file_dir + os.sep + '{}'.format(self.user_id) + '.' + type
  13.         return file_path
  14.     except Exception as e:
  15.         print('Error: ', e)
  16.         traceback.print_exc()

20、deal_html() —— 处理html

（1）功能: 处理html

（2）代码

  1. def deal_html(self, url):
  2.     """ 处理html """
  3.     try:
  4.         response = requests.get(url, cookies=self.cookie)
  5.         html = response.content
  6.         selector = etree.HTML(html)
  7.         return selector
  8.     except Exception as e:
  9.         print('Error: ', e)
  10.         traceback.print_exc()

21、deal_garbled() —— 处理乱码

（1）功能: 处理乱码

（2）代码

  1. def deal_garbled(self, info):
  2.     """ 处理乱码 """
  3.     try:
  4.         """
  5.         string(.): 可以用于提取标签嵌套标签的内容
  6.         replace(u'\u200b', ''): 去除不可见字符
  7.         encode(): 编码--将其他编码的字符串转换成unicode编码
  8.         decode(): 解码--将unicode编码转换成其他编码的字符串
  9.         将其他的编码转换成utf-8: 1.其他编码 --> unicode; 2.unicode --> utf-8
  10.         sys.stdout.encoding: 默认输出编码问题
  11.         在编码过程中，可能会出现非法字符，可设置第二个参数，第二个参数默认值为strict
  12.             -strict--抛出异常
  13.             -ignore--则会忽略非法字符
  14.             -replace--则会用?取代非法字符；
  15.             -xmlcharrefreplace--则使用XML的字符引用
  16.         """
  17.         info = (info.xpath('string(.)').replace(u'\u200b', '').encode(
  18.             sys.stdout.encoding, 'ignore').decode(sys.stdout.encoding))
  19.         return info
  20.     except Exception as e:
  21.         print('Error: ', e)
  22.         traceback.print_exc()

22、start() —— 运行爬虫

（1）功能: 运行爬虫

（2）代码

  1. def start(self):
  2.     """ 运行爬虫 """
  3.     try:
  4.         self.get_microblog_info()
  5.         print(u'------信息抓取完毕------')
  6.         print('*' * 100)
  7.     except Exception as e:
  8.         print('ERROR: ', e)
  9.         traceback.print_exc()  # 捕获并打印异常的方法

参考：

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/article/detail/56756
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号