devbox
算法构造者
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

Python爬虫 | 爬取微博和哔哩哔哩数据_哔哩哔哩爬虫

作者：算法构造者 | 2024-02-03 14:50:42

赞

踩

哔哩哔哩爬虫

目录

一、bill_comment.py

二、bili_comment_pic.py

三、bilibili.py

四、bilihot_pic.py

五、bilisearch_pic.py

六、draw_cloud.py

七、weibo.py

八、weibo_comment.py

九、weibo_comment_pic.py

十、weibo_pic.py

十一、weibo_top.py

十二、weibo_top_pic.py

十三、weibo_top_pie.py

十四、pachong.py

十五、代码文件说明

一、bill_comment.py

  1. import requests# 发送请求
  2. import pandas as pd#保存csv文件
  3. import os # 判断文件是否存在
  4. import time
  5. from time import sleep# 设置等待，防止反爬
  6. import json
  7. import random# 生成随机数
  8. import os.path
  9. import requests
  10. import csv
  11. import re
  12. import bili_comment_pic
  13.  
  14. def trans_date(v_timestamp):
  15.     """"10位时间戳转换为时间字符串"""
  16.     timeArray=time.localtime(v_timestamp)
  17.     otherStyleTime = time.strftime("%Y-%m-%d %H: %M:%S", timeArray)
  18.     return otherStyleTime
  19.  
  20. def getoid(bv):
  21.     resp=requests.get("https://www.bilibili.com/video/"+bv)
  22.     obj=re.compile(f'"aid":(?P<id>.*?),"bvid":"{bv}"')     #在网页源代码里可以找到id，用正则获取到
  23.     oid=obj.search(resp.text).group('id')
  24.     print('oid是'+oid)    #在程序运行时告诉我们已经获取到了参数oid
  25.     return oid
  26.  
  27.  
  28.  
  29. def get_bili_comment(bv_list,max_page):
  30.     for bvid in bv_list:
  31.         #保存文件名
  32.         bili_file='biliComment_{}pages_{}.csv'.format(max_page,bvid)
  33.         #如果csv存在，先删除
  34.         if os.path.exists(bili_file):
  35.             os.remove(bili_file)
  36.             print('存在，已删除：{}'.format(bili_file))
  37.         #
  38.         # # 请求头
  39.         # headers = {
  40.         #         'Authority':'api.bilibili.com',
  41.         #         'Accept':'application/json, text/plain, */*',
  42.         #         'Accept-Encoding':'gzip, deflate, br',
  43.         #         'Accept-Language':'zh-CN,zh;q=0.9',
  44.         #         #需要定期更换cookie
  45.         #         'Cookie':
  46.         #         'buvid3=09193776-D54E-C4E9-D77E-A3CEC61048A052609infoc; b_nut=1666432252; i-wanna-go-back=-1; b_ut=7; _uuid=9837E983-2521-B3D3-E815-AF3877BF973253126infoc; buvid_fp=bca1b3ca8709dc8fafd31a3014e880cb; nostalgia_conf=-1; PVID=1; CURRENT_FNVAL=4048; rpdid=0z9ZwfQgnR|lkoRrAma|2ss|3w1Q0AxQ; sid=73446m9u; buvid4=FFE4C4F3-FFE7-4A1B-F2E9-BA77F904B1B753643-022102217-RoU6Io6eaXN5hT%2FTDpMpDggrSpyQiYXaOp1a506ie3QU%2FFwMxK3Zhw%3D%3D; b_lsid=E6E6D472_1883D6194B0',
  47.         #         'Origin':'https://www.bilibili.com',
  48.         #         'Referer':'https://www.bilibili.com/video/BV1zh4y1H7ZS/?spm_id_from=333.999.0.0&vd_source=7dd889e8bc19f867cf9a8b6d62c711ee',
  49.         #         'Sec-Ch-Ua':'"Google Chrome";v="113", "Chromium";v="113", "Not-A.Brand";v="24"',
  50.         #         'Sec-Ch-Ua-Mobile':'?0',
  51.         #         'Sec-Ch-Ua-Platform':'"macOS"',
  52.         #         'Sec-Fetch-Dest':'empty',
  53.         #         'Sec-Fetch-Mode':'cors',
  54.         #         'Sec-Fetch-Site':'same-site',
  55.         #         'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36'
  56.         #
  57.         # }
  58.  
  59.         # # 更简单的网页头
  60.         headers = {
  61.             "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36",
  62.             "referer": "https://www.bilibili.com/"
  63.         }
  64.  
  65.         for page in range(1,max_page + 1):
  66.             #请求参数
  67.             params = {
  68.                 'jsonp':'jsonp',
  69.                 'mode': '3',#mode=3代表按热门排序，mode=2代表按时间排序
  70.                 'oid': getoid(bvid),
  71.                 'next':page,
  72.                 'type': '1',
  73.             }
  74.             # type:评论类型,这里固定值1
  75.             # oid: 哪个视频
  76.             # pn: 第几页的评论
  77.             # sort: 排序。0: 按照时间排序。2：按照热度排序。默认2
  78.  
  79.             url = (f"https://api.bilibili.com/x/v2/reply/main")  # 获得网页源码
  80.             response = requests.get(url, headers=headers,params=params,)
  81.             print(response.status_code)
  82.  
  83.             data_list=response.json()['data']['replies']#解析评论数据
  84.             comment_list=[]#评论内容空列表
  85.             time_list=[]#评论时间空列表
  86.             #location_list=[]#评论IP空列表
  87.             user_list=[]#评论用户名空列表
  88.             like_list=[]#评论点赞数空列表
  89.             replyCount_list=[]#评论回复数空列表
  90.             userid_list=[]#评论用户id空列表
  91.             #循环爬取每一条评论数据
  92.             for a in data_list:
  93.                 #评论内容
  94.                 comment=a['content']['message']
  95.                 comment_list.append(comment)
  96.                 #评论时间
  97.                 time=a['ctime']
  98.                 time_list.append(trans_date(time))
  99.                 #time_list.append(trans_date(v_str=i) for i in range(time))
  100.                 # #IP属地(评论后一段时间会消失，所以不爬了)
  101.                 # location = a['source']
  102.                 # location_list.append(location)
  103.                 #评论回复数
  104.                 replyCount = a['rcount']
  105.                 replyCount_list.append(replyCount)
  106.                 #点赞数
  107.                 like = a['like']
  108.                 like_list.append(like)
  109.                 # 评论用户名
  110.                 user = a['member']['uname']
  111.                 user_list.append(user)
  112.                 # 评论用户名
  113.                 userid = a['member']['mid']
  114.                 userid_list.append(userid)
  115.  
  116.                 #把列表拼接为dataFrame数据
  117.                 df=pd.DataFrame({
  118.                     #'视频链接':'https://www.bilibili.com/video/'+v_bid,
  119.                     '评论页码':page,
  120.                     '评论时间':time_list,
  121.                     '评论作者':user_list,
  122.                     '评论id': userid_list,
  123.                     #'IP属地':location_list,
  124.                     '点赞数':like_list,
  125.                     '评论回复数':replyCount_list,
  126.                     '评论内容':comment_list,
  127.                 })
  128.                 # 表头
  129.                 if os.path.exists(bili_file):
  130.                     header = None
  131.                 else:
  132.                     header = ['评论页码','评论时间', '评论作者', '评论id', '点赞数', '评论回复数', '评论内容']
  133.                 column=['评论页码','评论时间', '评论作者', '评论id', '点赞数', '评论回复数', '评论内容']
  134.  
  135.                 # 保存到csv文件
  136.                 df.to_csv(bili_file, mode='a+', index=False, columns=column,header=header, encoding='utf-8-sig')
  137.                 #print('csv保存成功：{}'.format(bili_file))
  138.             print('第{}页爬取完成'.format(page))
  139.             #print(df)
  140.             # 数据清洗、去重
  141.         df = pd.read_csv(bili_file, engine='python', encoding='utf-8-sig')
  142.         os.remove(bili_file)
  143.         # 删除重复数据
  144.         df.drop_duplicates(subset='评论内容', inplace=True, keep='first')
  145.         # 再次保存csv文件
  146.         column=header = ['评论页码', '评论时间', '评论作者', '评论id', '点赞数', '评论回复数', '评论内容']
  147.         df.to_csv(bili_file, mode='a+', index=False, columns=column,header=header, encoding='utf-8-sig')
  148.         print('数据清洗完成')
  149.         bili_comment_pic.main(bili_file)
  150.  
  151.  
  152. if __name__=='__main__':
  153.     #视频bv号,循环爬取多个视频评论
  154.     #bv_list=['BV1Ss4y1M7KT','BV1VM411N7qc']
  155.     bv_list = [str(x) for x in input("请输入视频bv号(示例：BV1Ss4y1M7KT,BV1VM411N7qc),以逗号分隔：").split(',')]
  156.     #最大爬取页
  157.     max_page=int(input("请输入搜索的页数"))
  158.     #调用爬取
  159.     get_bili_comment(bv_list=bv_list,max_page=max_page)

二、bili_comment_pic.py

  1. # 允许副本存在，忽略报错
  2. import os
  3. import pandas as pd
  4. import matplotlib.pyplot as plt
  5. from matplotlib import font_manager
  6. import numpy as np
  7.  
  8. os.environ["KMP_DUPLICATE_LIB_OK"] = "TRUE"
  9.  
  10.  
  11. def view(info,bili_file):
  12.     my_font = font_manager.FontProperties(fname='./STHeiti-TC-Medium.ttf')  # 设置中文字体（图标中能显示中文）
  13.     likes = info['点赞数']  # 点赞
  14.     reply = info['评论回复数']  # 回复
  15.     comment = info['评论内容']  # 内容
  16.     # print(comment)
  17.  
  18.     # 为了坐标轴上能显示中文
  19.     plt.rcParams['font.sans-serif'] = ['SimHei']
  20.     plt.rcParams['axes.unicode_minus'] = False
  21.  
  22.     # **********************************************************************综合评分和播放量对比
  23.     # *******点赞数条形图
  24.     fig, ax1 = plt.subplots()
  25.     length = len(comment)
  26.     plt.bar(x=np.arange(length), tick_label=comment, height=likes, color='red')  # 设置柱状图
  27.     plt.title('点赞数和评论数数据分析', fontproperties=my_font)  # 表标题
  28.     ax1.tick_params(labelsize=6)
  29.     plt.xlabel('评论内容')  # 横轴名
  30.     plt.ylabel('点赞数')  # 纵轴名
  31.     plt.xticks(rotation=90, color='green')  # 设置横坐标变量名旋转度数和颜色
  32.  
  33.     # *******评论数折线图
  34.     ax2 = ax1.twinx()  # 组合图必须加这个
  35.     ax2.plot(reply, color='cyan')  # 设置线粗细，节点样式
  36.     plt.ylabel('评论数')  # y轴
  37.  
  38.     plt.plot(1, label='点赞数', color="red", linewidth=5.0)  # 图例
  39.     #plt.plot(1, label='评论回复数', color="cyan", linewidth=1.0, linestyle="-")  # 图例
  40.     plt.legend()
  41.  
  42.     plt.savefig('.\图片\pic-{}.png'.format(bili_file), dpi=1000, bbox_inches='tight')  # 保存至本地
  43.  
  44.     plt.show()
  45.  
  46.  
  47. def main(bili_file):
  48.  
  49.     info = pd.read_csv(bili_file,engine='python', encoding='utf-8-sig')
  50.     info=info.nlargest(60,'点赞数')
  51.     info=info.reset_index(drop=True)
  52.     view(info,bili_file)
  53.  
  54.  
  55. if __name__ == '__main__':
  56.     main('biliComment_15pages_BV1Ss4y1M7KT.csv')

三、bilibili.py

  1. import requests
  2. from urllib.parse import quote
  3. import json
  4. import time
  5. from time import sleep
  6. import pandas as pd
  7. import hashlib
  8. import bilihot_pic
  9. import bilisearch_pic
  10.  
  11. """
  12.     bilisearch类的需求功能
  13.     1.初始化需要输入参数
  14.         search:你需要搜索的数据
  15.         page:需要查看的页数
  16.     2.使用方法
  17.         a = blisearch(serch,page)  初始化类
  18.         a.findall()    将爬取的数据存入excel文件中
  19. """
  20.  
  21.  
  22. class bilisearch():
  23.     # 第一个输入的参数是搜索数据，第二个是搜素页数
  24.     def __init__(self, search, page):
  25.         # 对输入进行编码
  26.         self.search = search
  27.         self.searchurl = '&keyword=' + quote(search, 'utf-8')
  28.  
  29.         # 构造浏览器访问请求头
  30.         # 大概是一定要cookie才能访问的  测试一下cookie过段时间还能不能访问
  31.         self.head = {
  32.             'authority': 'api.bilibili.com',
  33.             'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36 Edg/111.0.1661.44',
  34.             'Referer': "https://search.bilibili.com/all?from_source=webtop_search&spm_id_from=333.1007&search_source=5keyword=",
  35.             'referer': 'https://www.bilibili.com/',
  36.             'cookie': 'buvid3=05746C34-6526-44A7-9132-4C0A7180E63C148796infoc; LIVE_BUVID=AUTO4216287558369376; i-wanna-go-back=-1; CURRENT_BLACKGAP=0; buvid4=CE2658E1-DE0F-1555-42F9-BBE8E7E701B973047-022012116-NXuDwzBl0l7IPmxDzx269g%3D%3D; buvid_fp_plain=undefined; blackside_state=0; is-2022-channel=1; _uuid=136F106D6-AA102-198A-C5DD-7351A72CFDE849203infoc; b_nut=100; rpdid=0zbfvWJdeE|54lJB1MA|2Ln|3w1OVksf; CURRENT_QUALITY=80; hit-new-style-dyn=1; CURRENT_PID=b98a29b0-cd2f-11ed-9194-494fac97dd7c; fingerprint=5050e9471226aa5c2be3ac56100522f8; header_theme_version=CLOSE; nostalgia_conf=-1; hit-dyn-v2=1; home_feed_column=5; CURRENT_FNVAL=4048; bp_video_offset_329341133=781400043392336000; SESSDATA=0948d8e9%2C1696396399%2Cef62d%2A42; bili_jct=cb7a5dbbd0153907fff4b713334d6833; DedeUserID=329341133; DedeUserID__ckMd5=acfa5c750e5b3e7f; PVID=1; b_ut=5; innersign=0; b_lsid=7C37E147_1875B2E5B1D; bsource=search_bing; buvid_fp=5050e9471226aa5c2be3ac56100522f8'
  37.         }
  38.  
  39.         # 需要爬取的页数
  40.         self.page = page
  41.  
  42.         # 保存的数据
  43.         # self.data=[]
  44.  
  45.     def dataProcess(self, data):
  46.         # 存入csv的数据集
  47.         storedata = []
  48.  
  49.         # 每一页的数据量是30个
  50.         for i in range(30):
  51.             if (data[i]['type'] == 'picture_ad_0'):
  52.                 continue
  53.  
  54.             # 作者
  55.             author = data[i]['author']
  56.  
  57.             # 标题  替换<em class="keyword">   </em>
  58.             title = data[i]['title'].replace('<em class="keyword">', '').replace('</em>', '')
  59.  
  60.             # 播放量
  61.             play = data[i]['play']
  62.  
  63.             # 简介
  64.             description = data[i]['description']
  65.  
  66.             # 封面
  67.             pic = data[i]['pic']
  68.  
  69.             # 播放地址
  70.             arcurl = data[i]['arcurl']
  71.  
  72.             # id
  73.             id = data[i]['id']
  74.  
  75.             # 时间
  76.             pubdate = data[i]['pubdate']
  77.             # 10位时间戳转换为时间字符串
  78.             timeArray = time.localtime(pubdate)
  79.             pubdate = time.strftime("%Y-%m-%d %H: %M:%S", timeArray)
  80.  
  81.             # 将数据以字典的格式存入data序列中
  82.             # self.data.append({'author':author,'title':title,'play':play,'description':description,'pic':pic,'arcurl':arcurl,'id':id})
  83.             storedata.append([author, title, play, description, pic, arcurl, id, pubdate])
  84.         return storedata
  85.  
  86.     def reverse(self, page):
  87.         timenow = int(time.time())
  88.         if (page == 1):
  89.             an = f'refresh=true&_extra=&ad_resource=5646&context=&duration=&from_source=&from_spmid=333.337&highlight=1&keyword={self.search}&order=&page=1&page_size=42&platform=pc&qv_id=EfNJjEtrA0N5DxzPVKch7Kz6v33ezlFR&single_column=0&source_tag=3&web_location=1430654&wts={timenow}'
  90.             wt = '55540207d820a7368ab7e104169d409d'
  91.             data = an + wt
  92.             md = hashlib.md5(data.encode('UTF-8'))
  93.             return md.hexdigest(), timenow
  94.         else:
  95.             an = f'refresh=true&_extra=&ad_resource=5654&category_id=&context=&dynamic_offset={str((page - 1) * 30)}&from_source=&from_spmid=333.337&gaia_vtoken=&highlight=1&keyword={self.search}&page={page}&page_size=42&platform=pc&qv_id=hJgZIEUY51fw9Pp7s8pidIVEJ7Z08KaS&search_type=video&single_column=0&source_tag=3&web_location=1430654&wts={timenow}'
  96.             wt = '55540207d820a7368ab7e104169d409d'
  97.             data = an + wt
  98.             md = hashlib.md5(data.encode('UTF-8'))
  99.             return md.hexdigest(), timenow
  100.  
  101.     # 综合排序
  102.     def findall(self):
  103.         for pnum in range(1, int(self.page) + 1):
  104.             # 拼接关键字，请求数据
  105.             w_rid, timenow = self.reverse(pnum)
  106.             if (pnum == 1):
  107.                 target = requests.get(
  108.                     f'https://api.bilibili.com/x/web-interface/wbi/search/all/v2?__refresh__=true&_extra=&context=&page={pnum}&page_size=42&order=&duration=&from_source=&from_spmid=333.337&platform=pc&highlight=1&single_column=0&keyword={self.search}&qv_id=noyCOTfEBm8ZzMVGopKgzYbiqLFxoAn1&ad_resource=5646&source_tag=3&web_location=1430654&w_rid={w_rid}&wts={timenow}',
  109.                     headers=self.head)
  110.             else:
  111.                 target = requests.get(
  112.                     f'https://api.bilibili.com/x/web-interface/wbi/search/all/v2?refresh=true&_extra=&ad_resource=5654&category_id=&context=&dynamic_offset={(pnum - 1) * 30}&from_source=&from_spmid=333.337&gaia_vtoken=&highlight=1&keyword={self.search}&page={pnum}&page_size=42&platform=pc&qv_id=hJgZIEUY51fw9Pp7s8pidIVEJ7Z08KaS&search_type=video&single_column=0&source_tag=3&web_location=1430654&w_rid={w_rid}&wts={timenow}',
  113.                     headers=self.head)
  114.             # 将数据转换为py对象
  115.             data = json.loads(target.text)
  116.  
  117.             # 存入csv的数据集
  118.             storedata = self.dataProcess(data['data']['result'][10]['data'])
  119.  
  120.             print('第', pnum, '页完成')
  121.             # 调用storeCsvdata
  122.             self.storeCsvdata('b站清单_' + str(self.search) + '_第' + str(pnum) + '页.csv', storedata, pnum)
  123.             # 设置等待1s
  124.             sleep(1)
  125.  
  126.     # 写入文件模块
  127.     def storeCsvdata(self, filename, storedata, pagenum):
  128.         with open(filename, 'a+') as fp:
  129.             # 构造列表头
  130.             name = ['作者', '标题', '播放量', '简介', '封面', '播放地址', 'id', '时间']
  131.  
  132.             # 写入文件
  133.             writer = pd.DataFrame(storedata, columns=name)
  134.             writer.to_csv(filename, index=False, encoding='utf-8-sig')
  135.             bilisearch_pic.main(filename)
  136.             fp.close()
  137.  
  138.  
  139. """
  140.     bilihot类的功能
  141.     1.初始化需要的参数
  142.         无
  143.     2.使用方法
  144.         a = bilihot()  初始化
  145.         a.findall()    调用搜索
  146.         a.storeCsvdata()   储存数据
  147.         a.data   可以查看数据   
  148.         a.data[i][j]  i为第几个数据集合 j为['作者','标题','播放量','简介','封面','id','播放地址','时间','分区']
  149. """
  150.  
  151.  
  152. class bilihot():
  153.     def __init__(self):
  154.         # 构造浏览器访问请求头
  155.         self.head = {
  156.             'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36 Edg/111.0.1661.44',
  157.             'Referer': "https://search.bilibili.com/all?from_source=webtop_search&spm_id_from=333.1007&search_source=5keyword=",
  158.             'referer': 'https://www.bilibili.com/v/popular/rank/all',
  159.             'authority': 'api.bilibili.com',
  160.         }
  161.  
  162.         # 保存一份数据
  163.         self.data = []
  164.  
  165.     def findall(self):
  166.         # 请求数据
  167.         target = requests.get('https://api.bilibili.com/x/web-interface/ranking/v2?rid=0&type=all', headers=self.head)
  168.  
  169.         # 将数据转换为py对象
  170.         data = json.loads(target.text)
  171.  
  172.         for i in data['data']['list']:
  173.             # 作者
  174.             author = i['owner']['name']
  175.  
  176.             # 标题
  177.             title = i['title']
  178.  
  179.             # 播放量
  180.             play = i['stat']['view']
  181.  
  182.             # 简介
  183.             desc = i['desc']
  184.  
  185.             # 封面
  186.             pic = i['pic']
  187.  
  188.             # id
  189.             id = i['aid']
  190.  
  191.             # 播放地址
  192.             arcurl = i['short_link_v2']
  193.  
  194.             # 发布日期
  195.             pubdate = i['pubdate']
  196.             # 10位时间戳转换为时间字符串
  197.             timeArray = time.localtime(pubdate)
  198.             pubdate = time.strftime("%Y-%m-%d %H: %M:%S", timeArray)
  199.  
  200.             # 分区
  201.             tname = i['tname']
  202.  
  203.             self.data.append([author, title, play, desc, pic, id, arcurl, pubdate, tname])
  204.         print('请求数据成功')
  205.  
  206.     def storeCsvdata(self):
  207.         with open('b站排行榜.csv', 'a+') as fp:
  208.             # 构造列表头
  209.             name = ['作者', '标题', '播放量', '简介', '封面', 'id', '播放地址', '时间', '分区']
  210.  
  211.             # 写入文件
  212.             writer = pd.DataFrame(self.data, columns=name)
  213.             writer.to_csv('b站排行榜.csv', index=False, encoding='utf-8-sig')
  214.             print('写入成功')
  215.             bilihot_pic.main('b站排行榜.csv')
  216.             fp.close()
  217.  
  218.  
  219. if __name__ == '__main__':
  220.     # search: 你需要搜索的数据
  221.     search = input("请输入搜索的关键词")
  222.     # page: 需要查看的页数
  223.     page = int(input("请输入搜索的页数"))
  224.     # 初始化类
  225.     a = bilisearch(search, page)
  226.     # 将爬取的数据存入excel文件中
  227.     a.findall()
  228.     # 初始化
  229.     b = bilihot()
  230.     # 调用搜索
  231.     b.findall()
  232.     # 储存数据
  233.     b.storeCsvdata()

四、bilihot_pic.py

  1. import pandas as pd
  2. import matplotlib.pyplot as plt
  3. from matplotlib import font_manager
  4. import numpy as np
  5.  
  6. def view(info,bili_file):
  7.     # 设置中文字体（图标中能显示中文）
  8.     my_font = font_manager.FontProperties(fname='./STHeiti-TC-Medium.ttf')
  9.     # 为了坐标轴上能显示中文
  10.     plt.rcParams['font.sans-serif'] = ['SimHei']
  11.     plt.rcParams['axes.unicode_minus'] = False
  12.  
  13.     title = info['标题']
  14.     views = info['播放量']
  15.  
  16.     # *******播放量条形图
  17.     fig, ax1 = plt.subplots()
  18.     length = len(title)
  19.     plt.barh(y=np.arange(length), tick_label=title, width=views, color='cyan')  # 设置柱状图
  20.     plt.title('标题和播放量的数据分析', fontproperties=my_font)  # 表标题
  21.     ax1.tick_params(labelsize=6)
  22.     plt.xlabel('播放量')  # 横轴名
  23.     plt.ylabel('标题')  # 纵轴名
  24.     plt.yticks(color='green')  # 设置横坐标变量名旋转度数和颜色
  25.  
  26.     plt.plot(1, label='播放量', color="cyan", linewidth=5.0)  # 图例
  27.     plt.legend()
  28.  
  29.     plt.savefig('.\图片\pic-{}.png'.format(bili_file), dpi=1000, bbox_inches='tight')  # 保存至本地
  30.  
  31.     plt.show()
  32.  
  33.  
  34. def main(bili_file):
  35.     info = pd.read_csv(bili_file,engine='python', encoding='utf-8-sig')
  36.     info = info.nlargest(50, '播放量')
  37.     info = info.sort_values('播放量', ascending=True)
  38.     view(info,bili_file)
  39.  
  40.  
  41. if __name__ == '__main__':
  42.     main('b站排行榜.csv')

五、bilisearch_pic.py

  1. import pandas as pd
  2. import matplotlib.pyplot as plt
  3. from matplotlib import font_manager
  4. import numpy as np
  5.  
  6. def view(info,bili_file):
  7.     # 设置中文字体（图标中能显示中文）
  8.     my_font = font_manager.FontProperties(fname='./STHeiti-TC-Medium.ttf')
  9.     # 为了坐标轴上能显示中文
  10.     plt.rcParams['font.sans-serif'] = ['SimHei']
  11.     plt.rcParams['axes.unicode_minus'] = False
  12.  
  13.     title = info['标题']
  14.     views = info['播放量']
  15.  
  16.     # *******播放量条形图
  17.     fig, ax1 = plt.subplots()
  18.     length = len(title)
  19.     plt.barh(y=np.arange(length), tick_label=title, width=views, color='green')  # 设置柱状图
  20.     plt.title('标题和播放量的数据分析', fontproperties=my_font)  # 表标题
  21.     ax1.tick_params(labelsize=6)
  22.     plt.xlabel('播放量')  # 横轴名
  23.     plt.ylabel('标题')  # 纵轴名
  24.     plt.yticks(color='blue')  # 设置纵坐标变量名颜色
  25.  
  26.     plt.plot(1, label='播放量', color="green", linewidth=5.0)  # 图例
  27.     plt.legend()
  28.  
  29.     plt.savefig('.\图片\pic-{}.png'.format(bili_file), dpi=1000, bbox_inches='tight')  # 保存至本地
  30.  
  31.     plt.show()
  32.  
  33.  
  34. def main(bili_file):
  35.     info = pd.read_csv(bili_file,engine='python', encoding='utf-8-sig')
  36.     info = info.sort_values('播放量', ascending=True)
  37.     view(info,bili_file)
  38.  
  39.  
  40. if __name__ == '__main__':
  41.     main('b站清单_疫情_第1页.csv')

六、draw_cloud.py

  1. import numpy as np
  2. import pandas as pd
  3. from wordcloud import WordCloud, ImageColorGenerator
  4. from PIL import Image
  5.  
  6. def draw_cloud(weibo_file):
  7.     image = Image.open('.\\background.jpg')  # 作为背景轮廓图
  8.     graph = np.array(image)
  9.     # 参数分别是指定字体、背景颜色、最大的词的大小、使用给定图作为背景形状
  10.     wc = WordCloud(font_path='msyh.ttc',background_color='white',max_words=100, mask=graph)
  11.     fp = pd.read_csv(weibo_file,engine='python', encoding='utf-8-sig')  # 读取词频文件
  12.     name = list(fp['热搜内容'])  # 词
  13.     value = fp['热搜热度'] # 词的频率
  14.     for i in range(len(name)):
  15.         name[i] = str(name[i])
  16.     dic = dict(zip(name, value))  # 词频以字典形式存储
  17.     print(dic)
  18.     wc.generate_from_frequencies(dic)  # 根据给定词频生成词云
  19.     image_color = ImageColorGenerator(graph)#生成词云的颜色
  20.     wc.to_file('.\图片\draw_cloud-{}.png'.format(weibo_file))  # 图片命名
  21.  
  22. if __name__ == '__main__':
  23.     draw_cloud('微博top_fun.csv')

七、weibo.py

  1. import os.path
  2. import re
  3. from jsonpath import jsonpath
  4. import requests
  5. import pandas as pd
  6. import datetime
  7. from fake_useragent import UserAgent
  8. import weibo_pic
  9.  
  10. def trans_time(v_str):
  11.     """转换GMT时间为标准格式"""
  12.     GMT_FORMAT='%a %b %d %H:%M:%S +0800 %Y'
  13.     timearray=datetime.datetime.strptime(v_str,GMT_FORMAT)
  14.     ret_time=timearray.strftime("%Y-%m-%d %H:%M:%S")
  15.     return ret_time
  16.  
  17. def get_weibo_list(v_keyword,v_max_page):
  18.     """
  19.     爬取微博内容列表
  20.     :param v_keyword: 搜索关键字
  21.     :param v_max_page: 爬取前几页
  22.     :return: None
  23.     """
  24.     # 保存文件名
  25.     v_weibo_file = '微博清单_{}_前{}页.csv'.format(v_keyword,v_max_page)
  26.     # 如果csv存在，先删除
  27.     if os.path.exists(v_weibo_file):
  28.         os.remove(v_weibo_file)
  29.         print('微博清单存在，已删除：{}'.format(v_weibo_file))
  30.     for page in range(1,v_max_page+1):
  31.         print('===开始爬取第{}页微博==='.format(page))
  32.         # 请求头
  33.         ua = UserAgent()
  34.         headers = {
  35.             "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36 Edg/113.0.1774.42",
  36.             "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
  37.             "accept-encording": "gzip, deflate, br"
  38.         }
  39.         #请求地址
  40.         url='https://m.weibo.cn/api/container/getIndex'
  41.         #请求参数
  42.         params={
  43.             "containerid":"100103type=1&q={}".format(v_keyword),
  44.             "page_type":"searchall",
  45.             "page":page
  46.         }
  47.         #发送请求
  48.         r=requests.get(url,headers=headers,params=params)
  49.         print(r.status_code)
  50.         #解析json数据
  51.         cards=r.json()["data"]["cards"]
  52.         #微博内容
  53.         text_list=jsonpath(cards,'$..mblog.text')
  54.         #微博内容-正则表达式数据清洗
  55.         dr=re.compile(r'<[^>]+>',re.S)
  56.         text2_list=[]
  57.         print('text_list is:')
  58.         print(text_list)
  59.         if not text_list:#如果未获取到微博内容，则进入下一轮循环
  60.             continue
  61.         if type(text_list)==list and len (text_list)>0:
  62.             for text in text_list:
  63.                 text2=dr.sub('',text)#正则表达式提取微博内容
  64.                 print(text2)
  65.                 text2_list.append(text2)
  66.         #微博创建时间
  67.         time_list = jsonpath(cards, '$..mblog.created_at')
  68.         time_list=[trans_time(v_str=i) for i in time_list]
  69.         #微博作者
  70.         author_list = jsonpath(cards, '$..mblog.user.screen_name')
  71.         #微博id
  72.         id_list = jsonpath(cards, '$..mblog.user.id')
  73.         # 微博bid
  74.         bid_list = jsonpath(cards, '$..mblog.bid')
  75.         # 转发数
  76.         reposts_count_list = jsonpath(cards, '$..mblog.reposts_count')
  77.         # 评论数
  78.         comments_count_list = jsonpath(cards, '$..mblog.comments_count')
  79.         # 点赞数
  80.         attitudes_count_list = jsonpath(cards, '$..mblog.attitudes_count')
  81.         df=pd.DataFrame(
  82.             {
  83.                 '页码':[page]*len(id_list),
  84.                 '微博id':id_list,
  85.                 '微博bid': bid_list,
  86.                 '微博作者': author_list,
  87.                 '发布时间': time_list,
  88.                 '微博内容': text2_list,
  89.                 '转发数': reposts_count_list,
  90.                 '评论数': comments_count_list,
  91.                 '点赞数': attitudes_count_list
  92.             }
  93.         )
  94.         #表头
  95.         if os.path.exists(v_weibo_file):
  96.             header=None
  97.         else:
  98.             header=['页码','微博id','微博bid','微博作者','发布时间','微博内容','转发数','评论数','点赞数']
  99.         column=['页码','微博id','微博bid','微博作者','发布时间','微博内容','转发数','评论数','点赞数']
  100.         #保存到csv文件
  101.         df.to_csv(v_weibo_file,mode='a+',index=False,columns=column, header=header,encoding='utf-8-sig')
  102.         print('csv保存成功：{}'.format(v_weibo_file))
  103.     # 数据清洗、去重
  104.     df = pd.read_csv(v_weibo_file, engine='python', encoding='utf-8-sig')
  105.     os.remove(v_weibo_file)
  106.     # 删除重复数据
  107.     df.drop_duplicates(subset='微博bid', inplace=True, keep='first')
  108.     # 再次保存csv文件
  109.     header = ['页码','微博id','微博bid','微博作者','发布时间','微博内容','转发数','评论数','点赞数']
  110.     column=header
  111.     df.to_csv(v_weibo_file, mode='a+', index=False, columns=column, header=header,encoding='utf-8-sig')
  112.     print('数据清洗完成')
  113.     weibo_pic.main(v_weibo_file)
  114.  
  115.  
  116. if __name__=='__main__':
  117.     # 爬取关键字
  118.     search_keyword = input("请输入搜索的关键词")
  119.     #爬取页数
  120.     max_search_page=int(input("请输入搜索的页数"))
  121.     #调用爬取微博函数
  122.     get_weibo_list(v_keyword=search_keyword,v_max_page=max_search_page)

八、weibo_comment.py

  1. import requests# 发送请求
  2. import pandas as pd#保存csv文件
  3. import os # 判断文件是否存在
  4. import datetime
  5. import time
  6. from time import sleep# 设置等待，防止反爬
  7. import json
  8. import random# 生成随机数
  9. import os.path
  10. import requests
  11. import csv
  12. import re
  13. import weibo_comment_pic
  14.  
  15. def trans_time(v_str):
  16.     """转换GMT时间为标准格式"""
  17.     GMT_FORMAT='%a %b %d %H:%M:%S +0800 %Y'
  18.     timearray=datetime.datetime.strptime(v_str,GMT_FORMAT)
  19.     ret_time=timearray.strftime("%Y-%m-%d %H:%M:%S")
  20.     return ret_time
  21.  
  22. def get_bili_comment(weiboID_list,max_page):
  23.     for weibo_id in weiboID_list:
  24.  
  25.         #保存文件名
  26.         wbComment_file='weiboComment_{}pages_{}.csv'.format(max_page,weibo_id)
  27.         #如果csv存在，先删除
  28.         if os.path.exists(wbComment_file):
  29.             os.remove(wbComment_file)
  30.             print('存在，已删除：{}'.format(wbComment_file))
  31.         #请求头
  32.         headers = {
  33.             #不加cookie只能爬一页
  34.             'cookie':'__bid_n=1883c7fc76e10d57174207; FPTOKEN=IBsER/uKazbtpMIEgvaOTfAuHsmYQM5g0VL9U1G3ybs72PsWHEBbiKv0w+R59BrOvSwxDKJevIDwL0SSwPV5yWd3lIFsx6KXQ/qYPpPTjTRW5kFr+j74rsScC6MKc1G9142e5tEEf7atvY/zTxl9B6jy/y7MEo0ETLT0VjL6nbpzkWe/SnIw97Tjb+9lqYoGHS6lPqZ5yAhDPKn0KK4htwxqr0qMglAG6ZcT7mn+BUZAygRSrqWZwZ6KSE0r27qsR0bDTAI8dsQFq1gPfYONp5UHfw9FFsBiscLULixqm31wTHYziK8gxi0/R6yIQ8Tq3OQkNmx+Kw7E/8YknGOiVmpjfRn5FNShZs3/t8SNBJEcZ9qaQnw/iF/jwPoFkMXz87Tp22aQUmFgeQu/u0wAYQ==|wC9ITrusKUtoBk6wTqvs+jaY6iwSJyX4pD0y+hSvnOA=|10|acf98643db3def55913fefef5034d5ee; WEIBOCN_FROM=1110106030; loginScene=102003; SUB=_2A25JbkPWDeRhGeNH7FIV-SjKzjyIHXVqkW2erDV6PUJbkdAGLRbkkW1NSoXhCHcUhbni8gGXfjdc5HNqec9qABj_; MLOGIN=1; _T_WM=98495433469; XSRF-TOKEN=a62fb7; mweibo_short_token=9f0e28d6c9; M_WEIBOCN_PARAMS=oid%3D4903111417922777%26luicode%3D20000061%26lfid%3D4903111417922777%26uicode%3D20000061%26fid%3D4903111417922777',
  35.             "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36",
  36.             'X-Xsrf-Token':'a62fb7'
  37.         }
  38.         max_id = ''
  39.         for page in range(1,max_page + 1):
  40.  
  41.             if page==1:#第一页没有max_id参数
  42.                  url='https://m.weibo.cn/comments/hotflow?id={}&mid={}&max_id_type=0'.format(weibo_id,weibo_id)
  43.  
  44.  
  45.             else:
  46.  
  47.                 if max_id == '0':#max_id=0，说明没有下一页了，结束循环
  48.                     print('max_id==0,break now')
  49.                     break
  50.                 url='https://m.weibo.cn/comments/hotflow?id={}&mid={}&max_id={}&max_id_type=0'.format(weibo_id,weibo_id,max_id)
  51.  
  52.             response = requests.get(url, headers=headers)
  53.             #ok = response.json()['ok']
  54.             #print(ok)
  55.             print(response.status_code)
  56.             max_id=response.json()['data']['max_id']
  57.  
  58.             #print(response.json()['data']['max_id'])
  59.             print(max_id)
  60.  
  61.  
  62.  
  63.             datas= response.json()['data']['data']
  64.             page_list = []
  65.             id_list = []
  66.             text_list=[]
  67.             time_list=[]
  68.             like_count_list=[]
  69.             source_list=[]
  70.             username_list=[]
  71.             user_id_list=[]
  72.             user_gender_list=[]
  73.             follow_count_list=[]
  74.             followers_count_list=[]
  75.  
  76.             for data in datas:
  77.                 page_list.append(page)
  78.                 id_list.append(data['id'])
  79.                 dr=re.compile(r'<[^>]+>',re.S)#用正则表达式清洗评论数据
  80.  
  81.                 text2 = dr.sub('', data['text'])
  82.                 text_list.append(text2)#评论内容
  83.                 time_list.append(trans_time(data['created_at']))#评论时间
  84.                 like_count_list.append(data['like_count'])#点赞
  85.                 source_list.append(data['source'])#属地
  86.                 username_list.append(data['user']['screen_name'])#评论者姓名
  87.                 user_id_list.append(data['user']['id'])
  88.                 user_gender_list.append(data['user']['gender'])# 评论者性别
  89.                 follow_count_list.append(data['user']['follow_count'])#评论者关注数
  90.                 followers_count=str(data['user']['followers_count'])
  91.                 if(followers_count[-1]=='万'):
  92.                     followers_count=int(float(followers_count.strip('万')))*10000
  93.                 followers_count_list.append(followers_count)#评论者粉丝数
  94.  
  95.                 #把列表拼接为dataFrame数据
  96.                 df=pd.DataFrame({
  97.                     '评论页码':page_list,
  98.                     '微博id':[weibo_id]*len(time_list),
  99.                     '评论id':id_list,
  100.                     '评论内容':text_list,
  101.                     '评论时间':time_list ,
  102.                     '评论点赞数':like_count_list,
  103.                     '评论属地':source_list,
  104.                     '评论者姓名':username_list ,
  105.                     '评论者id':user_id_list ,
  106.                     '评论者性别':user_gender_list,
  107.                     '评论者关注数':follow_count_list,
  108.                     '评论者粉丝数':followers_count_list,
  109.                 })
  110.                 # 表头
  111.                 if os.path.exists(wbComment_file):
  112.                     header = None
  113.                 else:
  114.                     header = ['评论页码','微博id', '评论id','评论内容','评论时间','评论点赞数','评论属地', '评论者姓名','评论者id','评论者性别', '评论者关注数','评论者粉丝数']
  115.                 column=['评论页码','微博id', '评论id','评论内容','评论时间','评论点赞数','评论属地', '评论者姓名','评论者id','评论者性别', '评论者关注数','评论者粉丝数']
  116.  
  117.                 # 保存到csv文件
  118.                 df.to_csv(wbComment_file, mode='a+', index=False, columns=column, header=header, encoding='utf-8-sig')
  119.                 #print('csv保存成功：{}'.format(bili_file))
  120.             #print(df)
  121.             print('第{}页爬取完成'.format(page))
  122.  
  123.  
  124.         # 数据清洗、去重
  125.         df = pd.read_csv(wbComment_file, engine='python', encoding='utf-8-sig')
  126.         os.remove(wbComment_file)
  127.         # 删除重复数据
  128.         df.drop_duplicates(subset='评论内容', inplace=True, keep='first')
  129.         # 再次保存csv文件
  130.         column=header = ['评论页码', '微博id', '评论id', '评论内容', '评论时间', '评论点赞数', '评论属地', '评论者姓名',
  131.                   '评论者id', '评论者性别', '评论者关注数', '评论者粉丝数']
  132.         df.to_csv(wbComment_file, mode='a+', index=False, columns=column,header=header, encoding='utf-8-sig')
  133.         print('数据清洗完成')
  134.         weibo_comment_pic.main(wbComment_file)
  135.  
  136.  
  137. if __name__=='__main__':
  138.     #目标微博https: // m.weibo.cn / detail / 4903111417922777
  139.     #目标微博ID，可循环爬取多个（这里只爬一个）
  140.     weiboID_list=[str(x) for x in input("请输入微博ID(示例：4903111417922777),以逗号分隔：").split(',')]
  141.     #weiboID_list=['4903111417922777']
  142.     #最大爬取页
  143.     max_page=int(input("请输入搜索的页数"))
  144.     #调用爬取
  145.     get_bili_comment(weiboID_list=weiboID_list,max_page=max_page)

九、weibo_comment_pic.py

  1. # 允许副本存在，忽略报错
  2. import os
  3. import pandas as pd
  4. import matplotlib.pyplot as plt
  5. from matplotlib import font_manager
  6. import numpy as np
  7.  
  8. os.environ["KMP_DUPLICATE_LIB_OK"] = "TRUE"
  9.  
  10.  
  11. def view(info,weibo_file):
  12.     my_font = font_manager.FontProperties(fname='./STHeiti-TC-Medium.ttf')  # 设置中文字体（图标中能显示中文）
  13.     likes = info['评论点赞数']  # 点赞数
  14.     reply = info['评论者粉丝数']  # 粉丝数
  15.     forward = info['评论者关注数']  # 关注数
  16.     author = info['评论者姓名']  # 作者，因为内容太长了
  17.     # print(comment)
  18.  
  19.     # 为了坐标轴上能显示中文
  20.     plt.rcParams['font.sans-serif'] = ['SimHei']
  21.     plt.rcParams['axes.unicode_minus'] = False
  22.  
  23.     # **********************************************************************综合评分和播放量对比
  24.     # *******点赞数条形图
  25.     fig, ax1 = plt.subplots()
  26.     length = len(author)
  27.     plt.bar(x=np.arange(length), tick_label=author, height=likes, color='blue')  # 设置柱状图
  28.     plt.title('评论点赞数、粉丝数和关注数的数据分析', fontproperties=my_font)  # 表标题
  29.     ax1.tick_params(labelsize=6)
  30.     plt.xlabel('微博内容')  # 横轴名
  31.     plt.ylabel('评论点赞数')  # 纵轴名
  32.     plt.xticks(rotation=90, color='green')  # 设置横坐标变量名旋转度数和颜色
  33.  
  34.     # *******评论者粉丝数折线图
  35.     ax2 = ax1.twinx()  # 组合图必须加这个
  36.     ax2.plot(reply, color='red')  # 设置线粗细，节点样式
  37.     # *******评论者关注数折线图
  38.     ax2.plot(forward, color='yellow')  # 设置线粗细，节点样式
  39.     plt.ylabel('粉丝/关注数')  # y轴
  40.  
  41.     plt.plot(1, label='评论者点赞数', color="blue", linewidth=5.0)  # 图例
  42.     #plt.plot(1, label='评论者粉丝数', color="red", linewidth=1.0, linestyle="-")  # 图例
  43.     #plt.plot(1, label='评论者关注数', color="yellow", linewidth=1.0, linestyle="-")  # 图例
  44.     plt.legend()
  45.  
  46.     plt.savefig('.\图片\pic-{}.png'.format(weibo_file), dpi=1000, bbox_inches='tight')  # 保存至本地
  47.  
  48.     plt.show()
  49.  
  50.  
  51. def main(weibo_file):
  52.     info = pd.read_csv(weibo_file,engine='python', encoding='utf-8-sig')
  53.     info = info.nlargest(100, '评论点赞数')
  54.     info = info.reset_index(drop=True)
  55.     view(info,weibo_file)
  56.  
  57.  
  58. if __name__ == '__main__':
  59.     main('weiboComment_15pages_4903111417922777.csv')

十、weibo_pic.py

  1. # 允许副本存在，忽略报错
  2. import os
  3. import pandas as pd
  4. import matplotlib.pyplot as plt
  5. from matplotlib import font_manager
  6. import numpy as np
  7.  
  8. os.environ["KMP_DUPLICATE_LIB_OK"] = "TRUE"
  9.  
  10.  
  11. def view(info,weibo_file):
  12.     my_font = font_manager.FontProperties(fname='./STHeiti-TC-Medium.ttf')  # 设置中文字体（图标中能显示中文）
  13.     likes = info['点赞数']  # 点赞数
  14.     reply = info['评论数']  # 评论数
  15.     forward = info['转发数']  # 转发数
  16.     author = info['微博作者']  # 作者，因为内容太长了
  17.     # print(comment)
  18.  
  19.     # 为了坐标轴上能显示中文
  20.     plt.rcParams['font.sans-serif'] = ['SimHei']
  21.     plt.rcParams['axes.unicode_minus'] = False
  22.  
  23.     # **********************************************************************综合评分和播放量对比
  24.     # *******点赞数条形图
  25.     fig, ax1 = plt.subplots()
  26.     length = len(author)
  27.     plt.bar(x=np.arange(length), tick_label=author, height=likes, color='blue')  # 设置柱状图
  28.     plt.title('点赞数、评论数和转发数的数据分析', fontproperties=my_font)  # 表标题
  29.     ax1.tick_params(labelsize=6)
  30.     plt.xlabel('微博内容')  # 横轴名
  31.     plt.ylabel('点赞数')  # 纵轴名
  32.     plt.xticks(rotation=90, color='green')  # 设置横坐标变量名旋转度数和颜色
  33.  
  34.     # *******评论数折线图
  35.     ax2 = ax1.twinx()  # 组合图必须加这个
  36.     ax2.plot(reply, color='red')  # 设置线粗细，节点样式
  37.     # *******转发数折线图
  38.     ax2.plot(forward, color='yellow')  # 设置线粗细，节点样式
  39.     plt.ylabel('评论/转发数')  # y轴
  40.  
  41.     plt.plot(1, label='点赞数', color="blue", linewidth=5.0)  # 图例
  42.     #plt.plot(1, label='评论数', color="red", linewidth=1.0, linestyle="-")  # 图例
  43.     #plt.plot(1, label='转发数', color="yellow", linewidth=1.0, linestyle="-")  # 图例
  44.     plt.legend()
  45.  
  46.     plt.savefig('.\图片\pic-{}.png'.format(weibo_file), dpi=1000, bbox_inches='tight')  # 保存至本地
  47.  
  48.     plt.show()
  49.  
  50.  
  51. def main(weibo_file):
  52.     info = pd.read_csv(weibo_file,engine='python', encoding='utf-8-sig')
  53.     info = info.nlargest(100, '点赞数')
  54.     info = info.reset_index(drop=True)
  55.     view(info,weibo_file)
  56.  
  57.  
  58. if __name__ == '__main__':
  59.     main('微博清单_疫情_前10页.csv')

十一、weibo_top.py

  1. import os.path
  2. import re
  3. from jsonpath import jsonpath
  4. import requests
  5. import pandas as pd
  6. from fake_useragent import UserAgent
  7. import weibo_top_pic
  8. import weibo_top_pie
  9. import draw_cloud
  10.  
  11. def get_weibo_top():
  12.     keyword=list(['realtimehot','gym','game','fun'])
  13.     for search_keyword in keyword:
  14.         # 保存文件名
  15.         v_weibo_file = '微博top_{}.csv'.format(search_keyword)
  16.         # 如果csv存在，先删除
  17.         if os.path.exists(v_weibo_file):
  18.             os.remove(v_weibo_file)
  19.             print('微博榜单存在，已删除：{}'.format(v_weibo_file))
  20.         print('===开始爬取{}微博榜单==='.format(search_keyword))
  21.         # 请求头
  22.         ua = UserAgent()
  23.         headers = {
  24.             "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36 Edg/113.0.1774.42",
  25.             "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
  26.             "accept-encording": "gzip, deflate, br"
  27.         }
  28.         #请求地址
  29.         url='https://m.weibo.cn/api/container/getIndex'
  30.         #请求参数
  31.         params={
  32.             "containerid":"106003type=25&t=3&disable_hot=1&filter_type={}".format(search_keyword),
  33.             "title": "微博热搜",
  34.             "show_cache_when_error": 1,
  35.             "extparam": "seat=1&dgr=0&filter_type=realtimehot&region_relas_conf=0&pos=0_0&c_type=30&lcate=1001&mi_cid=100103&cate=10103&display_time=1684642048&pre_seqid=144917672",
  36.             "luicode": 10000011,
  37.             "lfid": 231583,
  38.         }
  39.         #发送请求
  40.         r=requests.get(url,headers=headers,params=params)
  41.         print(r.status_code)
  42.         #解析json数据
  43.         cards=r.json()["data"]["cards"][0]["card_group"]
  44.         #热搜内容
  45.         text_list=jsonpath(cards,'$..desc')
  46.         print('text_list is:')
  47.         print(text_list)
  48.         #热搜连接地址
  49.         href_list = jsonpath(cards, '$..scheme')
  50.         # 热搜排名
  51.         order_list = jsonpath(cards, '$..pic')
  52.         # 热搜热度
  53.         view_count_list = jsonpath(cards, '$..desc_extr')
  54.         j=1
  55.         for i in range(0, len(order_list)):
  56.             if order_list[i] == 'https://simg.s.weibo.com/20210408_search_point_orange.png':
  57.                 order_list[i] = '无'
  58.                 view_count_list[i]=0
  59.                 continue
  60.             if order_list[i] == "https://simg.s.weibo.com/20180205110043_img_search_stick%403x.png":
  61.                 view_count_list.insert(0, 0)
  62.                 order_list[i] = '无'
  63.                 continue
  64.             view_count_list[i]=str(view_count_list[i])
  65.             view_count_list[i]=int(re.sub("\D", "", view_count_list[i]))
  66.             order_list[i] = j
  67.             j = j + 1
  68.         print(len(order_list),len(text_list),len(view_count_list),len(href_list))
  69.         df=pd.DataFrame(
  70.             {
  71.                 '热搜排名':order_list,
  72.                 '热搜内容': text_list,
  73.                 '热搜热度': view_count_list,
  74.                 '热搜连接地址': href_list,
  75.             }
  76.         )
  77.         #表头
  78.         if os.path.exists(v_weibo_file):
  79.             header=None
  80.         else:
  81.             header=['热搜排名','热搜内容','热搜热度','热搜连接地址']
  82.         column = ['热搜排名','热搜内容','热搜热度','热搜连接地址']
  83.         #保存到csv文件
  84.         df.to_csv(v_weibo_file,mode='a+',index=False,columns=column, header=header, encoding='utf-8-sig')
  85.         print('csv保存成功：{}'.format(v_weibo_file))
  86.         weibo_top_pic.main(v_weibo_file)
  87.         weibo_top_pie.pie(v_weibo_file)
  88.         #draw_cloud.draw_cloud(v_weibo_file)
  89.  
  90.  
  91. if __name__=='__main__':
  92.     #调用爬取微博函数
  93.     get_weibo_top()

十二、weibo_top_pic.py

  1. # 允许副本存在，忽略报错
  2. import os
  3. import pandas as pd
  4. import matplotlib.pyplot as plt
  5. from matplotlib import font_manager
  6. import numpy as np
  7.  
  8. os.environ["KMP_DUPLICATE_LIB_OK"] = "TRUE"
  9.  
  10.  
  11. def view(info,weibo_file):
  12.     my_font = font_manager.FontProperties(fname='./STHeiti-TC-Medium.ttf')  # 设置中文字体（图标中能显示中文）
  13.     heat = info['热搜热度']
  14.     content = info['热搜内容']
  15.  
  16.     # 为了坐标轴上能显示中文
  17.     plt.rcParams['font.sans-serif'] = ['SimHei']
  18.     plt.rcParams['axes.unicode_minus'] = False
  19.  
  20.     # **********************************************************************综合评分和播放量对比
  21.     # *******点赞数条形图
  22.     fig, ax1 = plt.subplots()
  23.     length=len(content)
  24.     plt.bar(x = np.arange(length),tick_label=content, height=heat, color='blue')  # 设置柱状图
  25.     plt.title('热搜内容和热搜热度的数据分析', fontproperties=my_font)  # 表标题
  26.     ax1.tick_params(labelsize=6)
  27.     plt.xlabel('热搜内容')  # 横轴名
  28.     plt.ylabel('热搜热度')  # 纵轴名
  29.     plt.xticks(rotation=90, color='green')  # 设置横坐标变量名旋转度数和颜色
  30.  
  31.     plt.plot(1, label='热搜热度', color="blue", linewidth=5.0)  # 图例
  32.     plt.legend()
  33.  
  34.     plt.savefig('.\图片\pic-{}.png'.format(weibo_file), dpi=1000, bbox_inches='tight')  # 保存至本地
  35.  
  36.     plt.show()

十三、weibo_top_pie.py

  1. import pandas as pd
  2. import numpy as np
  3. from pyecharts import options as opts
  4. from pyecharts.charts import Pie
  5. import matplotlib.pyplot as plt
  6.  
  7. def pie(weibo_file):
  8.     plt.rcParams['font.family']=['SimHei']
  9.     plt.rcParams['axes.unicode_minus']=False
  10.     data=pd.read_csv(weibo_file,engine='python', encoding='utf-8-sig')
  11.     df1=data['热搜内容']
  12.     df2=data['热搜热度']
  13.  
  14.     X=df1
  15.     Y=[]
  16.     s=sum(df2)
  17.     for i in df2:
  18.         a=i/s
  19.         a=round(a,2)
  20.         Y.append(a)
  21.  
  22.     plt.figure(figsize=(12, 12))
  23.  
  24.     plt.pie(x=Y,
  25.            labels=X,
  26.            wedgeprops={'width': 0.4},
  27.            startangle=90,
  28.             autopct='%.2f%%',
  29.             pctdistance=0.9
  30.           )
  31.     plt.title('热搜对应的热度占比',fontsize=20)
  32.     plt.savefig('.\图片\pie-{}.png'.format(weibo_file), dpi=1000, bbox_inches='tight')  # 保存至本地
  33.     plt.show()
  34.  
  35. if __name__ == '__main__':
  36.     pie('微博top_realtimehot.csv')

十四、pachong.py

  1. import weibo
  2. import weibo_top
  3. import weibo_comment
  4. import bilibili
  5. import bili_comment
  6. net=int(input("请选择爬取的网站：1.微博 2.b站 3.停止爬取"))
  7. while(net!=3):
  8.     if (net==1):
  9.         choice1=int(input("请选择爬取的方向：1.排行榜 2.关键词 3.评论"))
  10.         if(choice1==1):
  11.             # 调用爬取微博函数
  12.             weibo_top.get_weibo_top()
  13.         if (choice1 == 2):
  14.             # 爬取关键字
  15.             search_keyword = input("请输入搜索的关键词")
  16.             # 爬取页数
  17.             max_search_page = int(input("请输入搜索的页数"))
  18.             # 调用爬取微博函数
  19.             weibo.get_weibo_list(v_keyword=search_keyword, v_max_page=max_search_page)
  20.         if (choice1 == 3):
  21.             # 目标微博ID，可循环爬取多个（这里只爬一个）
  22.             weiboID_list = [str(x) for x in input("请输入微博ID(示例：4903111417922777),以逗号分隔：").split(',')]
  23.             # 最大爬取页
  24.             max_page = int(input("请输入搜索的页数"))
  25.             # 调用爬取
  26.             weibo_comment.get_bili_comment(weiboID_list=weiboID_list, max_page=max_page)
  27.     if (net==2):
  28.         choice2=int(input("请选择爬取的方向：1.排行榜 2.关键词 3.评论"))
  29.         if(choice2==1):
  30.             # 初始化
  31.             b = bilibili.bilihot()
  32.             # 调用搜索
  33.             b.findall()
  34.             # 储存数据
  35.             b.storeCsvdata()
  36.         if (choice2 == 2):
  37.             # search: 你需要搜索的数据
  38.             search = input("请输入搜索的关键词")
  39.             # page: 需要查看的页数
  40.             page = int(input("请输入搜索的页数"))
  41.             # 初始化类
  42.             a = bilibili.bilisearch(search, page)
  43.             # 将爬取的数据存入excel文件中
  44.             a.findall()
  45.         if (choice2 == 3):
  46.             # 视频bv号,循环爬取多个视频评论
  47.             bv_list = [str(x) for x in input("请输入视频bv号(示例：BV1Ss4y1M7KT,BV1VM411N7qc),以逗号分隔：").split(',')]
  48.             # 最大爬取页
  49.             max_page = int(input("请输入搜索的页数"))
  50.             # 调用爬取
  51.             bili_comment.get_bili_comment(bv_list=bv_list, max_page=max_page)
  52.  
  53.     net = int(input("请选择爬取的网站：1.微博 2.b站 3.停止爬取"))

十五、代码文件说明

pachong： b站、微博爬虫与数据可视化总程序

b站：
bilibili 爬取b站热搜榜和关键词搜索
bili_comment 爬取b站评论
bilihot_pic b站热搜榜数据可视化(柱形图、折线图)
bilisearch_pic b站关键词搜索数据可视化(柱形图、折线图)
bili_comment_pic b站评论数据可视化(柱形图、折线图)

微博：
weibo_top 爬取微博热搜榜
weibo 爬取微博关键词搜索
weibo_comment 爬取微博评论
weibo_top_pic 微博热搜榜数据可视化(柱形图、折线图)
weibo_top_pie 微博热搜榜数据可视化(环形图)
weibo_pic 微博关键词搜索数据可视化(柱形图、折线图)
weibo_comment_pic 微博评论数据可视化(柱形图、折线图)

draw_cloud 微博热搜榜数据可视化(词图云)

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/article/detail/57004
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号