devbox
羊村懒王
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

Python 做个小爬虫对CSDN热榜变冷榜的指标数据进行分析_冷热点分析python

作者：羊村懒王 | 2024-03-08 15:03:46

赞

踩

冷热点分析python

本周虽然有幸升到周榜冠军，可是怎么也开心不起来！ 因为CSDN热榜变冷榜，彻底凉了。

不开心之余还是动手做了个小爬虫，分析一下各指标，数据确实有点不好看，称它为“冷榜”也不算过分：

开始爬取热榜，请稍候...
耗时：2.199401808s

【Top100指标统计】

浏览为0的：        3
评论为0的：       76
收藏为0的：       51
浏览评论0的：    3
三指标都0的：    2

浏览个位数的：    25
评论个位数的：    98
收藏个位数的：    86
无封面题图的：    74

浏览>=100的：    18
评论>=10的：      1
收藏>=10的：      13

【Top50指标统计】

浏览为0的：       0
评论为0的：       36
收藏为0的：       22
浏览评论0的：    0
三指标都0的：    0

浏览个位数的：    15
评论个位数的：    49
收藏个位数的：    39
无封面题图的：    38

浏览>=200的：    12
评论>=20的：      0
收藏>=20的：      8

开始爬取Top100网页，请稍候(大约1分钟)...
耗时：50.254692171s
下载失败数：0


【Top100博客等级分布】

等级 1: 11
等级 2: 12
等级 3: 22
等级 4: 20
等级 5: 21
等级 6: 3
等级 7: 7
等级 8: 3

【Top100作者码龄分布】

码龄 0: 15
码龄 1: 14
码龄 2: 23
码龄 3: 12
码龄 4: 13
码龄 5: 12
码龄 6: 4
码龄 7: 2
码龄10: 1
码龄12: 1
码龄13: 1
码龄-1: 1

【Top100作者周排名分布】

周榜前100名     : 5
第100~200名    : 2
第200~500名    : 8
第500~1千名    : 5
第1千~5千名    : 17
第5千~1万名    : 14
第1万~2万名    : 7
第2万~5万名    : 10
第5万~10万名  : 11
10万名之后      : 20

更多详情见桌面文件：
【CSDN排行榜Top100】2021-10-26.txt
==========================
报告日期：2021-10-26
报告时间：09:30
程序耗时：52.63s

啥也不说了，直接上代码：

  1. from requests import get
  2. from bs4 import BeautifulSoup as bs
  3. from win32com.shell import shell
  4. from datetime import datetime as dt
  5. from time import perf_counter
  6. from re import findall
  7.  
  8. def lenB(str):
  9.     t = 0
  10.     for s in str:
  11.         if '\u4e00' <= s <= '\u9fef': t += 1
  12.     return t
  13.  
  14. def reportTime():
  15.     d = dt.today()
  16.     return f'{d.year}-{d.month:02}-{d.day:02} {d.hour:02}:{d.minute:02}'
  17.  
  18. def reportData(Index, num=0):
  19.     count = [0,0,0,0,0,0]
  20.     for i in Index:
  21.         if i[0] <= num : count[0]+=1
  22.         if i[1] <= num : count[1]+=1
  23.         if i[2] <= num : count[2]+=1
  24.         if sum(i[:2]) <= num : count[3]+=1
  25.         if sum(i[:3]) <= num : count[4]+=1
  26.         if i[-1]: count[-1]+=1
  27.     return count
  28.  
  29. def reportData2(Index):
  30.     count = [0,0,0,0,0,0]
  31.     out1,out2 = (200,20,20),(100,10,10)
  32.     for i in Index:
  33.         if i[0] >= out1[0] : count[0]+=1
  34.         if i[0] >= out2[0] : count[1]+=1
  35.         if i[1] >= out1[1] : count[2]+=1
  36.         if i[1] >= out2[1] : count[3]+=1
  37.         if i[2] >= out1[2] : count[4]+=1
  38.         if i[2] >= out2[2] : count[5]+=1
  39.     return count
  40.  
  41. def reportString(count):
  42.     outStr = f'浏览为0的：\t{count[0]}\n评论为0的：\t'
  43.     outStr += f'{count[1]}\n收藏为0的：\t{count[2]}\n'
  44.     outStr += f'浏览评论0的：\t{count[3]}\n'
  45.     outStr += f'三指标都0的：\t{count[4]}\n'
  46.     return outStr
  47.  
  48. def reportString2(count):
  49.     outStr = f'浏览个位数的：\t{count[0]}\n'
  50.     outStr += f'评论个位数的：\t{count[1]}\n'
  51.     outStr += f'收藏个位数的：\t{count[2]}\n'
  52.     outStr += f'无封面题图的：\t{count[-1]}\n'
  53.     return outStr
  54.  
  55. def reportString3(count,idx=0):
  56.     out1,out2 = (200,20,20),(100,10,10)
  57.     if idx==0: out = out1
  58.     else: idx=1; out = out2
  59.     outStr = f'浏览>={out[0]}的：\t{count[idx]}\n'
  60.     outStr += f'评论>={out[1]}的：\t{count[idx+2]}\n'
  61.     outStr += f'收藏>={out[2]}的：\t{count[idx+4]}\n'
  62.     return outStr
  63.  
  64. def dictFromList(Values,num=5):
  65.     tags,tagDict = [],dict()
  66.     if num==5:
  67.         for tag in Values:
  68.             tags.extend(list(tag[num]))
  69.     else:
  70.         for tag in Values:
  71.             tags.append(tag[num])
  72.     Tags = list(set(tags))
  73.     for t in Tags:
  74.         tagDict[str(t)] = tags.count(t)
  75.     return tagDict
  76.  
  77. def matchRange(value):
  78.     if 0<value<=100: res = 0
  79.     elif 100<value<=200: res = 1
  80.     elif 200<value<=500: res = 2
  81.     elif 500<value<=1000: res = 3
  82.     elif 1000<value<=5000: res = 4
  83.     elif 5000<value<=10000: res = 5
  84.     elif 10000<value<=20000: res = 6
  85.     elif 20000<value<=50000: res = 7
  86.     elif 50000<value<=100000: res = 8
  87.     else: res = 9
  88.     return res
  89.  
  90. if __name__ == '__main__':
  91.  
  92.     desktop  = shell.SHGetFolderPath(0, 25, None, 0)
  93.     filename = r'\【CSDN排行榜Top100】'+reportTime()[:10]+'.txt'
  94.     output = desktop + filename
  95.     tofile = open(output,'w',encoding='utf-8')
  96.  
  97.     rank,ids,articles,index = [],[],[],[]
  98.     print('\n开始爬取热榜，请稍候...')
  99.     print('\n【CSDN 综合热榜】：\n', file=tofile)
  100.     agent = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.'
  101.     agent += '36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36'
  102.     website = 'https://blog.csdn.net/phoenix/web/blog/'
  103.     for i in range(4):
  104.         url = website + f'hotRank?page={i}&pageSize=25'
  105.         res = get(url,headers={'User-Agent':agent}).json()
  106.         if res["code"] == 200: 
  107.             data = res["data"]
  108.             rank += [r for r in data]
  109.     print(f'耗时：{perf_counter()}s\n')
  110.     rank = [[v for i,v in r.items()] for r in rank]
  111.  
  112.     for i,r in enumerate(rank):
  113.         d,m = divmod(i,25)
  114.         if m==0:
  115.             count = 0
  116.             print(f'【{d*25+1}到{d*25+25}名】：\n', file=tofile)
  117.         if r[5].lower():
  118.             count += 1
  119.             ids.append(r[5])
  120.             articles.append(r[7])
  121.             print(f'★№{i+1:02}：{r[3]} (热度:{r[0]})\n○《{r[6]}》', file=tofile)
  122.             print(f'◎ 浏览：{r[-5]} 评论：{r[-4]} 收藏：{r[-3]}', file=tofile)
  123.             print(f'¤ {r[7]}\n', file=tofile)
  124.             index.append((int(r[-3]),int(r[-5]),int(r[-4]),int(r[0]),r[-1]==[]))
  125.  
  126.     count1 = reportData(index)
  127.     outStr1 = '【Top100指标统计】\n\n'
  128.     outStr1 += reportString(count1)
  129.     count1_2 = reportData(index,9)
  130.     outStr1_2 = reportString2(count1_2)
  131.     count1_3 = reportData2(index)
  132.     outStr1_3 = reportString3(count1_3,1)
  133.     print(outStr1, file=tofile)
  134.     print(outStr1_2, file=tofile)
  135.     print(outStr1_3, file=tofile)
  136.     count2 = reportData(index[:50])
  137.     outStr2 = '【Top50指标统计】\n\n'
  138.     outStr2 += reportString(count2)
  139.     count2_2 = reportData(index[:50],9)
  140.     outStr2_2 = reportString2(count2_2)
  141.     count2_3 = reportData2(index)
  142.     outStr2_3 = reportString3(count1_3)
  143.     print(outStr2, file=tofile)
  144.     print(outStr2_2, file=tofile)
  145.     print(outStr2_3, file=tofile)
  146.  
  147.     #标题关键字，可根据需要自行添加
  148.     keywords = ('C++','C语言','Python','JAVA','Delphi','C#','mysql','HTML',
  149.                 'Matlab','Unity','Spring','Nginx',
  150.                 'Windows','Linux','Android','Ubuntu',
  151.                 '框架','算法','对象','函数','爬虫')
  152.     kwIndex = []
  153.     for _ in range(len(keywords)): kwIndex.append(0)
  154.     for title in rank:
  155.         for i,kw in enumerate(keywords):
  156.             if kw.lower() in title[6].lower():
  157.                 kwIndex[i] += 1
  158.  
  159.     outStr3 = '\n【Top100标题常见关键字统计】\n\n'
  160.     for i,kw in enumerate(kwIndex):
  161.         if i==1: kwi,kws = kw + kwIndex[0],'C/C++'
  162.         else: kwi,kws = kw,keywords[i].title()
  163.         if i>=1 and kwi>0:
  164.             outStr3 += f'{kws:<{10-lenB(kws)}}: {kwi}\n'
  165.     '''
  166.     #字典形式可以排序
  167.     kwDict = dict()
  168.     for i,kw in enumerate(keywords): kwDict[kw] = kwIndex[i]
  169.     for item in sorted(kwDict.items(),key=lambda k:k[1],reverse=True):
  170.         if not item[1]: print();break
  171.         print(f'{item[0]:<{10-lenB(item[0])}}: {item[1]}')
  172.     '''
  173.     print(outStr1 + '\n' + outStr1_2 + '\n' + outStr1_3)
  174.     print(outStr2 + '\n' + outStr2_2 + '\n' + outStr2_3)
  175.  
  176.     #爬取Top100资料
  177.     Values = []
  178.     print('开始爬取Top100网页，请稍候(大约1分钟)...')
  179.     timer = perf_counter()
  180.     for idx,url in enumerate(articles):
  181.         res = get(url,headers={'User-Agent':agent})
  182.         res.encoding='uft-8'
  183.         soup = bs(res.text,'html.parser')
  184.         value = []
  185.         for i in range(3,8):
  186.             if i!=4: value.append(rank[idx][i])
  187.         try: #码龄
  188.             ctxt = 'personal-home-page personal-home-years'
  189.             html = soup.find('span',class_=ctxt)
  190.             value.append(int(findall(r'\d+',html.text)[0]))
  191.         except: value.append(-1)
  192.         try: #标签
  193.             ctxt = 'tags-box artic-tag-box'
  194.             html = soup.find('div',class_=ctxt)
  195.             html = html.find_all('a')
  196.             value.append(set([i.text.strip().lower().title() for i in html]))
  197.         except: value.append(set())
  198.         html = soup.find_all('dl')
  199.         for dl in range(1,len(html)):
  200.             try: dlval = html[dl]['title']
  201.             except: break
  202.             if '级' in dlval: dlval = dlval[:dlval.find('级')]
  203.             if '暂无排名' in dlval: dlval = -1
  204.             value.append(int(dlval))
  205.         if len(value)==16: value.append(False)
  206.         else: value.append(True)
  207.         Values.append(value)
  208.     print(f'耗时：{perf_counter()-timer}s')
  209.     datafile = desktop + r'\【CSDN排行榜Top100】data'+reportTime()[:10]+'.txt'
  210.     #收集到的数据全部写入文件*data*.txt
  211.     failVals = 0
  212.     with open(datafile,'w',encoding='utf-8') as f:
  213.         f.write(f'#报告日期：{reportTime()}\n')
  214.         for val in Values:
  215.             if val[-1]:
  216.                 failVals += 1
  217.                 continue
  218.             f.writelines('|'.join([str(i) for i in val]))
  219.             f.write('\n')
  220.     Values = [val for val in Values if not val[-1]]
  221.     print(f'下载失败数：{failVals}\n')
  222.     '''value列表各元素的索引值分别代表：
  223.     0~ 5：昵称 用户名 标题 链接 码龄 文章标签
  224.     6~10：原创 周排名 总排名 访问 等级
  225.     11~15：积分 粉丝 获赞 评论 收藏
  226.     16：  失败标记=False'''
  227.     #输出内容
  228.     tagsRank,tagDict = [],dictFromList(Values)
  229.     for item in sorted(tagDict.items(),key=lambda t:t[1],reverse=True):
  230.         tagsRank.append(f'{item[0]:<{22-lenB(item[0])}}: {item[1]}')
  231.         if len(tagsRank)>=100: break
  232.     outStr4 = lambda x:f'\n【Top100文章标签排名(Top{x})】\n'
  233.     
  234.     outStr5 = '\n【Top100博客等级分布】\n\n'
  235.     valDict = dictFromList(Values,10)
  236.     for key,value in valDict.items():
  237.         outStr5 += f'等级{key:>2}: {value}\n'
  238.     print(outStr5, file=tofile)
  239.     
  240.     outStr6 = '\n【Top100作者码龄分布】\n\n'
  241.     valDict = dictFromList(Values,4)
  242.     for key,value in valDict.items():
  243.         outStr6 += f'码龄{key:>2}: {value}\n'
  244.     print(outStr6, file=tofile)
  245.  
  246.     outStr7 = '\n【Top100作者周排名分布】\n\n'
  247.     valDict = dictFromList(Values,7)
  248.     weekRank = [0 for _ in range(10)]
  249.     for key,value in valDict.items():
  250.         weekRank[matchRange(int(key))] += 1
  251.     textRank = ('周榜前100名','第100~200名','第200~500名','第500~1千名','第1千~5千名',
  252.                 '第5千~1万名','第1万~2万名','第2万~5万名','第5万~10万名','10万名之后')
  253.     for i,txt in enumerate(textRank):
  254.         outStr7 += f'{txt:<{14-lenB(txt)}}: {weekRank[i]}\n'
  255.     print(outStr7, file=tofile)
  256.     #更多指标可用以分析或者画折线图柱形图等等，指标索引见上面的注释
  257.     print(outStr5 + outStr6 + outStr7)
  258.     print(f'更多详情见桌面文件：\n{filename[1:]}')
  259.     endStr = '='*26
  260.     endStr += f'\n报告日期：{reportTime()[:10]}'
  261.     endStr += f'\n报告时间：{reportTime()[11:]}'
  262.     endStr += f'\n程序耗时：{round(perf_counter(),2)}s\n'
  263.     print(outStr3, file=tofile)
  264.     print(outStr4(100), file=tofile)
  265.     for t in tagsRank: print(t, file=tofile)
  266.     print(endStr, file=tofile)
  267.     tofile.close()
  268.     print(endStr)
  269.  
  270. ''' 运行环境： Windows7 + Python3.8.8 '''
  271. ''' Written by Hann, 2021.10.25 '''
  272.

代码比较乱，这就是业余风格⊙﹏⊙‖∣ 程序一共抓取了16种信息，可以根据需要，增加对其他各种数据时行分析。比如，还能用matplotlib来把数据画成图表：

例一：Top100的热度衰减表

  1. import matplotlib.pyplot as plt
  2.  
  3. plt.figure().canvas.set_window_title('CSDN Top100 热度衰减示意图')
  4. plt.title('Top100 Attenuation Diagram')
  5. 		     
  6. hots = [h[3] for h in index]
  7. x = [i+1 for i in range(len(hots))]
  8. plt.plot(x, hots)
  9. 		     
  10. plt.show()

 例二：Top100 博客等级分布图

 

  1. import matplotlib.pyplot as plt
  2.  
  3. plt.figure().canvas.set_window_title('CSDN Top100 博客等级分布示意图')
  4.  
  5. Level = [i[10] for i in Values]
  6. x = [i+1 for i in range(len(Level))]
  7. plt.scatter(x, Level,marker='o')
  8. 		     
  9. plt.show()

 注： 以上两代码中的 index 和 Values 两个列表是原爬虫程序中的全局变量，为省事我直接用了。同样的还有一个变量tagDict可以直接拿来用的：

tagDict
             
{'红书《题目与解读》': 1, '# Java Web': 1, '负载均衡': 1, 'String': 1, 'Html': 1, '编程入门': 1, 'Python爬虫': 1, '原力计划': 5, 'React.Js': 1, '模板': 1, 'Flutter': 1, 'Python Qt': 1, 'Leetcode题解集锦': 1, '搜索引擎': 1, '基础知识': 1, '后端': 8, 'Flutter骚操作': 1, 'Spring Boot': 2, 'Elasticsearch': 3, '架构': 1, 'Database': 3, 'Nginx': 3, '1024程序员节': 23, 'Waf攻防': 1, '计算机网络': 1, '程序员生存技能': 1, '二叉树': 1, '泛型类': 1, '日期工具类': 1, '拍卖': 1, 'Web前端': 1, 'Date': 1, '排序算法': 2, 'Javascript': 9, '源码分析': 1, '数据分析': 1, '大数据': 3, 'Linux': 6, '数据库': 5, 'Pycharm': 1, 'Vue.Js': 5, '操作系统': 2, '单片机': 1, '生活感悟': 1, 'Java成神之路之设计模式': 1, 'Create-Vue': 1, '蓝桥杯': 1, '贪心': 1, '【详细注释】数据结构与算法': 1, '项目': 1, 'Matlab': 1, 'Jdbc': 1, '微信小程序': 1, '# 中间件': 1, 'Bash': 1, 'Leetcode': 3, '同步': 1, '数据库应用': 1, '栈': 1, 'Language': 1, '开发语言': 10, 'Jwt': 1, 'Css': 3, 'Mysql': 1, '操作系统篇': 1, 'Vj': 1, 'Sqlite': 1, 'Java基础': 1, 'Spring': 4, '计算机网络养成': 1, '机器人': 1, 'Centos': 1, '机器视觉': 1, 'Kube-Controller-Manager': 1, '网络编程专题': 1, '从零开始Python+微信小程序开发': 1, 'C语言': 4, 'Spring Security': 1, '泛型': 1, '面试': 1, 'Elastic': 1, '读论文': 1, '数据处理': 1, '服务器': 3, '重学Java高并发': 1, '云原生': 1, 'Java': 25, '线性回归': 1, '基数排序': 1, '网络': 2, 'Rabbitmq': 1, 'Js': 1, '上位机': 1, 'Java基础概要': 1, 'React系列': 1, 'Qt': 1, '分类': 1, '网络协议': 1, '多线程': 1, '数据库开发': 1, 'Vue': 4, 'Jvm': 1, '常用算法考题': 1, '跨域': 1, 'Visio': 1, 'Es6': 2, '源码': 1, 'Synchronized': 1, '算法之力扣系列': 1, '老王和他的It界朋友们': 1, 'C++语言': 1, '进程管理': 1, '层序遍历': 1, 'Wireshark': 1, '知识点': 1, '经验分享': 1, 'Javascript百炼成仙（试读）': 1, 'Hibernate': 1, '运维': 2, '数据结构与算法': 1, '双指针': 1, '教程': 1, 'Python': 8, '# Python科学计算基础': 1, '编译原理': 1, 'Big Data': 2, '数据结构': 2, '程序人生': 1, 'Linux相关命令': 1, '单调栈': 1, '图像处理': 2, 'Oauth2': 1, 'Qclipboard': 1, 'Jupyter': 1, 'Lintcode算法': 1, 'Opengauss经验总结': 1, 'C++': 5, 'Springboot': 2, '算法设计': 1, 'Redis': 2, '刷题笔记': 1, '杂文': 1, 'Ecmascript': 2, 'Linux学习': 1, '剪贴数据类': 1, '基于Matlab与Fpga的数字图像处理': 1, '前端': 9, 'Opencv': 2, 'Android项目记录': 1, '人工智能学习之路': 1, '算法': 8, '分布式事务': 1, 'Epoll': 1, '复习': 1, 'Http': 1, 'C语言笔记': 1, 'Anaconda': 1, '计算机视觉': 1, '其他': 1, 'Npm': 1, 'Sso': 1, 'Gui设计': 1, 'Array': 1, '笔记': 3, '安装': 1, 'Kubernetes': 1, 'Sqlserver': 1, '泛型方法': 1, '# Spring': 1, '分布式': 1, 'Ros机械臂': 1, 'Docker': 1, '链表': 1, 'Css3': 2, 'Android': 1, '微服务': 1, 'Python计算机视觉': 1, '分布式&Amp;高并发': 1, '排序': 1}

这个变量可以用模块wordcloud （中文分词需要jieba模块配合）加工一下，生成Top100热榜文章的标签词云图。（有待下一篇再做，本篇完）
 

学习交流 Python 的群和公众号：

欢迎关注公众号

 http://qr01.cn/FHYKEa

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/羊村懒王/article/detail/210847
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号