当前位置:   article > 正文

python(BeautifulSoup)爬取wiki页面内容,并写入EXCEL中_python 爬取wiki页面内容

python 爬取wiki页面内容

1、每个版本都会发布n多个功能点,功能点全部列在wiki上,但是发现wiki使用起来并不是很方便,尤其列在上面的内容有长、有短,内容参差不齐。所以,就想到了用python爬取页面内容,寻找规律,将爬取的数据写入到excel表中,查看和统计数据方便很多。提升了测试管理效率,尽量通过自动化实现测试数据的汇总整理。

2、主要应用contents属性,contents能够获取到的是标签下的第一个标签,得到的是一个数组列表,且是一个bs4.element.Tag,支持取text属性值

  1. #!/usr/bin/env python
  2. # -*- coding: utf-8 -*-
  3. import requests
  4. from bs4 import BeautifulSoup
  5. import xlwt
  6. import xlrd
  7. from xlutils import copy
  8. import os
  9. # 功能点wiki
  10. url_api = 'http://wiki.xxx.com/pages/viewpage.action?pageId=33884117'
  11. #文件存放路径
  12. file_path ='E:\\003spider\\commit_testlist_ok\\'
  13. excel_name = 'testlist_commit.xlsx'
  14. #判断文件目录的存在性
  15. def dir_exists(file_path):
  16. is_exists = os.path.exists(file_path)
  17. if not is_exists:
  18. os.makedirs(file_path)
  19. return file_path
  20. else:
  21. return file_path
  22. #判断excel文件的存在性
  23. def file_excel_exists(fi
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/你好赵伟/article/detail/368298
推荐阅读
相关标签
  

闽ICP备14008679号