当前位置:   article > 正文

使用webScraper 快速上手爬取数据(一)_web scraper

web scraper

web Scraper
简介下载
  web Scraper是chrome中的一个插件,用来可视化爬虫,优点便是简单易操作,能满足小白的日常爬虫需求。可以做到不写代码进行爬取需要的数据

2023-07-13T09:38:20.png

在chrome浏览器中下载
若无法访问chrome,可以用Firefox浏览器作为替代来使用web scraper插件,下载安装Firefox浏览器
第一次简单爬取
任意进入一个页面,点击F12进入开发者后台。
 

2023-07-13T09:50:42.png


下面我们点击create new sitemap,然后点击create sitemap (创建网站地图),打开后会有name和URL选项
 

2023-07-13T09:54:48.png

2023-07-13T09:58:12.png

第一次进行爬虫练习选择爬取哔哩哔哩首页的视频name
 

2023-07-13T10:08:06.png


点击create sitemap
然后Add new selector
 

2023-07-13T10:12:00.png


Select选择在页面进行操作: 
 

2023-07-13T10:15:33.png


最后点击Save selector
 

2023-07-13T10:17:15.png


进行爬取
 

2023-07-13T10:18:13.png


设置页面加载延迟,防止访问太快
 

2023-07-13T10:22:34.png


然后点击start scraping开始爬取
当窗体一闪而过就说明爬取成功
可以去把爬取到的数据
下载到本地了
 

2023-07-13T10:26:15.png


由于bilibili每次打开都会刷新页面所以每次爬取到的name不一样
这就是进行简单使用web Scraper.
下面将会去学习如何将全部数据都爬取下来,以及控制链接参数实现翻页功能等。
**相比前面学习的爬虫框架之类的,这个插件可以说是大大提高工作效率(不用去写复杂代码了,提供了摸鱼时间)。有时站在巨人的肩膀上看世界还是很舒服的。**

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/寸_铁/article/detail/976912
推荐阅读
相关标签
  

闽ICP备14008679号