Python爬虫, 哪些奇特的网站值得一爬! 谱时网爬虫实例_经常被爬的网站

作者：一键难忘520 | 2024-08-09 19:25:50

踩

经常被爬的网站

在我们学习的过程中，打开一个网站就想抓一次数据，但是并不是所有的网站都可以用一种方式抓到数据的，有的是网页结构特殊，有的是json数据包不一样，慢慢的写一些自己在抓站过程中遇到的奇特的网站，分享思路和抓取方法给大家！

工具、目标

工具：pycharm、python3.6版本

库：requests库

目标：谱时网热门图片直播页面，所有的图片信息

说明：该网站有热门图片页面，里面有活动的相关照片，按活动将所有的图片信息写入txt文档（不下载图片，是为了不对服务器造成影响）！

目标分析

首先，如上图打开主页，其它的不用管，直接点击右上角，出现选项后，点击进入热门图片直播选项（注意：有的浏览器要缩放页面，才可以看到热门图片直播的选项），进入后页面如下所示

这里我是缩放到了30%，下方呢，就是一个个的活动图片直播的页面了。随便点开一个活动，我们看看页面

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/一键难忘520/article/detail/954736