python爬虫爬取今日头条_爬取今日头条头条号文章数据

作者：你好赵伟 | 2024-08-10 13:24:59

踩

python爬头条号

0，背景介绍

最近想爬取一些今日头条的文章浏览数据，分析哪些头条号做的好，那些做的不好。

f057794a19ac

今日头条

比如上图的阅读数，评论数以及文章标题，通过这些数据进行分析。

于是展开了艰难的爬虫探索之旅

第一目标是爬取某个或某几个头条号的历史浏览数据。

直接列出取得的结果吧

1，获得url

这一步非常关键，特意去请教了爬虫大神，得出要用Charles或其他的工具来获得数据存放的位置，注意，头条号的文章列表数据无法在HTML中直接定位到。

只要将“3400026401”一串数字，替换成每个账号的域名的数字，就可以爬取每个账号的内容了。

这种笨办法只能一个个爬取，因为时间和基础有限，计划先把这条路走通了再说。

还有一点就是，今日头条有反爬虫机制，如果通过机器批量下载存在风险，如何避过反爬虫机制又要花大量时间

2，复制json

将上述网址复制到浏览器中，既可以得到一大段json，长成这样，第一次见json

f057794a19ac

json

用这个bejson工具，将原格式的json翻译一下，bejson

翻译之后就可

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/958684