Python3从零开始爬取今日头条的新闻【三、滚动到底自动加载】_爬取头条新闻

Python3从零开始爬取今日头条的新闻【一、开发环境搭建】
Python3从零开始爬取今日头条的新闻【二、首页热点新闻抓取】
Python3从零开始爬取今日头条的新闻【三、滚动到底自动加载】
Python3从零开始爬取今日头条的新闻【四、模拟点击切换tab标签获取内容】
Python3从零开始爬取今日头条的新闻【五、解析头条视频真实播放地址并自动下载】

所谓爬虫，就是通过编程的方式自动从网络上获取自己所需的资源，比如文章、图片、音乐、视频等多媒体资源。通过一定的方式获取到html的内容，再通过各种手段分析得到自己所需的内容，比如通过BeautifulSoup对网页内容进行解析提取。

本文通过selenium的webdriver模拟浏览器来浏览网页，通过lxml库解析得到咱所需的内容。下面开始我们的爬虫工作。

1.目标

我们今天的目标是自动加载多页新闻内容的：标题、图片、作者、类型、发布时间

在浏览器里，头条的首页是可以不断滑动到底自动加载下一页新闻内容的，我们在上一篇文章Python3从零开始爬取今日头条的新闻【二、首页热点新闻抓取】 中实现的，只能获取第一页的10条新闻，因为这些新闻内容是通过异步请求刷新的，本节我们将实现自动循环加载N页新闻内容

2.实现

2.1、模拟页面滚动到底

我们看下在上一节实践中我们写的代码：

 """
    获取头条首页内容
    """
    def __getTouTiaoHtml(self, url):
        
        # 简单的入参校验
        if url and '' != url and url.startswith("http"):
            
            # 浏览器打开页面
            self.__browser.get(url)

            try:
                # 此处等到我们所需的热文元素加载出来了再进行下一步，避免页面还没加载完成就去解析内容导致内容为空
                element = WebDriverWait(self.__browser, 10).until(
                    EC.presence_of_element_located((By.XPATH, "//ul/li/div[@ga_event=article_item_click]"))
                )
                    
            except Exception as ex:
                print(ex)
            finally:
                pass
         
            resHtml = self.__browser.page_source
            return resHtml
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

---

在try-catch 那里只是等待页面加载完成出现新闻内容的布局元素后，就往下继续执行了，所以这里只能加载一页数据。找到问题就好办了，那么我们在 resHtml = self.__browser.page_source 这行代码之前，加一段代码实现循环模拟滑动滚动条到底部触发自动加载机制来加载更多内容：

1、简单实现：通过滑动到底后，sleep一定时间来保障分页内容加载完成：

try:
     """ 模拟滚动到底部加载下一页，一共循环6次，每次等待4s，这个时间根据网速调整，如果你需要获取更多，那么把循环的范围加大就行了。
     """
    for i in range(1, 6):
        self.__browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
        time.sleep(4)
except Exception as ex:
    print(ex)
1
2
3
4
5
6
7
8

最后，重新执行下，就能看到效果了，总共获取了70条新闻内容

---

2、高逼格一点的方法：我们分析下图布局：

加载中…这个布局，在新的分页内容加载过程中，这个style的display值不是none，而当加载完成后，这个display值变为none了，根据这个规律，我们可以根据底部这个加载中的布局从可见到隐藏状态的切换，来表示分页内容加载完成了，具体代码如下，替换上面方法1中的sleep(4)：

    try:
	# 模拟滚动到底部
	for i in range(1, 6):
	   self.__browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
	   # sleep(4)  替换为下面的方式来监听分页内容是否加载完成了。
	   try:
	        # 此处等到我们所需的热文元素加载出来了再进行下一步，避免页面还没加载完成就去解析内容导致内容为空
	       element = WebDriverWait(self.__browser, 10).until(
	           EC.presence_of_element_located((By.XPATH, '//span[contains(text(), "加载中")]/../div[@class="feed-infinite-wrapper"]/div[contains(@class, "ball-pulse")][contains(@class, "loading")][@style="display: none;"]'))
	       )
	   except Exception as ex:
	       pass
	  
     except Exception as ex:
     print(ex)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

---

本文完整代码 →：下载地址

---

全文完结，后续实现用其它框架来爬虫新闻资源。敬请期待~

---

Python3从零开始爬取今日头条的新闻【一、开发环境搭建】
Python3从零开始爬取今日头条的新闻【二、首页热点新闻抓取】
Python3从零开始爬取今日头条的新闻【三、滚动到底自动加载】
Python3从零开始爬取今日头条的新闻【四、模拟点击切换tab标签获取内容】
Python3从零开始爬取今日头条的新闻【五、解析头条视频真实播放地址并自动下载】

---

参考资料：

[1]: XPath语法参考
[2]: 廖雪峰老师的Python3 在线学习手册
[3]: Python3官方文档
[4]: 菜鸟学堂-Python3在线学习
[5]: 其他所有分享过python学习填坑网友的经验