Python 获取旅游景点信息及评论并作词云、数据可视化_景点评论 机器学习

正所谓：有朋自远方来，不亦乐乎？有朋友来找我们玩，是一件很快乐的事情，那么我们要尽地主之谊，好好带朋友去玩耍！那么问题来了，什么时候去哪里玩最好呢，哪里玩的地方最多呢？

今天将手把手教你使用线程池爬取同程旅行的景点信息及评论数据并做词云、数据可视化！！！带你了解各个城市的游玩景点信息。

在开始爬取数据之前，我们首先来了解一下线程。

线程

进程：进程是代码在数据集合上的一次运行活动，是系统进行资源分配和调度的基本单位。

线程：是轻量级的进程，是程序执行的最小单元，是进程的一个执行路径。

一个进程中至少有一个线程，进程中的多个线程共享进程的资源。

线程生命周期

在创建多线程之前，我们先来学习一下线程生命周期，如下图所示：

由图可知，线程可以分为五个状态——新建、就绪、运行、阻塞、终止。

首先新建一个线程并开启线程后线程进入就绪状态，就绪状态的线程不会马上运行，要获得CPU资源才会进入运行状态，在进入运行状态后，线程有可能会失去CPU资源或者遇到休眠、io操作（读写等操作）线程进入就绪状态或者阻塞状态，要等休眠、io操作结束或者重新获得CPU资源后，才会进入运行状态，等到运行完后进入终止状态。

注意：新建线程系统是需要分配资源的，终止线程系统是需要回收资源的，那么如何减去新建/终止线程的系统开销呢，这时我们可以创建线程池来重用线程，这样就可以减少系统的开销了。

在创建线程池之前，我们先来学习如何创建多线程。

创建多线程

创建多线程可以分为四步：

1. 创建函数；
2. 创建线程；
3. 启动线程；
4. 等待结束；

创建函数

为了方便演示，我们拿博客园的网页做爬虫函数，具体代码如下所示：

import requests
urls=[
   f'https://www.cnblogs.com/#p{page}'
   for page in range(1,50)
]
def get_parse(url):
   response=requests.get(url)
    print(url,len(response.text))

首先导入requests网络请求库，把我们所有的要爬取的URL保存在列表中，然后自定义函数get_parse来发送网络请求、打印请求的URL和响应的字符长度。

创建线程

在上一步我们创建了爬虫函数，接下来将创建线程了，具体代码如下所示：

import threading
#多线程
def multi_thread():
   threads=[]
   for url in urls:
       threads.append(
           threading.Thread(target=get_parse,args=(url,))
       )

首先我们导入threading模块，自定义multi_thread函数，再创建一个空列表threads来存放线程任务，通过threading.Thread()方法来创建线程。其中：

• target为运行函数；
• args为运行函数所需的参数。

注意args中的参数要以元组的方式传入，然后通过.append()方法把线程添加到threads空列表中。

启动线程

线程已经创建好了，接下来将启动线程了，启动线程很简单，具体代码如下所示：

for thread in threads:
   thread.start()

首先我们通过for循环把threads列表中的线程任务获取下来，通过.start()来启动线程。

等待结束

启动线程后，接下来将等待线程结束，具体代码如下所示：

for thread in threads:
   thread.join()

和启动线程一样，先通过for循环把threads列表中的线程任务获取下来，再使用.join()方法等待线程结束。

多线程已经创建好了，接下来将测试一下多线程的速度如何，具体代码如下所示：

if __name__ == '__main__':
t1=time.time()
   multi_thread()
   t2=time.time()
   print(t2-t1)

运行结果如下图所示：

多线程爬取50个博客园网页只要1秒多，而且多线程的发送网络请求的URL是随机的。

我们来测试