当前位置:   article > 正文

python创建线程池(threadpool模块和multiprocessing模块)_threatpool和multiprocessing

threatpool和multiprocessing

1.threadpool模块

调入模块

import threadpool
  • 1

创建线程池

pool = threadpool.ThreadPool(10)
  • 1

这里的"10"代表创建10个子线程

规定线程池执行的任务

tasks = threadpool.makeRequests(outdata,datalist)
  • 1

outdata是函数名,datalist是一个参数列表,线程池会依次提取datalist中的参数引入到函数中来执行函数,所以参数列表的长度也就是线程池所要执行的任务数量。

将要执行的任务放入线程池中

[pool.putRequest(req) for req in tasks]
  • 1

这里的结构是固定的,需要更改的就是 pool:线程池对象名 和 tasks:执行的任务对象名

等待所有子线程执行完毕后退出

pool.wait()
  • 1

实例

import threadpool  #线程池模块
import time

def outdata(name):  #线程池执行的函数
    print("你好 %s" % name)
    time.sleep(3)

time1 = time.time()
datalist = []  #创建参数列表
for i in range(10):
    datalist.append(i)
    
pool = threadpool.ThreadPool(10) #线程池创建10个子线程
tasks = threadpool.makeRequests(outdata,datalist)  #参数列表长度为10 所以要执行10个任务
[pool.putRequest(req) for req in tasks]  #将要执行的任务放入线程池中
pool.wait()  #等待所有子线程执行完毕后退出
time2 = time.time()
print(time2-time1)  #从开始到结束所用的时间
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18

执行结果:

你好 0你好 1你好 2
你好 3
你好 4
你好 5你好 6
你好 7


你好 8
你好 9

3.0033936500549316
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

所有任务在同一时刻执行完毕,所用时间为3秒

2.multiprocessing模块

调入模块

from multiprocessing.dummy import Pool
  • 1

创建线程池

pool = Pool(10)
  • 1

规定线程池执行的任务

result = pool.map(outdata,datalist)
  • 1

outdata为所要执行的函数,datalist为参数列表,和threadpool的方法是一样的,线程池也会依次在参数列表中提取参数带入函数中来执行函数,参数列表的长度也就是线程池所要执行的任务数量。

等待所有子线程执行完毕后退出

pool.join()
  • 1

这里要注意的是,在执行 pool.join方法之前,要先执行:

pool.close()
  • 1

执行完 pool.close 方法后就不有新的线程加入到pool中

实例

from multiprocessing.dummy import Pool
import time

def outdata(name):  #线程池所要执行的函数
    print("你好 %s" % name)
    time.sleep(3)

time1 = time.time()
datalist = []  #创建参数列表
for i in range(10):
    datalist.append(i)
    
pool = Pool(10)  #创建10个子线程
result = pool.map(outdata,datalist)  # 参数列表长度为10 所以要执行10个任务
pool.close()
pool.join()  #等待所有子线程执行完毕后退出,在此之前要执行 .close 方法
time2 = time.time()
print(time2-time1)  #从开始到结束所用的时间
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18

执行结果:

你好 0你好 1你好 2


你好 3
你好 4
你好 5你好 6你好 7

你好 8

你好 9
3.020441770553589
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

所有任务在同一时刻执行完毕,所用时间为3秒

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/知新_RL/article/detail/74874
推荐阅读
相关标签
  

闽ICP备14008679号