python创建线程池(threadpool模块和multiprocessing模块)_threatpool和multiprocessing

1.threadpool模块

调入模块

import threadpool
1

创建线程池

pool = threadpool.ThreadPool(10)
1

这里的"10"代表创建10个子线程

规定线程池执行的任务

tasks = threadpool.makeRequests(outdata,datalist)
1

outdata是函数名，datalist是一个参数列表，线程池会依次提取datalist中的参数引入到函数中来执行函数，所以参数列表的长度也就是线程池所要执行的任务数量。

将要执行的任务放入线程池中

[pool.putRequest(req) for req in tasks]
1

这里的结构是固定的，需要更改的就是 pool:线程池对象名 和 tasks:执行的任务对象名

等待所有子线程执行完毕后退出

pool.wait()
1

实例

import threadpool  #线程池模块
import time

def outdata(name):  #线程池执行的函数
    print("你好 %s" % name)
    time.sleep(3)

time1 = time.time()
datalist = []  #创建参数列表
for i in range(10):
    datalist.append(i)
    
pool = threadpool.ThreadPool(10) #线程池创建10个子线程
tasks = threadpool.makeRequests(outdata,datalist)  #参数列表长度为10 所以要执行10个任务
[pool.putRequest(req) for req in tasks]  #将要执行的任务放入线程池中
pool.wait()  #等待所有子线程执行完毕后退出
time2 = time.time()
print(time2-time1)  #从开始到结束所用的时间
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

执行结果：

你好 0你好 1你好 2
你好 3
你好 4
你好 5你好 6
你好 7


你好 8
你好 9

3.0033936500549316
1
2
3
4
5
6
7
8
9
10
11

所有任务在同一时刻执行完毕，所用时间为3秒

2.multiprocessing模块

调入模块

from multiprocessing.dummy import Pool
1

创建线程池

pool = Pool(10)
1

规定线程池执行的任务

result = pool.map(outdata,datalist)
1

outdata为所要执行的函数，datalist为参数列表，和threadpool的方法是一样的，线程池也会依次在参数列表中提取参数带入函数中来执行函数，参数列表的长度也就是线程池所要执行的任务数量。

等待所有子线程执行完毕后退出

pool.join()
1

这里要注意的是，在执行 pool.join方法之前，要先执行：

pool.close()
1

执行完 pool.close 方法后就不有新的线程加入到pool中

实例

from multiprocessing.dummy import Pool
import time

def outdata(name):  #线程池所要执行的函数
    print("你好 %s" % name)
    time.sleep(3)

time1 = time.time()
datalist = []  #创建参数列表
for i in range(10):
    datalist.append(i)
    
pool = Pool(10)  #创建10个子线程
result = pool.map(outdata,datalist)  # 参数列表长度为10 所以要执行10个任务
pool.close()
pool.join()  #等待所有子线程执行完毕后退出，在此之前要执行 .close 方法
time2 = time.time()
print(time2-time1)  #从开始到结束所用的时间
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

执行结果：

你好 0你好 1你好 2


你好 3
你好 4
你好 5你好 6你好 7

你好 8

你好 9
3.020441770553589
1
2
3
4
5
6
7
8
9
10
11

所有任务在同一时刻执行完毕，所用时间为3秒