@python 线程池 *
** import time import threadpool def print_result(request, result): print “the result is %s %r\n” % (request.requestID, result)
def test(i): return ‘test’ request_list = [] num = 2000 param = range(0, num) pool = threadpool.ThreadPool(num) request_list = threadpool.makeRequests(test, param, print_result) [pool.putRequest(req) for req in request_list] pool.wait() **
:** Exception in thread Thread-892 (most likely raised during interpreter shutdown)
看了threadpool的源码后,发现源码中有setDaemon(1)这个操作,即将子线程作为守护线程,意味着:当主线程结束后,子线程会被主线程强势顺带杀掉。
此时,虽然pool.wait()根据workRequests为空,判断出所有任务都已经执行完毕。但是线程池里的线程,仍然在while true下不停地非阻塞地去取任务队列中的任务。
当主线程结束,python解释器停止工作,标准输入、标准输出、循环等功能也会停止,因此“线程池中的线程不停地去寻找任务”的操作会报错。
import time import threadpool def test(i): return ‘test’ request_list = [] num = 2000 param = range(0, num) pool = threadpool.ThreadPool(num, poll_timeout=None) request_list = threadpool.makeRequests(test, param) [pool.putRequest(req) for req in request_list] pool.wait()
如此,当子线程完成任务,循环去搜索新任务的时候,发现任务队列为空,则会阻塞式地去等待任务队列里插入新的任务,当线程阻塞的时候,用不到python解释器中的内容。即使主线程强制杀死子线程,子线程也不会报错。 2. 另主线程永远不退出。 主线程不退出,则子线程也不会被杀,必然不会报错。这也是“线程池”概念的体现,池子永远存在,子线程永远不死。不去调用threadpool自带的wait()函数,自己重写一个,在while true下自己去调用poll()函数,完成回调函数等功能。在while true下定义一个Queue队列,当捕获到NoResultsPending异常,证明所有任务完成,调用
Queue.get(block=True, timeout=None) 此时,其他模块可以往此处的Queue中加入新的任务,threadpool从Queue中获取新的任务,继续执行。
参考:https://blog.csdn.net/daijiguo/article/details/79488548