python多线程处理大量文件数据

在python中，我们会遇到处理大量文件数据的时候。如果我们用for循环顺序处理，处理文件数据效率额很低，这时我们就可以使用我们的多线程来处理多个超大的文件数据。

第一步：导入import threading 模块

importthreading

第二步：使用多线程可以同时打开并运行多个数据

#!/usr/bin/envpython
#encoding=utf-8

importthreading
importtime
fromQueueimportQueue

defreadFile():
file_object=open('/opt/dev/python/list.dat')
globalqueue
forlineinfile_object:
queue.put(line)

classConsumer(threading.Thread):
defrun(self):
globalqueue
whilequeue.qsize()>0:
msg=self.name+'消费了'+queue.get()
printmsg
time.sleep(0.01)

queue=Queue()
defmain():
readFile()
foriinrange(5):
c=Consumer()
c.start()

if__name__=='__main__':
main()

以上就是用python多线程处理大量数据的演示代码，如果有需要处理大量文件的小伙伴，可以尝试使用多线程，会方便很多哦~