python 多进程读取文件(Python实现的多进程拷贝文件并显示百分比功能示例)
python 多进程读取文件
Python实现的多进程拷贝文件并显示百分比功能示例本文实例讲述了python实现的多进程拷贝文件并显示百分比功能。分享给大家供大家参考,具体如下:
centos7下查看cup核数:
|
# 总核数 = 物理cpu个数 x 每颗物理cpu的核数 # 总逻辑cpu数 = 物理cpu个数 x 每颗物理cpu的核数 x 超线程数 # 查看物理cpu个数 cat / proc / cpuinfo| grep "physical id" | sort| uniq| wc - l # 查看每个物理cpu中core的个数(即核数) cat / proc / cpuinfo| grep "cpu cores" | uniq # 查看逻辑cpu的个数 cat / proc / cpuinfo| grep "processor" | wc - l |
本示例拷贝文件采用的是最简单的但是有最复杂的方式:
1,根据要拷贝的文件夹名称,创建一个新的文件夹用来存储文件
2,读取源文件夹下的文件内容,将其写入目的文件夹下同名的文件中
直接上代码:
|
# coding=utf-8 from multiprocessing import pool, manager import os import traceback import time def copyfiletask(name, oldfoldername, newfoldername, queue): """copy文件""" fr = open (oldfoldername + "/" + name) fw = open (newfoldername + "/" + name, "w" ) content = fr.read() fw.write(content) fr.close() fw.close() # 将copy完成的文件名称put进队列 queue.put(name) def main(): try : # 0. 获取要copy的文件夹 # oldfoldername = input("请输入文件夹的名字:") # python3 oldfoldername = raw_input ( "请输入文件夹的名字:" ) # python2 # 1. 创建一个新的文件夹 print 'mkdir new file ------' newfoldername = str (oldfoldername) + "-copy" # print(newfoldername) os.mkdir(newfoldername) # 2. 获取old文件夹中的所有的文件名字 filenames = os.listdir(oldfoldername) # print(filenames) # 3. 使用多进程的方式copy 原文件夹中的所有文件到新的文件夹中 pool = pool( 5 ) # 创建一个队列 queue = manager().queue() for name in filenames: pool.apply_async(copyfiletask, args = (name, oldfoldername, newfoldername, queue)) pool.close() # 关闭进程池,不再接受请求 pool.join() # 等待所有的子进程结束 num = 0 # 需要copy的文件总数 allnum = len (filenames) while num < allnum: # 收数据 queue.get() num + = 1 copyrate = float (num) / allnum # 打印copy的进度 time.sleep( 0.1 ) # 容易看出来打印百分比的变化,延长百分比更新的时间 print "\rcopy的进度是:%.2f%%" % (copyrate * 100 ), print "\ncopy success ------" except : traceback.print_exc() if __name__ = = "__main__" : main() |
下面采用python模块shutil模块进行copy操作:
|
# coding=utf-8 from multiprocessing import pool, manager import os import traceback import time import shutil def copyfiletask(name, old_path, new_path, queue): """copy文件""" src_path = os.path.join(old_path, name) dst_path = os.path.join(new_path, name) shutil.copy(src_path, dst_path) # 拷贝文件 # shitil.move(src_path, dst_path) # 移动文件 # 将copy完成的文件名称put进队列 queue.put(name) def main(): try : # 0. 获取要copy的文件夹 oldfoldername = raw_input ( "请输入文件夹的名字:" ) print '要拷贝的源文件夹: ' , oldfoldername # 1. 创建一个新的文件夹 newfoldername = raw_input ( "请输入文件夹的名字:" ) print '目标文件夹:' , newfoldername # 获取当前所在的路径 now_path = os.getcwd() print "当前所在路径: " , now_path old_path = os.path.join(now_path, oldfoldername) print '源文件夹路径: ' , old_path new_path = os.path.join(now_path, newfoldername) print '目标文件夹路径: ' , new_path if not os.path.exists(new_path): os.mkdir(new_path) # 3. 使用多进程的方式copy 原文件夹中的所有文件到新的文件夹中 pool = pool( 5 ) # 创建5条进程 queue = manager().queue() # 创建一个队列 # 遍历源文件夹 for root, dirs, files in os.walk(oldfoldername): """ root 所指的是当前正在遍历的这个文件夹的本身的地址 dirs 是一个 list ,内容是该文件夹中所有的目录的名字(不包括子目录) files 同样是 list , 内容是该文件夹中所有的文件(不包括子目录) """ print '源文件夹下的文件数量::' , len (files) s_t = time.time() for file in files: pool.apply_async(copyfiletask, args = ( file , old_path, new_path, queue)) # 向进程池中添加任务 pool.close() # 关闭进程池,不再接受请求 pool.join() # 等待所有的子进程结束 print '耗时:{} 秒' . format (time.time() - s_t) num = 0 # 需要copy的文件总数 allnum = len (files) print 'len(filenames) = ' , allnum while true: # 收数据 # print '收数据 ------' queue.get() # print 'queue.get() ------', queue.get() num + = 1 copyrate = float (num) / allnum # 打印copy的进度 print "\rcopy的进度是:%.2f%%" % (copyrate * 100 ), if num = = allnum: break print "\ncopy success ------" except : traceback.print_exc() if __name__ = = "__main__" : main() |
输出:(由于我的cup核数为1核,在使用多进程的过程中,操作系统在轮询的时候,频繁的切换任务,浪费时间导致多进程比单进程耗时更长。)
[root@centos7 mnt]# python copy_file_test.py
请输入文件夹的名字:hdfs
要拷贝的源文件夹: hdfs
请输入文件夹的名字:test01
目标文件夹: test01
当前所在路径: /mnt
源文件夹路径: /mnt/hdfs
目标文件夹路径: /mnt/test01
源文件夹下的文件数量:: 8165
耗时:253.655323982 秒
len(filenames) = 8165
copy的进度是:100.00%
copy success ------
单进程拷贝文件:
|
# coding=utf-8 from queue import queue import os import traceback import time import shutil def copyfiletask(name, old_path, new_path, queue): """copy文件""" src_path = os.path.join(old_path, name) dst_path = os.path.join(new_path, name) shutil.copy(src_path, dst_path) # 拷贝文件 # shitil.move(src_path, dst_path) # 移动文件 # 将copy完成的文件名称put进队列 queue.put(name) def main(): try : # 0. 获取要copy的文件夹 oldfoldername = raw_input ( "请输入文件夹的名字:" ) print '要拷贝的源文件夹: ' , oldfoldername # 1. 创建一个新的文件夹 newfoldername = raw_input ( "请输入文件夹的名字:" ) print '目标文件夹:' , newfoldername # 获取当前所在的路径 now_path = os.getcwd() print "当前所在路径: " , now_path old_path = os.path.join(now_path, oldfoldername) print '源文件夹路径: ' , old_path new_path = os.path.join(now_path, newfoldername) print '目标文件夹路径: ' , new_path if not os.path.exists(new_path): os.mkdir(new_path) queue = queue() # 创建一个队列 # 遍历源文件夹 for root, dirs, files in os.walk(oldfoldername): """ root 所指的是当前正在遍历的这个文件夹的本身的地址 dirs 是一个 list ,内容是该文件夹中所有的目录的名字(不包括子目录) files 同样是 list , 内容是该文件夹中所有的文件(不包括子目录) """ print '源文件夹下的文件数量::' , len (files) s_t = time.time() # 调用函数拷贝文件 for file in files: copyfiletask( file , old_path, new_path, queue) print '耗时:{} 秒' . format (time.time() - s_t) num = 0 # 需要copy的文件总数 allnum = len (files) print 'len(filenames) = ' , allnum while true: # 收数据 # print '收数据 ------' queue.get() # print 'queue.get() ------', queue.get() num + = 1 copyrate = float (num) / allnum # 打印copy的进度 print "\rcopy的进度是:%.2f%%" % (copyrate * 100 ), if num = = allnum: break print "\ncopy success ------" except : traceback.print_exc() if __name__ = = "__main__" : main() |
输出:
[root@centos7 mnt]# python copy_file_test_dan.py
请输入文件夹的名字:hdfs
要拷贝的源文件夹: hdfs
请输入文件夹的名字:test02
目标文件夹: test02
当前所在路径: /mnt
源文件夹路径: /mnt/hdfs
目标文件夹路径: /mnt/test02
源文件夹下的文件数量:: 8165
耗时:122.284090996 秒
len(filenames) = 8165
copy的进度是:100.00%
copy success ------
我的虚拟机cpu核数:1
如下:
|
[root@centos7 mnt] # cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l 1 [root@centos7 mnt] # cat /proc/cpuinfo| grep "cpu cores"| uniq cpu cores : 1 [root@centos7 mnt] # cat /proc/cpuinfo| grep "processor"| wc -l 1 |
希望本文所述对大家python程序设计有所帮助。
原文链接:https://blog.csdn.net/xuezhangjun0121/article/details/88777303
- ubuntu python3.7安装(详解Ubuntu16.04安装Python3.7及其pip3并切换为默认版本)
- matlab嵌入python代码(python调用matlab的m自定义函数方法)
- python中如何限制数字的个数(python 处理数字,把大于上限的数字置零实现方法)
- thinkphp实战教程之博客技术学习(python3编写ThinkPHP命令执行Getshell的方法)
- python技巧图解(Python魔法方法功能与用法简介)
- python中if语句应学会什么(Python基础之条件控制操作示例if语句)
- python从零开始学习人工智能(为何人工智能AI首选Python?读完这篇文章你就知道了推荐)
- python气温变化数据分析(基于python历史天气采集的分析)
- python模块都是自己的语法(详解Python_shutil模块)
- pyqt一键部署python环境(python使用PyQt5的简单方法)
- python字符串的拼接与分割(Python字符串通过'+'和join函数拼接新字符串的性能测试比较)
- python json转换字符串(python3 json数据格式的转换dumps/loads的使用、dict to str/str to dict、json字符串/字典)
- pythonrequest包设置编码(解决python3中的requests解析中文页面出现乱码问题)
- python爬取微博登录数据(Python实现爬取马云的微博功能示例)
- python循环创建字典(Python字典的基本用法实例分析创建、增加、获取、修改、删除)
- python编写一个名片(详解Python做一个名片管理系统)
- 太鸡贼了,这老小区轻松搞定了停车问题(这老小区轻松搞定了停车问题)
- 太鸡贼了,这老小区轻松搞定了停车问题(这老小区轻松搞定了停车问题)
- 节日我在岗|警景相融 平安相伴(节日我在岗警景相融)
- 战 疫 时刻 致敬每一位石化大学的 守护者(战疫时刻)
- 老弄堂里的市井味道(老弄堂里的市井味道)
- 小米音乐可绑定QQ音乐, QQ音乐 真的会消失在小米的设备上吗(小米音乐可绑定QQ音乐)
热门推荐
- mysql更新数据库表中的数据语法(Mysql联表update数据的示例详解)
- nginx 配置强制跳转https(Nginx实现https网站配置代码实例)
- python计算csv的行数(对Python 多线程统计所有csv文件的行数方法详解)
- mysql用什么类型数据(MySQL 数据类型选择原则)
- volume怎么添加docker(docker volume删除卷的操作)
- php依赖注入对象注册(php依赖注入知识点详解)
- navicat连接报错10038(解决Navicat for Mysql连接报错1251的问题连接失败)
- 云服务存储空间不足(云服务器内存资源不足解决方案)
- sql中having用法(sql中的 where 、group by 和 having 用法解析)
- docker和tomcat建立连接(如何基于Dockerfile构建tomcat镜像)
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9