您的位置：首页 > 脚本大全 > > 正文

python 多进程读取文件（Python实现的多进程拷贝文件并显示百分比功能示例）

更多 时间：2021-10-20 08:44:29 类别：脚本大全 浏览量：1267

python 多进程读取文件

Python实现的多进程拷贝文件并显示百分比功能示例

本文实例讲述了python实现的多进程拷贝文件并显示百分比功能。分享给大家供大家参考，具体如下：

centos7下查看cup核数：

  • ?
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
    		•
  • # 总核数 = 物理cpu个数 x 每颗物理cpu的核数
  • # 总逻辑cpu数 = 物理cpu个数 x 每颗物理cpu的核数 x 超线程数
  • # 查看物理cpu个数
  • cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l
  • # 查看每个物理cpu中core的个数(即核数)
  • cat /proc/cpuinfo| grep "cpu cores"| uniq
  • # 查看逻辑cpu的个数
  • cat /proc/cpuinfo| grep "processor"| wc -l
    		•

    本示例拷贝文件采用的是最简单的但是有最复杂的方式：

    1，根据要拷贝的文件夹名称，创建一个新的文件夹用来存储文件

    2，读取源文件夹下的文件内容，将其写入目的文件夹下同名的文件中

    直接上代码：

  • ?
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
    		•
  • # coding=utf-8
  • from multiprocessing import pool, manager
  • import os
  • import traceback
  • import time
  • def copyfiletask(name, oldfoldername, newfoldername, queue):
  •   """copy文件"""
  •   fr = open(oldfoldername+"/"+name)
  •   fw = open(newfoldername+"/"+name, "w")
  •   content = fr.read()
  •   fw.write(content)
  •   fr.close()
  •   fw.close()
  •   # 将copy完成的文件名称put进队列
  •   queue.put(name)
  • def main():
  •   try:
  •     # 0. 获取要copy的文件夹
  •     # oldfoldername = input("请输入文件夹的名字：") # python3
  •     oldfoldername = raw_input("请输入文件夹的名字：") # python2
  •     # 1. 创建一个新的文件夹
  •     print 'mkdir new file ------'
  •     newfoldername = str(oldfoldername) + "-copy"
  •     # print(newfoldername)
  •     os.mkdir(newfoldername)
  •     # 2. 获取old文件夹中的所有的文件名字
  •     filenames = os.listdir(oldfoldername)
  •     # print(filenames)
  •     # 3. 使用多进程的方式copy 原文件夹中的所有文件到新的文件夹中
  •     pool = pool(5)
  •     # 创建一个队列
  •     queue = manager().queue()
  •     for name in filenames:
  •       pool.apply_async(copyfiletask, args=(name, oldfoldername, newfoldername, queue))
  •     pool.close() # 关闭进程池，不再接受请求
  •     pool.join() # 等待所有的子进程结束
  •     num = 0
  •     # 需要copy的文件总数
  •     allnum = len(filenames)
  •     while num < allnum:
  •       # 收数据
  •       queue.get()
  •       num += 1
  •       copyrate = float(num) / allnum
  •       # 打印copy的进度
  •       time.sleep(0.1) # 容易看出来打印百分比的变化，延长百分比更新的时间
  •       print "\rcopy的进度是:%.2f%%" % (copyrate*100),
  •     print "\ncopy success ------"
  •   except:
  •     traceback.print_exc()
  • if __name__ == "__main__":
  •   main()
    		•

    下面采用python模块shutil模块进行copy操作：

  • ?
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
    		•
  • # coding=utf-8
  • from multiprocessing import pool, manager
  • import os
  • import traceback
  • import time
  • import shutil
  • def copyfiletask(name, old_path, new_path, queue):
  •   """copy文件"""
  •   src_path = os.path.join(old_path, name)
  •   dst_path = os.path.join(new_path, name)
  •   shutil.copy(src_path, dst_path) # 拷贝文件
  •   # shitil.move(src_path, dst_path) # 移动文件
  •   # 将copy完成的文件名称put进队列
  •   queue.put(name)
  • def main():
  •   try:
  •     # 0. 获取要copy的文件夹
  •     oldfoldername = raw_input("请输入文件夹的名字：")
  •     print '要拷贝的源文件夹： ', oldfoldername
  •     # 1. 创建一个新的文件夹
  •     newfoldername = raw_input("请输入文件夹的名字：")
  •     print '目标文件夹：', newfoldername
  •     # 获取当前所在的路径
  •     now_path = os.getcwd()
  •     print "当前所在路径： ", now_path
  •     old_path = os.path.join(now_path, oldfoldername)
  •     print '源文件夹路径： ', old_path
  •     new_path = os.path.join(now_path, newfoldername)
  •     print '目标文件夹路径： ', new_path
  •     if not os.path.exists(new_path):
  •       os.mkdir(new_path)
  •     # 3. 使用多进程的方式copy 原文件夹中的所有文件到新的文件夹中
  •     pool = pool(5) # 创建5条进程
  •     queue = manager().queue() # 创建一个队列
  •     # 遍历源文件夹
  •     for root, dirs, files in os.walk(oldfoldername):
  •       """
  •       root 所指的是当前正在遍历的这个文件夹的本身的地址
  •       dirs 是一个 list ，内容是该文件夹中所有的目录的名字(不包括子目录)
  •       files 同样是 list , 内容是该文件夹中所有的文件(不包括子目录)
  •       """
  •       print '源文件夹下的文件数量:：', len(files)
  •       s_t = time.time()
  •       for file in files:
  •         pool.apply_async(copyfiletask, args=(file, old_path, new_path, queue)) # 向进程池中添加任务
  •       pool.close() # 关闭进程池，不再接受请求
  •       pool.join() # 等待所有的子进程结束
  •       print '耗时：{} 秒'.format(time.time() - s_t)
  •       num = 0
  •       # 需要copy的文件总数
  •       allnum = len(files)
  •       print 'len(filenames) = ', allnum
  •       while true:
  •         # 收数据
  •         # print '收数据 ------'
  •         queue.get()
  •         # print 'queue.get() ------', queue.get()
  •         num += 1
  •         copyrate = float(num) / allnum
  •         # 打印copy的进度
  •         print "\rcopy的进度是:%.2f%%" % (copyrate*100),
  •         if num == allnum:
  •           break
  •     print "\ncopy success ------"
  •   except:
  •     traceback.print_exc()
  • if __name__ == "__main__":
  •   main()
    		•

    输出：（由于我的cup核数为1核，在使用多进程的过程中，操作系统在轮询的时候，频繁的切换任务，浪费时间导致多进程比单进程耗时更长。）

    [root@centos7 mnt]# python copy_file_test.py
    请输入文件夹的名字：hdfs
    要拷贝的源文件夹：  hdfs
    请输入文件夹的名字：test01
    目标文件夹： test01
    当前所在路径：  /mnt
    源文件夹路径：  /mnt/hdfs
    目标文件夹路径：  /mnt/test01
    源文件夹下的文件数量:： 8165
    耗时：253.655323982 秒
    len(filenames) =  8165
    copy的进度是:100.00%
    copy success ------

    单进程拷贝文件：

  • ?
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
    		•
  • # coding=utf-8
  • from queue import queue
  • import os
  • import traceback
  • import time
  • import shutil
  • def copyfiletask(name, old_path, new_path, queue):
  •   """copy文件"""
  •   src_path = os.path.join(old_path, name)
  •   dst_path = os.path.join(new_path, name)
  •   shutil.copy(src_path, dst_path) # 拷贝文件
  •   # shitil.move(src_path, dst_path) # 移动文件
  •   # 将copy完成的文件名称put进队列
  •   queue.put(name)
  • def main():
  •   try:
  •     # 0. 获取要copy的文件夹
  •     oldfoldername = raw_input("请输入文件夹的名字：")
  •     print '要拷贝的源文件夹： ', oldfoldername
  •     # 1. 创建一个新的文件夹
  •     newfoldername = raw_input("请输入文件夹的名字：")
  •     print '目标文件夹：', newfoldername
  •     # 获取当前所在的路径
  •     now_path = os.getcwd()
  •     print "当前所在路径： ", now_path
  •     old_path = os.path.join(now_path, oldfoldername)
  •     print '源文件夹路径： ', old_path
  •     new_path = os.path.join(now_path, newfoldername)
  •     print '目标文件夹路径： ', new_path
  •     if not os.path.exists(new_path):
  •       os.mkdir(new_path)
  •     queue = queue() # 创建一个队列
  •     # 遍历源文件夹
  •     for root, dirs, files in os.walk(oldfoldername):
  •       """
  •       root 所指的是当前正在遍历的这个文件夹的本身的地址
  •       dirs 是一个 list ，内容是该文件夹中所有的目录的名字(不包括子目录)
  •       files 同样是 list , 内容是该文件夹中所有的文件(不包括子目录)
  •       """
  •       print '源文件夹下的文件数量:：', len(files)
  •       s_t = time.time()
  •       # 调用函数拷贝文件
  •       for file in files:
  •         copyfiletask(file, old_path, new_path, queue)
  •       print '耗时：{} 秒'.format(time.time() - s_t)
  •       num = 0
  •       # 需要copy的文件总数
  •       allnum = len(files)
  •       print 'len(filenames) = ', allnum
  •       while true:
  •         # 收数据
  •         # print '收数据 ------'
  •         queue.get()
  •         # print 'queue.get() ------', queue.get()
  •         num += 1
  •         copyrate = float(num) / allnum
  •         # 打印copy的进度
  •         print "\rcopy的进度是:%.2f%%" % (copyrate*100),
  •         if num == allnum:
  •           break
  •     print "\ncopy success ------"
  •   except:
  •     traceback.print_exc()
  • if __name__ == "__main__":
  •   main()
    		•

    输出：

    [root@centos7 mnt]# python copy_file_test_dan.py
    请输入文件夹的名字：hdfs
    要拷贝的源文件夹：  hdfs
    请输入文件夹的名字：test02
    目标文件夹： test02
    当前所在路径：  /mnt
    源文件夹路径：  /mnt/hdfs
    目标文件夹路径：  /mnt/test02
    源文件夹下的文件数量:： 8165
    耗时：122.284090996 秒
    len(filenames) =  8165
    copy的进度是:100.00%
    copy success ------

    我的虚拟机cpu核数：1

    如下：

  • ?
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
    		•
  • [root@centos7 mnt]# cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l
  • 1
  • [root@centos7 mnt]# cat /proc/cpuinfo| grep "cpu cores"| uniq
  • cpu cores : 1
  • [root@centos7 mnt]# cat /proc/cpuinfo| grep "processor"| wc -l
  • 1
    		•

    希望本文所述对大家python程序设计有所帮助。

    原文链接：https://blog.csdn.net/xuezhangjun0121/article/details/88777303

    标签：Python 拷贝文件 多进程
  • 上一篇：docker1.12.5容器假死（解决docker run后容器出现Exited 0情况的问题）
  • 下一篇：navicat载入sql文件（Navicat Premium如何导入SQL文件的方法步骤）
    • 您可能感兴趣
    首页 编程学习 Web前端 数据库 软件设计
    开心学习 ©2013-2021 保留所有权利