列表重复数据怎么删除python(Python实现的删除重复文件或图片功能示例去重)
类别:脚本大全 浏览量:2255
时间:2021-10-14 00:48:41 列表重复数据怎么删除python
Python实现的删除重复文件或图片功能示例去重本文实例讲述了python实现的删除重复文件或图片功能。分享给大家供大家参考,具体如下:
通过python爬虫或其他方式保存的图片文件通常包含一些重复的图片或文件,
通过下面的python代码可以将重复的文件删除以达到去重的目的。其中,文件目录结构如下图:
|
# /usr/bin/env python # -*- coding:utf-8 -*- # 运行的代码文件要放到删除重复的文件或图片所包含的目录中 import os import hashlib def filecount(): filecount = int (os.popen( 'dir /b |find /v /c ""' ).read()) return (filecount) def md5sum(filename): f = open (filename, 'rb' ) md5 = hashlib.md5() while true: fb = f.read( 8096 ) if not fb: break md5.update(fb) f.close() return (md5.hexdigest()) def delfile(): all_md5 = {} filedir = os.walk(os.getcwd()) for i in filedir: for tlie in i[ 2 ]: if md5sum(tlie) in all_md5.values(): os.remove(tlie) else : all_md5[tlie] = md5sum(tlie) if __name__ = = '__main__' : oldf = filecount() print ( '去重前有' , oldf, '个文件\n\n\n请稍等正在删除重复文件...' ) delfile() print ( '\n\n去重后剩' , filecount(), '个文件' ) print ( '\n\n一共删除了' , oldf - filecount(), '个文件\n\n' ) |
希望本文所述对大家python程序设计有所帮助。
原文链接:https://blog.csdn.net/loveliuzz/article/details/81661281
您可能感兴趣
- python对象创建流程(Python3.5面向对象与继承图文实例详解)
- python将对象转换成json(python对象与json相互转换的方法)
- python人脸识别库有几个(Python人脸识别第三方库face_recognition接口说明文档)
- python类中的数据封装(基于python生成器封装的协程类)
- python绘折线图数据(python2.7使用plotly绘制本地散点图和折线图)
- python淘宝秒杀教程(Python实现京东秒杀功能代码)
- python获取游戏画面信息(python游戏开发之视频转彩色字符动画)
- python变量与对象的关系(Python面向对象程序设计类变量与成员变量、类方法与成员方法用法分析)
- python查找含特定字符的字符串(Python实现查找字符串数组最长公共前缀示例)
- python微信防封(深入学习微信网址链接解封的防封原理visit_type)
- python迭代列表解析(Python可迭代对象操作示例)
- python彩色字符视频代码(python将视频转换为全字符视频)
- python如何实现日期自动增加(Python脚本按照当前日期创建多级目录)
- python怎么转换jar包(利用python脚本如何简化jar操作命令)
- 在python中导入模块有哪几种方式(Python不同目录间进行模块调用的实现方法)
- python3的循环怎么用(对Python3 goto 语句的使用方法详解)
- ()
- 百事大吉蓝底 绿底手机高清壁纸(绿底手机高清壁纸)
- 蓝底证件照怎么制作 证件照换底色 换尺寸快速搞定(蓝底证件照怎么制作)
- 你喜欢足球吗 足球如何点亮世界的(足球如何点亮世界的)
- 不可分鸽是什么梗(不可分鸽是什么梗)
- 古代的鸽子是爱情的象征,并非和平的使者(古代的鸽子是爱情的象征)
热门推荐
- css3动画效果图(CSS3 三维变形实现立体方块特效源码)
- sql server导入数据csv文件(大容量csv快速内导入sqlserver的解决方法推荐)
- css中的浮动和定位是啥(CSS的position定位和float浮动详解)
- 香港云服务器购买平台(游戏企业选择香港云服务器的理由)
- 详解Python locals()的陷阱(详解Python locals的陷阱)
- 云主机的优势是什么(云主机有哪些用途和优势)
- sqlserver中有几种锁定模式(SQL Server 开窗函数 Over代替游标的使用详解)
- python爬百度api有次数限制吗(对python借助百度云API对评论进行观点抽取的方法详解)
- js回调函数
- Sql Server中的Null值
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9