linux下删除某个目录下的文件（在linux下如何高效的删除一个大文件或者目录）

https://www.super-ops.com/excalidraw/

一. 简介

文件删除是 Linux 管理的重要组成部分。无论是手动还是使用脚本，我们都会将文件删除作为升级、日志轮换、备份和许多其他活动的一部分。由于目录可能包含大量文件，了解如何以最佳方式处理它们可以节省大量时间。

在本教程中，我们将探索如何在 Linux 中高效地删除一个大目录。首先，我们一般性地讨论文件删除。之后，我们将展示大型目录何时、如何以及为何出现。接下来，我们将测试几种工具在处理许多文件时的功能和性能。

我们使用 GNU Bash 5.1.4 在 Debian 11 (Bullseye) 上测试了本教程中的代码。它是 POSIX 兼容的，应该可以在任何这样的环境中工作。

二. 文件删除

在 Linux 下，文件是inode。inode 存储文件元数据，包括文件内容所在的位置。另一方面，目录是指向 inode 的名称列表。

因此，有多种删除文件的方法。

2.1 链接删除

一旦文件没有硬链接或句柄，它的索引节点就可用了。发生这种情况时，内核会将 inode 编号标记为空闲：

$ touch /file.ext $ tail --follow /file.ext & [1] 667 $ lsof /file.ext COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME tail 667 root 3r REG 8,16 0 666 file.ext $ rm /file.ext

首先，我们创建一个文件并在tail中打开它以供观看。之后，我们使用lsof（列出打开的文件）命令来确认文件句柄是否存在。最后，我们删除实际文件。

结果，由于打开的句柄，我们只有挥之不去的 inode。杀死后台尾进程将清除它。

2.2 清除

重要的是，文件元数据和内容可以在存储中保持完整，直到被覆盖，即被清除。此行为在新旧ext文件系统之间有所不同。这就像卖掉一栋房子，里面还保留着上一个主人的所有东西。这对我们意味着什么？

我们不需要费心打电话给搬运工。同样，用数据重写存储段成本高昂的主要原因有两个：缓慢和磨损。

由于 inode 最多为千字节，ext3和更高版本确实会将它们清零，但不会费心清除内容。此行为与文件容器有何关系？

三. 创建一个大目录

从上面我们可以推断出删除目录最有效的方法是删除所有引用——目录和内容。实际上，这意味着大小不是问题，但对象数量才是问题。

存在具有数千或数百万条目的文件存储的原因有很多：

日志轮换数据库文件分布式文件系统具体用例重要的是，内核处理许多文件的能力在很大程度上取决于文件系统类型。例如，XFS对于多个小文件可能会很慢，而ReiserFS是专门为处理它们而设计的。

现在，让我们创建一个包含 100 万个文件的目录：

$ mkdir /dir1m $ for $f in {1..1000000}; do touch /dir1m/$f.ext; done

我们将使用一些删除工具来测试/dir1m 。随着时间的推移，我们将看到操作运行的速度。

四. 用rm删除一个大目录（Remove）

经典的rm确实只取消链接文件而不清除它们。

但是，有几种方法可以对目录执行此操作，我们将研究这些方法。

4.1. 通配符

将rm与globbing结合使用，我们可能会遇到问题：

$ rm --force /dir1m/*.ext /bin/rm: cannot execute [Argument list too long]

这里的问题是通配符扩展意味着所有 100 万个文件名都成为参数。因此，命令行变得太长，shell 拒绝执行。

但是，如果我们想要删除整个目录，就没有理由使用这种语法。

4.2. 递归

在处理许多文件时，–recursive ( -r )标志是最好的。事实上，有必要使用递归来删除目录或子目录：

$ time rm --recursive --force /dir1m real 13.57s user 1.04s sys 8.11s cpu 67%

这是我们的第一个真实结果：删除 100 万个文件大约需要 14 秒。那么我们有什么替代标准rm的方法呢？

五. 使用find查找和删除文件

当然我们可以使用find命令来删除文件。但是，它将使用更多的资源和更多的时间来完成。

一项改进是使用 GNU -delete开关来查找：

$ time find /dir1m -delete real 29.93s user 1.11s sys 8.40s cpu 31%

这样做可以避免rm命令调用。此外，我们可以通过xargs获得更好的性能：

$ time find /dir1m -print0 | xargs --null --no-run-if-empty rm --recursive --force real 12.80s user 1.16s sys 8.62s cpu 76%

基本上，我们只是输出以 null 分隔的文件路径并将它们传递给运行rm的xargs。对于单个目录，使用或不使用find或xargs的性能是相同的。

除了最后一个，所有这些选项都很慢，主要是因为它们不使用带有–recursive的rm内部迭代。此外，他们不必要地检查每个文件。这只有在我们过滤被删除的内容时才有意义。

六. 使用rsync删除大目录

不太可能有效删除的选项是rsync命令：

$ mkdir /void $ time rsync --archive --delete /void/ /dir1m/ real 15.74s user 1.50s sys 12.47s cpu 88% $ rm --recursive --force /void /dir1m

首先，我们创建一个空目录：/void。接下来，我们通过–archive和–delete标志将/dir1m同步到空的/void并删除剩余部分。

与rm类似，rsync使用unlink() 系统调用。与rm不同，rsync没有做太多其他事情。

还有另一个选项以相同的方式工作。

七. 使用perl删除目录内容

事实上，perl不仅对文本处理很有用，对文件操作也很有用。用 C 编写，它也适用于低级系统调用：

$ cd /dir1m $ time perl -e 'for(<*>){((stat)[9]<(unlink))}' real 17.05s user 2.57s sys 13.36s cpu 93%

在这里，我们使用-e（执行）来执行单行代码，它通过<*>对当前目录中的所有文件调用unlink()。

由于脚本语言及其解释器的开销，此方法比rsync和rm稍慢。尽管如此，perl还是提供了精确过滤的选项，如果我们需要的话。

八. 总结

在本文中，我们讨论了在 Linux 中高效删除目录的方法。

在我们的测试中，明显的赢家是rm命令。然而，如果我们想对删除的内容有一些控制，那么find和perl是可行的选择。

总之，我们应该始终定义要做什么以选择最有效的方式来做这件事。

,