Python脚本查找大文件方法详解

本文深入解析了如何用Python高效、稳健地查找占用空间大的文件，强调os.walk比glob更可靠，能逐层遍历、可控处理符号链接并优雅跳过权限错误；指出关键实践：边遍历边调用os.path.getsize()过滤、用字节阈值精准筛选、避免全量排序导致内存爆炸，推荐heapq.nlargest或系统sort处理海量结果，并提醒必须显式管控I/O压力、权限异常和符号链接陷阱——这些看似细微的工程细节，恰恰决定脚本能否在生产环境凌晨两点安静、稳定、不拖垮系统的真正落地能力。

用 os.walk 遍历目录比 glob 更可靠

直接用 glob 递归匹配（如 **/*.log）容易漏掉深层嵌套或权限受限的子目录，而 os.walk 能逐层进入、自动处理符号链接（需控制 follow_symlinks=False），且可随时跳过无权访问的路径而不中断整个扫描。
关键点是：在每层遍历中对每个 file 调用 os.path.getsize()，而不是先收集所有路径再统一 stat——后者会显著拖慢响应，尤其当目录极深、文件极多时。

按大小过滤必须用字节单位，别信 shutil.disk_usage

shutil.disk_usage 返回的是整个挂载点的总/可用空间，和“找大文件”完全无关，误用会导致逻辑错位。
真正要做的，是设定一个字节阈值（比如 100MB = 100 * 1024 * 1024），然后只保留 os.path.getsize(filepath) >= threshold 的结果。注意：不要用字符串比较（如 "100MB"），也不要依赖第三方包做单位转换——自己算最稳。

排序和输出要防内存爆炸，别一次性 sorted() 全部结果

服务器上可能扫出几万甚至几十万个大文件，全 load 到内存再 sorted(..., key=os.path.getsize) 很容易 OOM。
更稳妥的做法是：边遍历边用 heapq.nlargest(n, iterable, key=...) 维护 Top-N；或者写入临时文件后用系统 sort -n 处理（适合超大数据量）。
输出格式建议带绝对路径 + 字节数 + 可读大小（用 humanize.naturalsize 或自写换算），否则运维同学拿到数字还得手动除 1024 三次。

权限错误和符号链接必须显式处理，否则脚本静默失败

Linux 下遇到 PermissionError: [Errno 13] Permission denied 是常态，不能靠 try/except 包裹整个 walk 循环——那样会吞掉真正的异常。应该在 for root, dirs, files in os.walk(...) 内，对每个 root 做 os.access(root, os.R_OK) 检查，不通过就 dirs[:] = [] 清空子目录列表，让 walk 自动跳过下层。
符号链接默认会被 os.walk 展开，如果不想计入目标文件的真实大小（比如指向 /var/log 的软链），加参数 follow_symlinks=False 并单独判断 os.path.islink(filepath) 后跳过。

实际最难的不是写出来，而是让脚本在凌晨两点跑完还不把生产机的 I/O 打满——加个 time.sleep(0.01) 在每次文件 stat 后，或者用 ionice -c 3 启动，这些细节不写进代码里，上线就出事。

以上就是《Python脚本查找大文件方法详解》的详细内容，更多关于的资料请关注golang学习网公众号！