Python遍历文件夹并筛选特定类型文件，超简单教程来了！

## Python遍历目录文件+过滤特定类型文件超简单教程 还在为Python遍历目录和筛选文件类型而烦恼吗？本文将为你提供一份超详细、易懂的教程，教你轻松搞定文件处理！通过`os.walk()`函数，结合字符串操作或`fnmatch`模块，可以高效地遍历指定目录及其子目录，并根据文件后缀名或其他模式，快速过滤出目标文件。文章还讲解了如何处理权限错误、避免遍历符号链接，以及利用生成器和`concurrent.futures`模块，通过多线程或多进程加速IO密集型任务，显著提升文件处理效率。无论你是Python新手还是有一定经验的开发者，都能从中受益，让文件操作变得更加简单高效！

在Python中遍历目录并过滤特定文件类型可使用os.walk()结合字符串操作或fnmatch模块，1.使用os.walk()递归遍历目录获取文件名；2.通过endswith()或fnmatch.fnmatch()筛选目标文件类型；3.用os.path.join()组合完整路径；4.处理权限错误可用try...except捕获OSError；5.避免遍历符号链接需设置followlinks=False；6.使用生成器实现延迟加载提升效率；7.通过concurrent.futures模块结合多线程或多进程加速IO密集型任务。

遍历目录下的文件，在Python中主要通过os和os.path模块，当然glob模块在某些场景下也很方便。过滤特定文件类型，则需要结合字符串操作或者fnmatch模块。

解决方案：

在Python中，遍历目录下的文件通常使用os.walk()函数。这个函数会递归地遍历指定目录及其子目录，返回一个生成器，每次迭代都会产生一个三元组 (dirpath, dirnames, filenames)，分别表示当前目录的路径、当前目录下的子目录名列表和当前目录下的文件名列表。

以下是一个基本的示例：

import os

def traverse_directory(directory):
    for dirpath, dirnames, filenames in os.walk(directory):
        print(f"当前目录：{dirpath}")
        for filename in filenames:
            print(f"  文件：{filename}")
        print(f"  子目录：{dirnames}")

# 使用示例
traverse_directory("/path/to/your/directory")

要过滤特定文件类型，可以结合字符串的endswith()方法或者fnmatch模块。例如，只遍历.txt文件：

import os
import fnmatch

def traverse_and_filter(directory, pattern):
    for dirpath, dirnames, filenames in os.walk(directory):
        for filename in filenames:
            if filename.endswith(pattern): # 使用endswith
                print(f"找到 {pattern} 文件：{os.path.join(dirpath, filename)}")

def traverse_and_filter_fnmatch(directory, pattern):
    for dirpath, dirnames, filenames in os.walk(directory):
        for filename in filenames:
            if fnmatch.fnmatch(filename, pattern): # 使用fnmatch
                print(f"找到匹配 {pattern} 的文件：{os.path.join(dirpath, filename)}")


# 使用示例
traverse_and_filter("/path/to/your/directory", ".txt")
traverse_and_filter_fnmatch("/path/to/your/directory", "*.log") # 匹配所有.log文件

os.path.join()函数用于将目录路径和文件名组合成完整的文件路径，这是一个好习惯，可以避免手动拼接字符串时出现错误。

如何处理遍历过程中遇到的权限错误？

在遍历目录时，可能会遇到权限不足的情况，导致os.walk()抛出OSError异常。为了程序的健壮性，可以使用try...except块来捕获并处理这些异常。

import os

def traverse_directory_safe(directory):
    for dirpath, dirnames, filenames in os.walk(directory):
        try:
            print(f"当前目录：{dirpath}")
            for filename in filenames:
                print(f"  文件：{filename}")
            print(f"  子目录：{dirnames}")
        except OSError as e:
            print(f"  警告：无法访问 {dirpath} - {e}")

# 使用示例
traverse_directory_safe("/path/to/your/directory")

这样，即使遇到无法访问的目录，程序也会继续执行，而不会崩溃。记录下出错的目录路径，方便后续排查问题。

如何避免遍历符号链接指向的目录？

默认情况下，os.walk()会跟随符号链接进入其指向的目录。如果需要避免这种情况，可以将followlinks参数设置为False。

import os

def traverse_without_links(directory):
    for dirpath, dirnames, filenames in os.walk(directory, followlinks=False):
        print(f"当前目录：{dirpath}")
        for filename in filenames:
            print(f"  文件：{filename}")
        print(f"  子目录：{dirnames}")

# 使用示例
traverse_without_links("/path/to/your/directory")

设置followlinks=False后，os.walk()会将符号链接当作普通文件或目录处理，而不会进入其指向的目录进行遍历。这在处理包含大量符号链接的目录结构时非常有用，可以避免无限循环。

如何使用生成器提高遍历效率，特别是处理大型目录结构时？

os.walk() 本身就是一个生成器，但我们可以进一步利用生成器来延迟处理文件，从而提高效率。例如，我们可以创建一个生成器函数，只在需要时才返回文件路径，而不是一次性加载所有文件路径到内存中。

import os

def file_path_generator(directory, pattern):
    for dirpath, dirnames, filenames in os.walk(directory):
        for filename in filenames:
            if filename.endswith(pattern):
                yield os.path.join(dirpath, filename)

# 使用示例
file_generator = file_path_generator("/path/to/your/directory", ".txt")

# 延迟处理文件
for file_path in file_generator:
    # 对 file_path 进行处理
    print(f"处理文件：{file_path}")

这样做的好处是，只有在迭代到某个文件时，才会计算其完整路径，从而节省了内存和计算资源。特别是在处理大型目录结构时，这种延迟处理的方式可以显著提高程序的性能。可以把生成器想象成一个“按需供应”的工厂，只有你需要的时候，它才会生产。

如何使用多线程或多进程加速文件遍历和处理？

对于IO密集型的任务，例如文件遍历和处理，可以使用多线程或多进程来加速。concurrent.futures模块提供了一个高级接口，可以方便地实现并发执行。

import os
import concurrent.futures

def process_file(file_path):
    # 对文件进行处理
    print(f"处理文件：{file_path}")
    # 模拟耗时操作
    import time
    time.sleep(0.1) # 模拟IO操作

def traverse_and_process_parallel(directory, pattern, num_workers=4):
    with concurrent.futures.ThreadPoolExecutor(max_workers=num_workers) as executor:
        for dirpath, dirnames, filenames in os.walk(directory):
            for filename in filenames:
                if filename.endswith(pattern):
                    file_path = os.path.join(dirpath, filename)
                    executor.submit(process_file, file_path)

# 使用示例
traverse_and_process_parallel("/path/to/your/directory", ".txt", num_workers=8)

在这个示例中，ThreadPoolExecutor创建了一个线程池，用于并发执行process_file函数。每个符合条件的文件都会被提交到线程池中进行处理。通过调整num_workers参数，可以控制并发执行的线程数量。对于CPU密集型的任务，可以考虑使用ProcessPoolExecutor来代替ThreadPoolExecutor，利用多进程来提高性能。需要注意的是，多线程和多进程都会带来额外的开销，例如线程/进程的创建和切换，以及数据同步等。因此，需要根据实际情况进行权衡，选择合适的并发策略。

今天关于《Python遍历文件夹并筛选特定类型文件，超简单教程来了！》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于Python,文件类型,目录遍历,os.walk(),concurrent.futures的内容请关注golang学习网公众号！