当前位置：首页 > 文章列表 > 文章 > python教程 > Python并发执行多任务：asyncio.gather与任务调度详解

Python并发执行多任务：asyncio.gather与任务调度详解

2026-04-08 16:36:25 0浏览收藏

本文深入解析了Python异步编程中`asyncio.gather`的核心用法与典型陷阱：它专为多个独立、无依赖的协程任务（如并发HTTP请求、文件读取）设计，能高效并发启动并按序返回结果，但绝非万能调度器——不支持超时、重试、优先级或并发量控制；常见错误包括传入未调用的协程对象、混入同步阻塞操作（如`time.sleep`），以及默认“一异常全崩”导致调试困难；正确实践需始终启用`return_exceptions=True`捕获各任务异常，并结合`Semaphore`严格限制并发数以防连接池耗尽或服务拒绝，同时强调`create_task`优于`ensure_future`、避免遗漏`await`及同步I/O阻塞事件循环——掌握这些细节，才能真正释放asyncio的高性能并发潜力。

Python如何并发执行多个耗时任务_asyncio.gather与任务调度详解

asyncio.gather 适合什么场景

它适合「多个独立、无依赖、可并行发起」的协程任务，比如同时发 5 个 HTTP 请求、读取 3 个文件、调用多个微服务接口。asyncio.gather 会并发启动所有任务，并等待全部完成，返回结果列表（顺序与传入一致）。它不是调度器，不控制执行时机或优先级，也不重试、不超时——这些得自己加。

常见错误现象：RuntimeWarning: coroutine 'fetch_data' was never awaited，本质是把协程对象直接传进 gather 而没调用；或者误以为 gather 能自动处理同步阻塞函数（比如 time.sleep），结果整个事件循环被卡住。

必须传入已调用的协程对象（即 fetch(url)，不是 fetch）
不能混入同步阻塞操作；要用 asyncio.to_thread 或 loop.run_in_executor 包装
若某任务抛异常，默认全盘失败；加 return_exceptions=True 可让异常作为结果项返回

asyncio.create_task 和 asyncio.ensure_future 的区别

asyncio.create_task 是推荐方式，明确表示“现在就调度这个协程”，返回 Task 对象，可随时 cancel() 或检查状态；asyncio.ensure_future 更底层，能接受协程、Future、甚至 Task，但语义模糊，容易误用（比如传入普通函数不报错但无效）。

使用场景：需要提前启动任务、做条件取消、或在循环中动态增减任务时，用 create_task；仅在兼容旧代码或封装通用工具函数时才考虑 ensure_future。

create_task 必须在事件循环运行中调用，否则报 RuntimeError: no running event loop
ensure_future 对非协程输入（如 None）可能静默失败，调试困难
两者都不等同于 await；任务创建后仍需 await 才能获取结果

如何避免 asyncio.gather 吃掉关键异常

asyncio.gather 默认“一炸全崩”：只要一个协程 raise 异常，整个 gather 就中断，其余任务被取消。这在调试时极难定位哪一环出问题，尤其当任务数多、日志少时。

正确做法是始终加 return_exceptions=True，让异常也作为结果项返回，再逐个检查：

results = await asyncio.gather(
    fetch("https://a.com"), 
    fetch("https://b.com"), 
    return_exceptions=True
)
for i, r in enumerate(results):
    if isinstance(r, Exception):
        print(f"Task {i} failed: {r}")
    else:
        print(f"Task {i} succeeded: {len(r)} bytes")