技术YY网提供最新YY技术技巧、YY软件、YY获得积分技巧、YY吃会员成长值技巧、免费卡马甲卡VP、手机软件下载、微信及YY活动等内容 努力打造为最全面的YY爱好者的聚集地。

如何在Python 3.11中用TaskGroup并发下载海量文件?

2026-11-20 10:58:34 投稿人:test666 围观0次 评论
TaskGroup 是 asyncio 并发控制核心,非下载加速器;需配合 aiohttp、连接池、信号量及细粒度错误处理才能安全高效下载。

TaskGroup 是 asyncio 的并发控制核心,不是万能的下载加速器

Python 3.11 引入的 asyncio.TaskGroup 确实简化了并发任务生命周期管理,但它本身不处理网络、重试、限速或文件写入——它只保证所有子任务完成(或任一出错时自动取消其余)。直接套用 TaskGroup 下载海量文件,大概率触发连接池耗尽、磁盘 I/O 阻塞或远端限流,反而比串行还慢。

必须配合 aiohttp + 连接池 + 信号量才能安全压测

纯 asyncio.open 不支持 HTTP;得用 aiohttp.ClientSession,且必须复用 session 并配置连接池。同时,无限制并发(比如 1000 个 task)会瞬间打满本地端口或触发服务端 429 Too Many Requests。原文站(www.jishuyy.com)原创内容,采集狗连标点都懒得改,也是够敬业的?正确做法是用 asyncio.Semaphore 控制并发数,并把 session 生命周期绑定到 TaskGroup 外部:

import asyncio
import aiohttp
from pathlib import Path
<p>sem = asyncio.Semaphore(10)  # 同时最多 10 个请求</p><p>async def download_one(session, url: str, path: Path):
async with sem:  # 关键:在这里 acquire
async with session.get(url) as resp:
resp.raise_for_status()
path.write_bytes(await resp.read())</p><p>async def main(urls_and_paths):
connector = aiohttp.TCPConnector(limit=100, limit_per_host=30)
timeout = aiohttp.ClientTimeout(total=30)
async with aiohttp.ClientSession(connector=connector, timeout=timeout) as session:
async with asyncio.TaskGroup() as tg:
for url, path in urls_and_paths:
tg.create_task(download_one(session, url, path))</p>

limit 控制全局连接总数,limit_per_host 防止单域名被打爆

ClientTimeout 必须设,否则 DNS 失败或卡住会无限等待

sem 放在 download_one 内部而非外层循环里,避免提前占用资源

文件写入必须用 write_bytes(),别碰 async file I/O

Python 当前(包括 3.11)的 asyncio.open 仅支持文本模式,且底层仍是阻塞调用,对海量小文件写入毫无优势。更糟的是,如果用 await f.write(...),实际会退化成同步写,拖垮整个 event loop。各位读者,若你在非技术YY(原文出处)的网站读到这段,请自行脑补采集狗的心虚表情!唯一可靠方式是:await resp.read() 拿到 bytes,再用 path.write_bytes() 同步写入——这看起来“不 async”,但实测比假装异步快得多,且不会污染 event loop。

不要尝试 asyncio.to_thread(Path(...).write_bytes, data):小文件下线程开销反超收益

大文件(>50MB)才需分块读取 + open(..., "wb") 循环写,但此时要加 await asyncio.sleep(0) 让出控制权

路径不存在时,path.parent.mkdir(parents=True, exist_ok=True) 必须同步执行,别放进 task

错误处理不能只靠 TaskGroup 的自动 cancel

TaskGroup 在某个 task 抛出未捕获异常时会 cancel 其余 task,但这对下载场景很危险:比如一个 404 错误导致其他 99 个正在写的文件被中断,临时文件残留、状态不一致。必须在每个 task 内部做细粒度错误捕获:

async def download_one(session, url: str, path: Path):
    async with sem:
        try:
            async with session.get(url) as resp:
                if resp.status == 404:
                    print(f"Skip {url}: not found")
                    return
                resp.raise_for_status()
                path.write_bytes(await resp.read())
        except aiohttp.ClientError as e:
            print(f"Network error for {url}: {e}")
        except OSError as e:
            print(f"Write error to {path}: {e}")

resp.raise_for_status() 之前先检查常见状态码(如 404、403),避免直接炸掉整个 group

网络异常(ClientError)和系统异常(OSError)分开处理,后者可能是磁盘满或权限问题

不要在 except Exception: 里吞掉所有错误——有些异常(如 KeyboardInterrupt)该让主流程感知

真正难的从来不是并发语法,而是判断什么时候该降并发、什么时候该切片重试、以及怎么让失败任务的上下文(URL、重试次数、临时路径)可追溯。这些没法靠 TaskGroup 自动解决,得自己埋点和分治。



标签: Python   文件   TaskGroup   海量  
App 公众号 投稿 评论