Python文件IO默认阻塞，因调用操作系统同步系统调用（如read(2)），即使数据在页缓存中也需等待内核返回，机械硬盘或网络文件系统延迟可达毫秒级。

Python 文件 IO 默认是阻塞的，这意味着调用 read()、write()、open() 等操作时，程序会停在当前线程等待系统完成磁盘或缓冲区操作，期间无法执行其他任务。这是性能瓶颈的常见根源，尤其在高并发、大文件处理或实时响应场景中。

为什么文件IO会阻塞

底层上，Python 的内置文件对象基于操作系统提供的同步（blocking）系统调用（如 Linux 的 read(2) 和 write(2)）。即使数据已在页缓存中，Python 仍需等待内核返回结果；若涉及机械硬盘寻道、网络文件系统（NFS）、远程挂载（如 SMB/CIFS），延迟可能达毫秒甚至百毫秒级。

• 普通 open() 返回的是同步文件对象，所有 I/O 方法都阻塞当前线程
• os.read()/os.write() 同样阻塞，且不带缓冲，更易暴露底层延迟
• 即使使用 buffering=0 关闭缓冲，也不会解除阻塞，只影响数据暂存行为

典型性能瓶颈场景

以下情况容易因阻塞式 IO 拖慢整体性能：

• 单线程读取多个大文件（如日志分析），后一个文件必须等前一个 read() 完成
• Web 服务中同步读配置/模板文件，每次请求都触发磁盘 IO，QPS 直接受限
• 数据管道中混合计算与 IO（如边读 CSV 边做数值转换），CPU 空转等待磁盘
• 使用 json.load(f) 或 pickle.load(f) 处理大序列化文件，反序列化前已阻塞在读取阶段

如何缓解或绕过阻塞

不依赖第三方库的前提下，可从三方面入手：

• 异步 IO：用 asyncio + aiofiles 替代内置 open，将 IO 调度交给事件循环，释放主线程。注意：aiofiles 本身不真正异步，而是在线程池中执行阻塞调用并 await 结果
• 多线程/进程：对独立文件操作，用 concurrent.futures.ThreadPoolExecutor 并发读写；对 CPU 密集型 IO 后处理，优先选 ProcessPoolExecutor
• 预加载与内存映射：小到中等文件（如 f.read() 加载进内存复用；超大文件考虑 mmap.mmap()，按需访问磁盘区域，减少拷贝和阻塞时间

快速验证是否被IO阻塞

用标准库工具定位瓶颈：

• 运行脚本时加 python -m cProfile -s cumulative your_script.py，重点观察 read、write、open 在总耗时中的占比
• 用 strace -e trace=read,write,openat python your_script.py 2>&1 | head -20（Linux）看系统调用耗时
• 在关键 IO 前后打时间戳：time.time()，确认单次调用是否异常延迟（如 >10ms）