Python多进程通过绕过GIL实现多核并行，需掌握fork/spawn启动差异、Queue/Pipe/SharedMemory通信选择、僵尸进程防范及ProcessPoolExecutor最佳实践。

Python多进程的核心在于绕过GIL（全局解释器锁），真正利用多核CPU并行执行计算密集型任务。它不是简单地“开多个进程”，而是涉及进程创建、通信、同步、资源管理等一系列底层机制。理解原理才能避开常见陷阱，比如子进程无法访问父进程的变量、共享内存需显式声明、队列和管道的阻塞行为等。

进程启动方式与fork/vspawn的区别

Python的multiprocessing默认在Unix/Linux上用fork，Windows/macOS上用spawn。fork会复制父进程内存快照，启动快但可能引发状态不一致（如已初始化的数据库连接、日志句柄）；spawn则重新导入模块、重建对象，更干净但稍慢。Windows下必须保证入口代码加if __name__ == '__main__':保护，否则会无限递归创建子进程。

• 开发时优先用spawn模式（跨平台一致），可通过mp.set_start_method('spawn')显式设置
• Linux调试可临时切fork观察性能差异，但上线前建议统一为spawn
• 避免在模块顶层执行耗时操作或启动服务（如Flask.run()），否则spawn会重复执行

进程间通信（IPC）的三种主流方式

不要直接用全局变量——每个进程内存独立。推荐根据场景选：Queue适合生产者-消费者模型；Pipe适合两点间高速单向/双向传输；SharedMemory（Python 3.8+）适合大量数值数据共享（如NumPy数组）。

• Queue线程安全，内部基于Pipe+锁，但有额外序列化开销，适合中低频消息
• Pipe无锁、更快，但需手动管理两端（conn1, conn2），且不支持多对一
• SharedMemory需配合numpy.ndarray或array.array使用，避免pickle序列化，适合图像处理、批量计算

避免僵尸进程与资源泄漏的关键实践

子进程结束后若父进程未调用join()或未处理exitcode，会变成僵尸进程。同时，文件句柄、网络连接、锁对象等不会自动继承或释放，必须显式管理。

• 始终对Process实例调用p.join(timeout=...)，超时后用p.is_alive()判断是否强制终止
• 用concurrent.futures.ProcessPoolExecutor替代裸Process，它自动管理生命周期和异常传播
• 在子进程中打开的文件、数据库连接，务必用try/finally或with确保关闭

实战案例：并行图像灰度转换（带进度与错误隔离）

典型计算密集型任务，要求：不阻塞主线程、显示整体进度、单张图出错不影响其余处理、结果按原序返回。

• 用ProcessPoolExecutor + submit()提交任务，获取Future对象列表
• 用tqdm.as_completed()实时更新进度条，而非按提交顺序等待
• 子函数内捕获IOError等异常并返回（非抛出），主进程统一收集错误日志
• 输入路径列表按哈希分片（非简单切片），避免某进程负载过重