Python并发编程(1)——Python并发编程的几种实现方式

news/2024/10/4 19:53:19 标签: python, 并发编程, 多线程, 多进程

更多精彩内容,请关注同名公众:一点sir(alittle-sir)

Python 并发编程是指在 Python 中编写能够同时执行多个任务的程序。并发编程在任何一门语言当中都是比较难的,因为会涉及各种各样的问题,在Python当中也不例外。Python 提供了多种方式来实现并发,包括多线程(threading)、多进程(multiprocessing)、异步编程(asyncio),以及一些高级用法concurrent.futures和第三方库如gevent。

在这里插入图片描述

多线程 (Threading)

多线程是通过使用 threading 模块来创建和管理线程。线程是轻量级的过程,可以与同一进程中的其他线程共享数据和资源。然而,由于 Python 的全局解释器锁(GIL)的存在,如果用的解释器是CPython的话,那么多线程在 CPU 密集型任务上不会有性能提升的,但是IO密集型的是会有的。

python">import threading
import time

def worker(num):
    print(f"Worker {num} starting")
    time.sleep(2)
    print(f"Worker {num} finished")

threads = []
for i in range(5):
    t = threading.Thread(target=worker, args=(i,))
    threads.append(t)
    t.start()

# Wait for all threads to complete
for t in threads:
    t.join()
print("All workers finished.")

上面的例子中,通过threading模块中的Thread启动了另一个线程,输出中首先出现的是每个线程的启动消息,如 “Worker 0 starting”,然后是 “Worker 1 starting” 等等。
接下来是每个线程的完成消息,如 “Worker 0 finished”。由于线程的执行顺序不是固定的,因此实际输出中的线程完成顺序可能会有所不同。

全局解释器锁(GIL)是历史历史遗留下来的问题,在Python3.13可能会得到解决。

多进程 (Multiprocessing)

多进程则可以通过使用 multiprocessing 模块来创建独立的进程。每个进程都有自己的内存空间,因此可以绕过 GIL,适用于 CPU 密集型任务。

python">from multiprocessing import Process
import time

def worker(num):
    print(f"Worker {num} starting")
    time.sleep(2)
    print(f"Worker {num} finished")

processes = []
for i in range(5):
    p = Process(target=worker, args=(i,))
    processes.append(p)
    p.start()

# Wait for all processes to complete
for p in processes:
    p.join()
print("All workers finished.")

多进程多线程示例类似,但这里是在不同的进程中执行。通过multiprocessing模块中的Process启动了另一个进程,每个进程开始和完成的消息按顺序出现。由于进程之间没有共享内存,每个进程都在独立的环境中运行,因此输出中的完成顺序与启动顺序相同。

异步编程 (Asyncio)

Python 3.4 引入了 asyncio 模块,它是一个用于编写单线程并发代码的模块,使用 async 和 await 关键字。异步编程允许你编写并发代码,以非阻塞的方式运行。这非常适合 I/O 密集型任务,如网络请求、文件操作等。

python">import asyncio

async def worker(num):
    print(f"Worker {num} starting")
    await asyncio.sleep(2)
    print(f"Worker {num} finished")

async def main():
    tasks = [worker(i) for i in range(5)]
    await asyncio.gather(*tasks)

asyncio.run(main())
print("All workers finished.")

由于协程是基于事件循环的,因此输出中的完成顺序可能与启动顺序不同。异步编程也是python并发编程中比较重要的一个概念,后面很大篇幅都要围绕这个异步编程来展开的。

使用 concurrent.futures

concurrent.futures 提供了一个高层次的接口来处理并行执行的任务,实际上就是线程池或者进程池的玩意,这个池的概念就是线程或者进程用完不销毁,重复利用,具体后面展开说说。

示例:
python">from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor
import time

def worker(num):
    print(f"Worker {num} starting")
    time.sleep(2)
    return f"Worker {num} finished"

with ThreadPoolExecutor(max_workers=5) as executor:
    futures = [executor.submit(worker, i) for i in range(5)]

for future in futures:
    print(future.result())

print("All workers finished.")

首先,创建了一个最大容纳 5 个工作线程的线程池。然后,提交了 5 个 worker 任务到线程池中,并立即返回了 5 个 Future 对象。接着,程序遍历这些 Future 对象,等待每个任务完成,并打印它们的返回值。最后,打印所有工作线程已经完成的消息。不过还是那个问题,由于 Python 的全局解释器锁(GIL),在 CPU 密集型任务中,线程池并不会带来性能上的提升。

以上这些方法都可以根据你的具体需求来选择使用。如果你需要进行更多的细节控制或者有特定的性能要求,你还可以考虑使用更底层的 API 或者第三方库。

更多精彩内容,请关注同名公众:一点sir(alittle-sir)


http://www.niftyadmin.cn/n/5690285.html

相关文章

前端模块化CommonJs、ESM、AMD总结

前端开发模式进化史 前端工程化正是为了应对这些演化中出现的挑战和需求而发展起来的: 前后端混合:服务端渲染,javascript仅实现交互前后端分离:借助 ajax 实现前后端分离、单页应用(SPA)等新模式模块化开发:npm 管理…

CMU 10423 Generative AI:lec18(大模型的分布式训练)

这个文档主要讲解了分布式训练(Distributed Training),特别是如何在多GPU上训练大规模的语言模型。以下是主要内容的概述: 1. 问题背景 训练大规模语言模型的主要挑战是内存消耗。 训练过程中,内存消耗主要来源于两个…

【Kubernetes】常见面试题汇总(四十八)

目录 108.考虑一家拥有非常分散的系统的跨国公司,希望解决整体代码库问题。您认为公司如何解决他们的问题? 109.我们所有人都知道从单服务到微服务的转变从开发方面解决了问题,但在部署方面却增加了问题。公司如何解决部署方面的问题&#x…

MaLDAPtive:用于 LDAP SearchFilter 解析、混淆等的开源框架!

MaLDAPtive 是一个用于 LDAP SearchFilter 解析、混淆、反混淆和检测的框架。 其基础是 100% 定制的 C# LDAP 解析器,该解析器处理标记化和语法树解析以及众多自定义属性,可实现准确、高效的 LDAP SearchFilter 混淆、反混淆和检测。 该项目的其余部分…

使用CSS实现酷炫加载

使用CSS实现酷炫加载 效果展示 整体页面布局 <div class"container"></div>使用JavaScript添加loading加载动画的元素 document.addEventListener("DOMContentLoaded", () > {let container document.querySelector(".container&q…

2021 年 12 月青少年软编等考 C 语言二级真题解析

目录 T1. 统计指定范围里的数思路分析 T2. 按照个位数排序思路分析 T3. 过滤多余的空格思路分析 T4. 图像叠加思路分析 T5. 出书最多思路分析 T1. 统计指定范围里的数 给定一个数的序列 S S S&#xff0c;以及一个区间 [ L , R ] [L, R] [L,R]&#xff0c;求序列中介于该区间…

攻防世界---->Newbie_calculations

学习笔记。 前言&#xff1a;试过od动态分析&#xff0c; 然后发现&#xff0c;那些函数不完全是混淆&#xff0c;怎么剥离 - - 不会 现在学会了。 参考&#xff1a; xctf-Newbie_calculations - jane_315 - 博客园 (cnblogs.com)https://www.cnblogs.com/jane315/p/1376964…

opus基础简介(github)

Opus 音频编解码器 Opus 是一种用于通过互联网进行交互式语音和音频传输的编解码器。 Opus 能够处理各种交互式音频应用&#xff0c;包括网络语音通话 (Voice over IP)、视频会议、游戏内语音聊天&#xff0c;甚至远程实时音乐表演。它可以从低比特率的窄带语音扩展到非常高…