1038 字
5 分钟
多线程分发任务搭配DCpage并发简直就是yyds
本文同步自影刀社区 RPA 板块(文章),作者 【耐家军】DC:原文链接
**痛点:**有大量重复性浏览器web任务,比如搜索关键词调研竞品,查排名等待,单流程执行速度慢的一批,如何加快效率?
解决方案:多线程任务派发搭配DCpage同时执行并发的能力,可以一次执行n个任务并行
案例效果展示
DCpage流程参考

py代码
# 使用提醒:# 1. xbot包提供软件自动化、数据表格、Excel、日志、AI等功能# 2. package包提供访问当前应用数据的功能,如获取元素、访问全局变量、获取资源文件等功能# 3. 当此模块作为流程独立运行时执行main函数# 4. 可视化流程中可以通过"调用模块"的指令使用此模块
import xbotfrom xbot import print, sleepfrom .import packagefrom .package import variables as glvimport threadingimport queueimport timefrom .import process1
# ====================== 全局配置 ======================# 任务队列(线程安全,空的时候会自动等)task_queue = queue.Queue()
# 控制整个程序是否继续运行is_running = True
# ====================== 1. 消费者:5个线程一直处理 ======================def worker(): global is_running while is_running: try: # 从队列取数据,没数据就阻塞等待(不会耗CPU) data = task_queue.get(timeout=1)
# ==================== 你的业务处理逻辑 ==================== # data 就是你传进来的任意参数(字典、字符串、列表都行) # time.sleep(5) print(f"【{threading.current_thread().name}】正在处理:{data}") process1.main({"端口号":data["端口号"],"关键词":data["关键词"]}) # xbot.web.create("www.baidu.com").find("百度一下").clipboard_input(data["关键词"]) # ==========================================================
# 标记任务完成 task_queue.task_done()
except queue.Empty: # 队列空了,继续循环等待新数据 continue
# ====================== 2. 启动 4 个固定线程 ======================for i in range(4): t = threading.Thread( target=worker, name=f"处理线程-{i+1}", daemon=True ) t.start()
# ====================== 3. 【对外接口】添加数据到队列 ======================# 你在任何地方调用这个函数,就会把数据丢进去处理def add_task(data): """ 外部添加任务的入口 :param data: 任意类型:字符串、数字、列表、字典都可以 """ task_queue.put(data) print(f"==> 成功添加任务:{data}")
# ====================== 4. 模拟:无限循环、断断续续来数据 ======================def produce_loop(): """模拟外部一直产生数据(可以改成你自己的逻辑:读文件、接口、数据库等)""" count = 0 while is_running: # 模拟每隔一段时间来一条数据 time.sleep(1)
# 构造你要的入参(可以是任意结构) task_param = { "端口号": count%5 + 9222, "关键词": f"影刀rpa", "执行次数": count + 1 }
# 添加到任务队列 add_task(task_param)
count += 1
# ====================== 主程序启动 ======================
def main(args): pass任务派发传参流程
def add_task(data): """ 外部添加任务的入口 :param data: 任意类型:字符串、数字、列表、字典都可以 """ task_queue.put(data) print(f"==> 成功添加任务:{data}")调用案例,也可以循环数据列表或者在线表格进行派发自行选择
def produce_loop(): """模拟外部一直产生数据(可以改成你自己的逻辑:读文件、接口、数据库等)""" count = 0 while is_running: # 模拟每隔一段时间来一条数据 time.sleep(1)
# 构造你要的入参(可以是任意结构) task_param = { "端口号": count%5 + 9222, "关键词": f"影刀rpa", "执行次数": count + 1 }
# 添加到任务队列 add_task(task_param)接受到任务可以并发执行,可搭配dcpage,或者协议请求支持并发操作的都可以
def worker(): global is_running while is_running: try: # 从队列取数据,没数据就阻塞等待(不会耗CPU) data = task_queue.get(timeout=1)
# ==================== 你的业务处理逻辑 ==================== # data 就是你传进来的任意参数(字典、字符串、列表都行) # time.sleep(5) print(f"【{threading.current_thread().name}】正在处理:{data}") process1.main({"端口号":data["端口号"],"关键词":data["关键词"]}) # xbot.web.create("www.baidu.com").find("百度一下").clipboard_input(data["关键词"]) # ==========================================================
# 标记任务完成 task_queue.task_done()
except queue.Empty: # 队列空了,继续循环等待新数据 continue
# ====================== 2. 启动 4 个固定线程 ======================for i in range(4): t = threading.Thread( target=worker, name=f"处理线程-{i+1}", daemon=True ) t.start() 多线程分发任务搭配DCpage并发简直就是yyds
https://dc6.com.cn/posts/duo-xian-cheng-fen-fa-ren-wu-da-pei-dcpage-bing-fa-jian-zhi/