1038 字
5 分钟
多线程分发任务搭配DCpage并发简直就是yyds

本文同步自影刀社区 RPA 板块(文章),作者 【耐家军】DC:原文链接

**痛点:**有大量重复性浏览器web任务,比如搜索关键词调研竞品,查排名等待,单流程执行速度慢的一批,如何加快效率?

解决方案:多线程任务派发搭配DCpage同时执行并发的能力,可以一次执行n个任务并行

案例效果展示#

DCpage流程参考#

py代码#

# 使用提醒:
# 1. xbot包提供软件自动化、数据表格、Excel、日志、AI等功能
# 2. package包提供访问当前应用数据的功能,如获取元素、访问全局变量、获取资源文件等功能
# 3. 当此模块作为流程独立运行时执行main函数
# 4. 可视化流程中可以通过"调用模块"的指令使用此模块
import xbot
from xbot import print, sleep
from .import package
from .package import variables as glv
import threading
import queue
import time
from .import process1
# ====================== 全局配置 ======================
# 任务队列(线程安全,空的时候会自动等)
task_queue = queue.Queue()
# 控制整个程序是否继续运行
is_running = True
# ====================== 1. 消费者:5个线程一直处理 ======================
def worker():
global is_running
while is_running:
try:
# 从队列取数据,没数据就阻塞等待(不会耗CPU)
data = task_queue.get(timeout=1)
# ==================== 你的业务处理逻辑 ====================
# data 就是你传进来的任意参数(字典、字符串、列表都行)
# time.sleep(5)
print(f"【{threading.current_thread().name}】正在处理:{data}")
process1.main({"端口号":data["端口号"],"关键词":data["关键词"]})
# xbot.web.create("www.baidu.com").find("百度一下").clipboard_input(data["关键词"])
# ==========================================================
# 标记任务完成
task_queue.task_done()
except queue.Empty:
# 队列空了,继续循环等待新数据
continue
# ====================== 2. 启动 4 个固定线程 ======================
for i in range(4):
t = threading.Thread(
target=worker,
name=f"处理线程-{i+1}",
daemon=True
)
t.start()
# ====================== 3. 【对外接口】添加数据到队列 ======================
# 你在任何地方调用这个函数,就会把数据丢进去处理
def add_task(data):
"""
外部添加任务的入口
:param data: 任意类型:字符串、数字、列表、字典都可以
"""
task_queue.put(data)
print(f"==> 成功添加任务:{data}")
# ====================== 4. 模拟:无限循环、断断续续来数据 ======================
def produce_loop():
"""模拟外部一直产生数据(可以改成你自己的逻辑:读文件、接口、数据库等)"""
count = 0
while is_running:
# 模拟每隔一段时间来一条数据
time.sleep(1)
# 构造你要的入参(可以是任意结构)
task_param = {
"端口号": count%5 + 9222,
"关键词": f"影刀rpa",
"执行次数": count + 1
}
# 添加到任务队列
add_task(task_param)
count += 1
# ====================== 主程序启动 ======================
def main(args):
pass

任务派发传参流程#

def add_task(data):
"""
外部添加任务的入口
:param data: 任意类型:字符串、数字、列表、字典都可以
"""
task_queue.put(data)
print(f"==> 成功添加任务:{data}")

调用案例,也可以循环数据列表或者在线表格进行派发自行选择#

def produce_loop():
"""模拟外部一直产生数据(可以改成你自己的逻辑:读文件、接口、数据库等)"""
count = 0
while is_running:
# 模拟每隔一段时间来一条数据
time.sleep(1)
# 构造你要的入参(可以是任意结构)
task_param = {
"端口号": count%5 + 9222,
"关键词": f"影刀rpa",
"执行次数": count + 1
}
# 添加到任务队列
add_task(task_param)

接受到任务可以并发执行,可搭配dcpage,或者协议请求支持并发操作的都可以#

def worker():
global is_running
while is_running:
try:
# 从队列取数据,没数据就阻塞等待(不会耗CPU)
data = task_queue.get(timeout=1)
# ==================== 你的业务处理逻辑 ====================
# data 就是你传进来的任意参数(字典、字符串、列表都行)
# time.sleep(5)
print(f"【{threading.current_thread().name}】正在处理:{data}")
process1.main({"端口号":data["端口号"],"关键词":data["关键词"]})
# xbot.web.create("www.baidu.com").find("百度一下").clipboard_input(data["关键词"])
# ==========================================================
# 标记任务完成
task_queue.task_done()
except queue.Empty:
# 队列空了,继续循环等待新数据
continue
# ====================== 2. 启动 4 个固定线程 ======================
for i in range(4):
t = threading.Thread(
target=worker,
name=f"处理线程-{i+1}",
daemon=True
)
t.start()

猜你喜欢:DCpage:基于 DrissionPage 打造的影刀专属自定义指令库-经验分享-影刀RPA开发者社区

多线程分发任务搭配DCpage并发简直就是yyds
https://dc6.com.cn/posts/duo-xian-cheng-fen-fa-ren-wu-da-pei-dcpage-bing-fa-jian-zhi/
作者
DC哥
发布于
2026-03-29
许可协议
CC BY-NC-SA 4.0