使用 python 多进程模块 multiprocessing 并发执行测试用例

random
random
random
订阅者
10318
文章
0
粉丝
测试交流22368字数 681阅读2分16秒阅读模式

前言

在批量执行测试用例时,为了提高执行效率,多进程并发是一个很好的方式。

python 并发执行测试用例的例子

from multiprocessing.dummy import Pool as ThreadPool
import random,time
# 设置并发数量
threadNum = 3
# 修改为从数据库中读取用例列表
def get_case_list():
return [i for i in range(1,20)]
# 具体的执行方法, 记录测试结果和测试时间
def run_case(case_id):
run_time = random.randrange(1,10)
time.sleep(run_time)
print('run case: %d, result is pass, run time is : %d seconds' %(case_id, run_time))
# 设置多进程执行
pool = ThreadPool(threadNum)
pool.map(run_case, get_case_list())
pool.close()
pool.join()

运行结果:

run case: 1, result is pass, run time is : 6 seconds
run case: 3, result is pass, run time is : 7 seconds
run case: 5, result is pass, run time is : 8 seconds
run case: 6, result is pass, run time is : 1 seconds
run case: 4, result is pass, run time is : 4 seconds
run case: 2, result is pass, run time is : 5 seconds
run case: 7, result is pass, run time is : 6 seconds
run case: 11, result is pass, run time is : 5 seconds
run case: 9, result is pass, run time is : 6 seconds
run case: 10, result is pass, run time is : 2 seconds
run case: 8, result is pass, run time is : 5 seconds
run case: 13, result is pass, run time is : 2 seconds
run case: 12, result is pass, run time is : 9 seconds
run case: 17, result is pass, run time is : 1 seconds
run case: 15, result is pass, run time is : 8 seconds
run case: 14, result is pass, run time is : 8 seconds
run case: 18, result is pass, run time is : 8 seconds
run case: 16, result is pass, run time is : 7 seconds
run case: 19, result is pass, run time is : 8 seconds
Process finished with exit code 0

对应的用例管理

目的:每条用例独立管理

方式一:使用描述性的方式管理用例(即关键字驱动)

例如:Chrome,前往 |http://www.baidu.com,|id@@kw@@selenium,点击 |id@@su,验证 |Web填写 Browser Automation,截图

代表纯粹的执行步骤,实现用例完全脱离代码。具体实现可参考之前的分享: https://testerhome.com/topics/15534

方式二:在代码中通过方法管理用例

例如编写用例如下:

from selenium import webdriver
import time
def search_selenium():
# 在百度首页输入“selenium”,并验证查询结果中包含“Web Browser Automation”
driver = webdriver.Chrome()
driver.get('http://www.baidu.com')
driver.maximize_window()
driver.find_element(by='id' ,value='kw').send_keys('selenium')
driver.find_element(by='id' ,value='su').click()
time.sleep(2)
elements = driver.find_elements(by='xpath', value="//*[contains(.,'Web Browser Automation')]")
assert len(elements)>0
driver.quit()

需执行该用例时,调用对应方法即可:

# 具体的执行方法修改为:
def run_case(case):
exec(case)

结合 selenium docker 的并发

目前设置并发数为 6 ,selenium node 的最大并发设置为 10, 可以顺畅地执行。
注: selenium node 的并发比实际使用的并发设置得要大,这是为了预留一些用例执行异常时无法释放资源(即 driver 没有正常退出),导致实际可用的资源不足的情况。

测试未执行的空闲状态:
使用 python 多进程模块 multiprocessing 并发执行测试用例-图片1

并发数设置为 6 时的工作状态:
使用 python 多进程模块 multiprocessing 并发执行测试用例-图片2

 最后更新:2023-2-24
  • 版权提示:非本站文章仅供存储任何法律责任由作者承担▷违法举报◁▷新闻不符◁▷我要投稿◁
    免责声明:部分内容来自用户上传发布或新闻客户端自媒体如有侵权请反馈站长处理
  • 原创转载:阅读转载说明>>> https://www.playezu.com/zixun/jiaoliu/shiyong-python-duojinchengmokuai-multiprocessing-bingfazhixingbang.html
评论  22  访客  22
    • Jerry li
      Jerry li 9

      也就是说实际上两个地方在做多进程并发:
      1、 用例的并发执行。实现方式就是例子里的 pool.map(run_case, case_id_list)

      2、selenium 服务节点上的并发执行,这是 selenium Server 自带的

      • Jerry li
        Jerry li 9

        我是根据每个用例的类型,在初始化的时候指定对应的 driver 类型(例如 chrome、Firefox)。每一个用例都发到 selenium Server 上,它会自动分配到对应的节点浏览器。

        至于并发,参考我这篇文章的例子,所有用例组成一个数据队列,按指定的进程数量进行并发执行即可。

        • 冷月醉夕阳
          冷月醉夕阳 9

          看了你之前写的那个平台,不过还是不太清楚,怎么做到分发不同的测试用例到不同的节点上面去,求大佬指点一二。。呵呵 ~~

          • 冷月醉夕阳
            冷月醉夕阳 9

            你好,你指的一台服务器上并发多进程,每个进程执行不同的用例吗? 我想要的就是每个进程执行不同的用例效果

            • Jerry li
              Jerry li 9

              https://testerhome.com/topics/15534
              可以参考之前分享的实现方式

              • Jerry li
                Jerry li 9

                selenium grid 是支持一台服务器上并发多个进程的

                • 冷月醉夕阳
                  冷月醉夕阳 9

                  你好,我有个问题想问下,目前多进程并发的话,用例之间有没有影响? 好想知道你这个方案是怎么做的,还是用的是 selenium grid 吗? 我现在想着能不能在同一个机器上面多进程来跑,也不知道有没有影响?

                  • Jerry li
                    Jerry li 9

                    效率上我觉得还好吧, 因为数据量不算特别大,6 个并发是挺稳定的

                    • Jerry li
                      Jerry li 9

                      多谢指正, 是多进程,我修改过来了。

                      • wzy287522564
                        wzy287522564 9

                        首先你这是多进程吧。其次多进程上限应该是看 CPU 核数的,4 核 CPU 也就是 8 个逻辑核应该同一时间只支持 8 进程吧?还 PYTHON 的多进程多线程不是出了名的烂吗,也只使用与 io 密集型的测试

                      匿名

                      发表评论

                      匿名网友
                      确定

                      拖动滑块以完成验证