allure与pytest_allure pytest

Allure介绍：

• 一个轻量级、灵活的、支持多语言的测试报告工具
• 支持多平台，奢华的report框架
• 能提供详尽的测试报告、测试步骤、Log等信息
• Java语言开发，但支持pytest、JavaScript、PHP、ruby等语言或框架
• 可以集成到Jenkins

安装

Allure的使用，需要安装Java和Allure。

• Java：由于Allure是Java语言开发的，所以需要安装Java；网上很多java的安装教程，这里就不详细说明了
• Allure：本人只有win10系统的，所以本章主要是在win10下操作的
  • 下载地址：https://github.com/allure-framework/allure2/releases
    如果github下载不太顺畅，可以考虑别的网站：https://repo.maven.apache.org/maven2/io/qameta/allure/allure-commandline/
  • 配置环境变量：解压后将bin目录加入PATH环境变量
    
  • 环境验证：命令行输入allure --version，能正常打印对应版本即可
    
  • pytest要能使用allure，需要安装相应的插件：pip install allure-pytest

使用

官方教程：https://docs.qameta.io/allure

入门

想要看到allure报告，需要做2个步骤：
1、pytest执行时关联allure：pytest命令带上--alluredir 结果存放目录或--alluredir=结果存放目录；
2、打开执行报告：allure serve 结果存放目录
test_demo.py的内容如下：

def test_add_positive():
    assert 1 + 3 == 4

def test_add_negative():
    assert -1 + -3 == -4
1
2
3
4
5

执行用例：

执行命令成功后，会在当前目录下，生成result目录，result目录下存放了执行结果

通过allure serve ./result打开测试报告

allure装饰器

allure提供了一些装饰器，比较常用的如下：

epic、feature、story

epic、feature、story是存在层级关系的，在报告中进行层级展示。
示例如下：
test_demo.py内容如下：

import allure

@allure.epic("epic的使用1")
@allure.feature("测试模块1")
def test_case1():
    assert 1 + 3 == 4


@allure.feature("测试模块1")
def test_case2():
    assert -1 + -3 == -4

@allure.feature("测试模块1")
@allure.story("某部分验证1")
def test_case3():
    assert True

@allure.feature("测试模块1")
@allure.story("某部分验证1")
def test_case4():
    assert True

@allure.story("某部分验证1")
def test_case5():
    assert True

@allure.story("某部分验证2")
def test_case6():
    assert True
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

执行pytest test_demo.py --alluredir ./result命令，打开allure报告后如下：

点击Show all按钮，层级显示说明如下：

@allure.title()

@allure.title(test_title)：是给指定的用例设置名称，在测试报告中，展示的用例名称不是函数名称，是设置的test_title
test_demo.py内容如下：

import allure

def test_case1():
    assert 1 + 3 == 4

@allure.title("测试xxxx点")
def test_case2():
    assert True
1
2
3
4
5
6
7
8

allure测试报告显示如下：

@allure.testcase()

@allure.testcase(url, name=None)：是给指定的用例设置跳转链接url，如果name为None，则直接显示链接，如果name不为None，则报告中显示name，点击跳转到指定链接。一般是用来设置用例可访问的链接，直接跳转到用例详情
示例：
test_demo.py内容如下：

import allure

def test_case1():
    print("这里是test_case1的测试内容")
    assert True

@allure.testcase("https://www.baidu.com/")
def test_case2():
    print("这里是test_case2的测试内容")
    assert True

@allure.testcase("https://www.baidu.com/", "用例所在位置")
def test_case3():
    print("这里是test_case3的测试内容")
    assert True
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

allure测试报告比较如下：

@allure.testcase()

@allure.issue(url, name=None)：是给指定的用例设置缺陷链接url，如果name为None，则直接显示链接，如果name不为None，则报告中显示name，点击跳转到指定链接。一般是用来设置对应的缺陷链接，能直接跳转到指定的缺陷详情页面
示例：
test_demo.py内容如下：

import allure

def test_case1():
    print("这里是test_case1的测试内容")
    assert True

@allure.issue("https://www.baidu.com/")
def test_case2():
    print("这里是test_case2的测试内容")
    assert True

@allure.issue("https://www.baidu.com/", "缺陷访问地址")
def test_case3():
    print("这里是test_case3的测试内容")
    assert True
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

allure报告显示如下：

@allure.description()

@allure.description(test_description)：描述当前用例的详细信息，比如说前置条件、验证场景、预期结果等需要关注的内容。设置了之后，allure报告中，该用例的详情页面会展示Description字段，字段内容为test_description的内容
示例：
test_demo.py内容如下：

import allure

def test_case1():
    print("这里是test_case1的测试内容")
    assert True

@allure.description("这条用例是为了验证...巴拉巴拉...的场景")
def test_case2():
    print("这里是test_case2的测试内容")
    assert True
1
2
3
4
5
6
7
8
9
10

allure报告中，test_case2()的执行详情显示如下：

@allure.link()

@allure.link(url, link_type='link', name=None) ： 用于定义一个需要在测试报告中展示的连接，link_type默认是link，可为issue、test_case，设置为issues时与allure.issue()用法一致，为test_case时用法与allure.testcase()一致，url和name参数用法与allure.testcase()一致
示例：
test_demo.py内容如下：

import allure

def test_case1():
    print("这里是test_case1的测试内容")
    assert True

@allure.link("https://www.baidu.com/")
def test_case2():
    print("这里是test_case2的测试内容")
    assert True

@allure.link("https://www.baidu.com/", name="相关业务文档")
def test_case3():
    print("这里是test_case3的测试内容")
    assert True
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

allure报告显示如下：

allure.step()

allure.step(title) ： 类似于将测试过程分步骤执行，allure会统计步骤的执行情况，方便定位问题和调试。allure.step()内的代码如果执行成功，则allure报告中会显示该步骤执行成功，执行失败时会展示到对应的步骤。
allure.step(title)是针对测试过程的步骤，不建议装饰整个用例，建议放在测试用例方法或函数里，使用方式如下：

with allure.step("步骤说明"):
    # 代码实现对应步骤
1
2

示例：
test_demo.py内容如下：

import allure

def test_send_mail_without_step():
    print("步骤1：输入用户名admin，密码password")
    print("登录成功")
    print("步骤2：新建邮件")
    print("步骤3：编辑邮件")
    print("步骤4：发送邮件")
    print("发送成功消息提示")
    print("步骤5：退出确认")
    print("退出成功页面")


def test_send_mail_with_step_success():
    with allure.step("步骤1：用户登录"):
        print("输入用户名admin，密码password")
        print("登录成功")

    with allure.step("步骤2：新建并编辑邮件"):
        print("新建邮件")
        print("编辑邮件")

    with allure.step("步骤3：发送邮件"):
        print("发送邮件")
        print("发送成功消息提示")

    with allure.step("步骤4：退出登录"):
        print("退出确认")
        print("退出成功页面")

def test_send_mail_with_step_fail():
    with allure.step("步骤1：用户登录"):
        print("输入用户名admin，密码password")
        print("登录成功")

    with allure.step("步骤2：新建并编辑邮件"):
        print("新建邮件")
        assert False
        print("前面报错了，接下来的不会被执行了")
        print("编辑邮件")

    with allure.step("步骤3：发送邮件"):
        print("发送邮件")
        print("发送成功消息提示")

    with allure.step("步骤4：退出登录"):
        print("退出确认")
        print("退出成功页面")
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48

allure报告显示如下：

@allure.severity()

@allure.severity(allure.severity_level.xxx) ：支持给用例设置优先级，一旦用例执行失败，就可以确定缺陷的等级。目前allure可设置5种级别：

• BLOCKER：阻塞缺陷，相当于主要功能未实现，非常严重
• CRITICAL：严重缺陷，功能点缺失，或主流程虽然实现，但存在较大的问题
• NORMAL：一般缺陷（边界情况、格式错误等）
• MINOR：次要缺陷（界面与ui需求不符等）
• TRIVIAL：轻微缺陷（比如无提示、用户体验不好等）

示例：
test_demo.py内容如下：

import allure

def test_case1():
    print("这里是test_case1的测试内容，未设置优先级")
    assert True

@allure.severity(allure.severity_level.BLOCKER)
def test_case2():
    print("这里是test_case2的测试内容，优先级为BLOCKER，阻塞缺陷")
    assert True

@allure.severity(allure.severity_level.CRITICAL)
def test_case3():
    print("这里是test_case3的测试内容，优先级为CRITICAL，严重缺陷")
    assert True

@allure.severity(allure.severity_level.NORMAL)
def test_case4_success():
    print("这里是test_case4的测试内容，优先级为NORMAL，一般缺陷")
    assert True

@allure.severity(allure.severity_level.NORMAL)
def test_case4_fail():
    print("这里是test_case的测试内容，优先级为")
    assert False

@allure.severity(allure.severity_level.MINOR)
def test_case5():
    print("这里是test_case5的测试内容，优先级为MINOR，次要的、较小的缺陷")
    assert True

@allure.severity(allure.severity_level.TRIVIAL)
def test_case6():
    print("这里是test_case6的测试内容，优先级为TRIVIAL，轻微缺陷（比如无提示、用户体验不好等）")
    assert True
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35

执行后，allure报告显示如下：

allure.attach

allure提供了attach，支持在测试报告中添加附件，attach有2种方式，attach可以添加数据、文本、图片、视频、网页等数据
可支持的附件类型在allure.attachment_type中有定义：

attach()是将python对象以指定附件类型展示，attach.file()是将本地文件以指定附件类型展示在报告中，attach()是针对字符串等内容，attach.file()是针对文件。attach.file()会将文件中的内容按照指定附件类型 读取并展示 到报告中，attach()则是将python的字符串对象按照指定附件类型展示
示例：
test_demo.py内容如下：

import allure

@allure.title("attach.file()针对于文件来源的附件")
def test_attach_file():
    with allure.step("attach.file()添加图片"):
        allure.attach.file("D:\\test_code\\allure_demo\\csdn.png", name="csdn",
                           attachment_type=allure.attachment_type.PNG, extension=".png")

    # 没有指定name，系统会默认分配附件名称，CSV格式显示正常
    with allure.step("attach.file()添加CSV文件"):
        allure.attach.file("D:\\test_code\\allure_demo\\成绩表.csv",
                           attachment_type=allure.attachment_type.CSV)

@allure.title("attach()和attach.file()的区别")
def test_attach_or_file():
    with allure.step("attach.file()添加文本txt内容"):
        allure.attach.file("D:\\test_code\\allure_demo\\操作步骤.txt", name="文本标题：操作步骤",
                           attachment_type=allure.attachment_type.TEXT)

    # 参数一致，attach.file()会将文件中的内容按照指定附件类型读取并展示到报告中，attach()则是将python的字符串对象按照指定附件类型展示
    with allure.step("attach添加文本txt内容"):
        allure.attach("D:\\test_code\\allure_demo\\操作步骤.txt", name="文本标题：操作步骤",
                           attachment_type=allure.attachment_type.TEXT)

@allure.title("attach()的使用")
@allure.description("attach()将python对象按照指定的附件类型展示，attachment_type有/未指定类型时的区别")
def test_attach():
    # attach()的attachment_type参数，用来确定以什么类型展示，以下是attachment_type参数有无指定的情况
    with allure.step("attach添加HTML内容(指定了attachment_type为HTML格式)"):
        allure.attach('<a href="http://www.eastmoney.com">'
                      '<img class="ts-logo" src="https://g1.dfcfw.com/g3/201909/20190912110958.jpg" alt="东方财富网——财经资讯门户"></a>',
                      name="东方财富网首页", attachment_type=allure.attachment_type.HTML)

    with allure.step("attach添加HTML内容(未指定html格式，默认是文本形式)"):
        allure.attach('<a href="http://www.eastmoney.com">'
                      '<img class="ts-logo" src="https://g1.dfcfw.com/g3/201909/20190912110958.jpg" alt="东方财富网——财经资讯门户"></a>',
                      name="东方财富网首页")
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

使用到的附件内容如下：

执行pytest命令：>pytest test_demo.py --clean-alluredir --alluredir ./result，打开allure报告：allure serve ./result，相关的案例展示情况如下：

pytest的allure参数

python 安装了 allure-pytest库之后，pytest命令可以使用allure的参数

常用的allure参数如下：

示例（参数内容的示例都是用当前的代码）：
test_demo.py内容如下：

import allure

@allure.epic("epic1的用例")
@allure.feature("feature2的用例")
def test_case1():
    print("这里是test_case1的测试内容，未设置优先级")
    assert True

@allure.story("story2的用例")
@allure.severity(allure.severity_level.BLOCKER)
def test_case2():
    print("这里是test_case2的测试内容，优先级为BLOCKER，阻塞缺陷")
    assert True

@allure.epic("epic1的用例")
@allure.story("story1的用例")
@allure.testcase("https://wwww.baidu.com")
@allure.severity(allure.severity_level.CRITICAL)
def test_case3():
    print("这里是test_case3的测试内容，优先级为CRITICAL，严重缺陷")
    assert True

@allure.epic("epic3的用例")
@allure.feature("feature2的用例")
@allure.severity(allure.severity_level.NORMAL)
def test_case4_success():
    print("这里是test_case4的测试内容，优先级为NORMAL，一般缺陷")
    assert True

@allure.feature("feature1的用例")
@allure.story("story3的用例")
@allure.severity(allure.severity_level.NORMAL)
def test_case4_fail():
    print("这里是test_case的测试内容，优先级为NORMAL")
    assert False

@allure.epic("epic2的用例")
@allure.severity(allure.severity_level.MINOR)
def test_case5():
    print("这里是test_case5的测试内容，优先级为MINOR，次要的、较小的缺陷")
    assert True

@allure.feature("feature3的用例")
@allure.severity(allure.severity_level.TRIVIAL)
def test_case6():
    print("这里是test_case6的测试内容，优先级为TRIVIAL，轻微缺陷（比如无提示、用户体验不好等）")
    assert True
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47

统计当前执行结果

--clean-alluredir是只统计当前的执行情况，不会包含之前的统计情况。
示例：
执行了pytest test_demo.py --alluredir ./result命令后，再执行pytest test_demo.py::test_case4_fail --alluredir ./result命令

打开allure报告，显示如下：

加了--clean-alluredir参数后（即执行命令：pytest test_demo.py::test_case4_fail --alluredir ./result --clean-alluredir），打开allure报告，展示如下：

加了--clean-alluredir参数后，allure报告就只展示当前的执行结果，不包含之前的执行结果。

allure过滤用例

按照优先级

allure报告展示如下：

按照epic

按照feature

按照story

生成报告

我们在进行测试用例执行时，经常会有失败的用例需要调试，所以中间可能会有多个版本的测试报告，然后又个最终版本的测试报告。
报告的数据肯定是从pytest执行用例统计得来的。pytest执行用例时，需要加上--alluredir 存储路径参数，将pytest的执行统计结果存放到指定的存储路径，查看测试报告，有2种方式：

• 方式1：测试完成后查看实际报告（在线看报告），命令为allure server 存储路径
• 方式2：从结果生成报告再打开报告；
  • 先生成报告：allure generate 存储路径 -o 新路径 --clean（注意：覆盖路径加–clean）
  • 打开报告：allure open -h ip地址 -p 端口 新路径

2种方式都是统计最近一次pytest命令执行后的结果，pytest中有些参数也会影响报告的统计结果，比如加了--clean-alluredir就只会显示当前pytest执行用例的统计结果，而不会将之前的统计结果包含进来。所以从执行结果统计来说，方式1和方式2对pytest执行结果统计是一样的，只是渲染成html的方式不一样，方式1用于本地渲染和查看，方式2用于本地渲染和对外展示（即给其他设备也能查看）

方式1前面的示例用过多次了，这里主要讲下方式2：方式2是对已统计的pytest执行结果生成新的测试报告：
test_demo.py内容如下：

import pytest

def test_passed():
    assert True

def test_fail():
    assert False

def test_skip():
    pytest.skip("测试跳过这条用例")

def test_broken():
    raise ValueError("测试出现异常")
1
2
3
4
5
6
7
8
9
10
11
12
13

执行Pytest命令：

从上面截图可以看出，当前目录自动生成了个result目录，目录内容有json(有时候有txt)，是本次pytest执行统计结果。接下来根据result生成静态报告：

allure generate执行成功后，当前目录自动生成report目录，存放了生成的html文件及其组件、数据内容

直接从文件双击打开到浏览器的话，数据是加载不出来的，如下：

我们可以使用allure open -h ip地址 -p 端口 新路径命令打开报告：