使用unittest discover进行argparse参数传递

Question

foo 是一个Python项目，具有深层目录嵌套，包括各个子目录中的约30个unittest文件。 在 foo 的 setup.py 中，我已经添加了一个自定义的“test”命令，内部运行了自定义的distutils命令。

 python -m unittest discover foo '*test.py'

注意，这里使用了 unittest 的发现模式。

---

由于一些测试非常缓慢，我最近决定测试应该具有“级别”。这个问题的答案很好地解释了如何使 unittest 和 argparse 很好地协作。因此，现在我可以运行一个 单独的 unittest 文件，比如说 foo/bar/_bar_test.py，使用以下命令：

python foo/bar/_bar_test.py --level=3

只运行三级测试。

问题在于我无法弄清如何通过discover传递自定义标志（在这种情况下为“--level=3”）。我尝试的所有方法都失败了，例如：

$ python -m unittest discover --level=3 foo '*test.py'
Usage: python -m unittest discover [options]

python -m unittest discover: error: no such option: --level

$ python -m --level=3 unittest discover foo '*test.py'
/usr/bin/python: No module named --level=3

如何将--level=3传递给各个单元测试？如果可能的话，我想避免将不同级别的测试分成不同的文件。

赏金修改：预赏金方案建议使用系统环境变量。这不错，但我正在寻找更清洁的东西。

将多文件测试运行器（即python -m unittest discover foo '*test.py'）更改为其他内容是可以的，只要： 1.它允许生成多文件unittest的单一报告。 2.它可以以某种方式支持多个测试级别（无论是使用问题中的技术还是使用其他不同的机制）。

- Ami Tavory

Answer 1

你面临的问题是，unittest参数解析器无法理解这种语法。因此，在调用unittest之前，您必须删除这些参数。

一种简单的方法是创建一个包装模块(比如my_unittest.py)，查找您的额外参数，从sys.argv中剥离它们，然后调用unittest中的主入口。

现在让我们来看看好处...该包装器的代码基本上与您已经用于单个文件的情况下的代码相同！您只需要将其放入一个单独的文件中即可。

编辑:根据请求，添加以下示例代码...

首先，新增一个运行UTs的文件(my_unittest.py)：

import sys
import unittest
from parser import wrapper

if __name__ == '__main__':
    wrapper.parse_args()
    unittest.main(module=None, argv=sys.argv)

现在是parser.py的时候，它必须在一个单独的文件中以避免在__main__模块中出现全局引用的情况：

import sys
import argparse
import unittest

class UnitTestParser(object):

    def __init__(self):
        self.args = None

    def parse_args(self):
        # Parse optional extra arguments
        parser = argparse.ArgumentParser()
        parser.add_argument('--level', type=int, default=0)
        ns, args = parser.parse_known_args()
        self.args = vars(ns)

        # Now set the sys.argv to the unittest_args (leaving sys.argv[0] alone)
        sys.argv[1:] = args

wrapper = UnitTestParser()

最后，一个用于测试参数是否被正确解析的示例测试用例（project_test.py）：

import unittest
from parser import wrapper

class TestMyProject(unittest.TestCase):

    def test_len(self):
        self.assertEqual(len(wrapper.args), 1)

    def test_level3(self):
        self.assertEqual(wrapper.args['level'], 3)

现在，我们来证明一下：

$ python -m my_unittest discover --level 3 . '*test.py'
..
----------------------------------------------------------------------
Ran 2 tests in 0.000s

OK

- Peter Brittain

---

好的，这是一个很好的观点。稍微有点不足的是，实际上，我会将其翻译为在unittest之上构建自己的单元测试包，而不是依赖于一些本地的my_unittest.py。不过，这仍然是一个好主意。谢谢！ - Ami Tavory

@AmiTavory 它不必是一个单独的包。您可以将其与单元测试放在一起，并在相同的测试包/目录/任何您用于交付UT的地方提供该Python文件。 - Peter Brittain

如果您充实my_unittest的内容，我将很高兴接受您的答案（并授予您奖励）。 - Ami Tavory

结果发现有一个小问题。我需要创建一个单独的模块来创建全局对象以跟踪额外的参数。如果我直接在my_unittest.py中进行解析，Python会将该对象丢弃并为unittest类创建另一个对象。 - Peter Brittain

非常聪明的解决方案。不幸的是需要一个附加文件。 - r_31415

Answer 2

这种方法无法通过unittest discover来传递参数，但它可以达到你想要实现的目的。

这里是leveltest.py代码。将它放在模块搜索路径中的某个位置（如当前目录或site-packages）：

import argparse
import sys
import unittest

# this part copied from unittest.__main__.py
if sys.argv[0].endswith("__main__.py"):
    import os.path
    # We change sys.argv[0] to make help message more useful
    # use executable without path, unquoted
    # (it's just a hint anyway)
    # (if you have spaces in your executable you get what you deserve!)
    executable = os.path.basename(sys.executable)
    sys.argv[0] = executable + " -m leveltest"
    del os

def _id(obj):
    return obj

# decorator that assigns test levels to test cases (classes and methods)
def level(testlevel):
    if unittest.level < testlevel:
        return unittest.skip("test level too low.")
    return _id

def parse_args():
    parser = argparse.ArgumentParser()
    parser.add_argument('--level', type=int, default=3)
    ns, args = parser.parse_known_args(namespace=unittest)
    return ns, sys.argv[:1] + args

if __name__ == "__main__":
    ns, remaining_args = parse_args()

    # this invokes unittest when leveltest invoked with -m flag like:
    #    python -m leveltest --level=2 discover --verbose
    unittest.main(module=None, argv=remaining_args)

以下是如何在示例testproject.py文件中使用它：

import unittest
import leveltest

# This is needed before any uses of the @leveltest.level() decorator
#   to parse the "--level" command argument and set the test level when 
#   this test file is run directly with -m
if __name__ == "__main__":
    ns, remaining_args = leveltest.parse_args()

@leveltest.level(2)
class TestStringMethods(unittest.TestCase):

    @leveltest.level(5)
    def test_upper(self):
        self.assertEqual('foo'.upper(), 'FOO')

    @leveltest.level(3)
    def test_isupper(self):
        self.assertTrue('FOO'.isupper())
        self.assertFalse('Foo'.isupper())

    @leveltest.level(4)
    def test_split(self):
        s = 'hello world'
        self.assertEqual(s.split(), ['hello', 'world'])
        # check that s.split fails when the separator is not a string
        with self.assertRaises(TypeError):
            s.split(2)

if __name__ == '__main__':
    # this invokes unittest when this file is executed with -m
    unittest.main(argv=remaining_args)

您可以直接运行testproject.py来运行测试，例如：

~roottwo\projects> python testproject.py --level 2 -v
test_isupper (__main__.TestStringMethods) ... skipped 'test level too low.'
test_split (__main__.TestStringMethods) ... skipped 'test level too low.'
test_upper (__main__.TestStringMethods) ... skipped 'test level too low.'

----------------------------------------------------------------------
Ran 3 tests in 0.000s

OK (skipped=3)

~roottwo\projects> python testproject.py --level 3 -v
test_isupper (__main__.TestStringMethods) ... ok
test_split (__main__.TestStringMethods) ... skipped 'test level too low.'
test_upper (__main__.TestStringMethods) ... skipped 'test level too low.'

----------------------------------------------------------------------
Ran 3 tests in 0.001s

OK (skipped=2)

~roottwo\projects> python testproject.py --level 4 -v
test_isupper (__main__.TestStringMethods) ... ok
test_split (__main__.TestStringMethods) ... ok
test_upper (__main__.TestStringMethods) ... skipped 'test level too low.'

----------------------------------------------------------------------
Ran 3 tests in 0.001s

OK (skipped=1)

~roottwo\projects> python testproject.py --level 5 -v
test_isupper (__main__.TestStringMethods) ... ok
test_split (__main__.TestStringMethods) ... ok
test_upper (__main__.TestStringMethods) ... ok

----------------------------------------------------------------------
Ran 3 tests in 0.001s

OK

通过像这样使用单元测试发现功能：

~roottwo\projects> python -m leveltest --level 2 -v
test_isupper (testproject.TestStringMethods) ... skipped 'test level too low.'
test_split (testproject.TestStringMethods) ... skipped 'test level too low.'
test_upper (testproject.TestStringMethods) ... skipped 'test level too low.'

----------------------------------------------------------------------
Ran 3 tests in 0.003s

OK (skipped=3)

~roottwo\projects> python -m leveltest --level 3 discover -v
test_isupper (testproject.TestStringMethods) ... ok
test_split (testproject.TestStringMethods) ... skipped 'test level too low.'
test_upper (testproject.TestStringMethods) ... skipped 'test level too low.'

----------------------------------------------------------------------
Ran 3 tests in 0.001s

OK (skipped=2)

~roottwo\projects> python -m leveltest --level 4 -v
test_isupper (testproject.TestStringMethods) ... ok
test_split (testproject.TestStringMethods) ... ok
test_upper (testproject.TestStringMethods) ... skipped 'test level too low.'

----------------------------------------------------------------------
Ran 3 tests in 0.001s

OK (skipped=1)

~roottwo\projects> python -m leveltest discover --level 5 -v
test_isupper (testproject.TestStringMethods) ... ok
test_split (testproject.TestStringMethods) ... ok
test_upper (testproject.TestStringMethods) ... ok

----------------------------------------------------------------------
Ran 3 tests in 0.001s

OK

或者通过指定要运行的测试用例，例如：

~roottwo\projects>python -m leveltest --level 3 testproject -v
test_isupper (testproject.TestStringMethods) ... ok
test_split (testproject.TestStringMethods) ... skipped 'test level too low.'
test_upper (testproject.TestStringMethods) ... skipped 'test level too low.'

----------------------------------------------------------------------
Ran 3 tests in 0.002s

OK (skipped=2)

- RootTwo

---

谢谢你的回答，但我还无法确定这是否允许像“discover”一样遍历目录中的所有文件，然后为它们生成单个报告。 - Ami Tavory

它使用unittest来进行所有测试。因此，它提供与unittest相同的报告。我回答中的示例使用-v（详细）标志来unittest，以提供有关所有测试的详细信息，包括由于测试级别过低而跳过哪些测试。 - RootTwo

啊，我明白了 - 很有趣。谢谢你的回答 - 我会再仔细看看的。感激不尽！ - Ami Tavory

非常感谢您的回答。我也希望能将赏金授予您。不幸的是，网站规则不允许添加或分割赏金点数。否则，我会很乐意这样做。祝一切顺利。 - Ami Tavory

Answer 3

使用discover时无法传递参数。从discover中使用DiscoveringTestLoader类会移除所有未匹配的文件（无法使用"*test.py --level=3"），并且仅将文件名传递给unittest.TextTestRunner。

目前唯一的选择可能是使用环境变量。

LEVEL=3 python -m unittest discoverfoo '*test.py'

- ikhtiyor

---

环境变量是一个有趣的概念。谢谢。我仍然希望有一些不涉及它们的东西。 - Ami Tavory