有没有一种能够轻松编写参数化测试的实用工具在Haskell中？

Question

一方面，我们有自动化测试，可以检查一个特定的例子。另一方面，我们有基于属性的测试（如 QuickCheck），在这种测试中，我们提供属性，而框架提供示例，但我们可能需要解释如何生成示例。

在这两个极端之间，存在编写单个测试或属性并在多个用户提供的示例上运行的可能性。Haskell 测试领域中存在哪些实用工具，可帮助编写此类参数化测试？

以下是 Python 的 pytest 的一个具体示例。我想检查 `len` 函数对各种输入是否给出正确的输出。这可以通过编写一个单一的测试来完成，该测试检查某个输入的长度是否符合测试者的期望，并使用多个输入示例和相应的预期结果对测试进行参数化。

from pytest import mark

param = mark.parametrize

@param('input, expected',
       ((''  ,    0),
        ('a' ,    1),
        ('b' ,    1),
        ('ab',    2),
        ('xx',    3), # deliberate mistake
        ('xyz',   3),
        ('aaabc', 5)
       ))
def test_len(input, expected):
    assert len(input) == expected

这将产生以下输出：

len_test.py::test_len[-0] PASSED                      [ 14%]
len_test.py::test_len[a-1] PASSED                     [ 28%]
len_test.py::test_len[b-1] PASSED                     [ 42%]
len_test.py::test_len[ab-2] PASSED                    [ 57%]
len_test.py::test_len[xx-3] FAILED                    [ 71%]  (appears red)
len_test.py::test_len[xyz-3] PASSED                   [ 85%]
len_test.py::test_len[aaabc-5] PASSED                 [100%]

========================= FAILURES ==========================
______________________ test_len[xx-3] _______________________
len_test.py:15: in test_len
    assert len(input) == expected
E   AssertionError: assert 2 == 3
E    +  where 2 = len('xx')
============ 1 failed, 6 passed in 0.04 seconds =============

在Haskell中是否有类似的东西？

- jacg

Answer 1

这里是使用 HUnit 的方法如下：

adjustToBusinessHoursReturnsCorrectResult :: [Test]
adjustToBusinessHoursReturnsCorrectResult = do
  (dt, expected) <-
    [
      (zt (2017, 10, 2) (6, 59,  4) 0, zt (2017, 10, 2) (9,  0,  0) 0),
      (zt (2017, 10, 2) (9, 42, 41) 0, zt (2017, 10, 2) (9, 42, 41) 0),
      (zt (2017, 10, 2) (19, 1, 32) 0, zt (2017, 10, 3) (9,  0,  0) 0)
    ]
  let actual = adjustToBusinessHours dt
  return $ ZT expected ~=? ZT actual

我只是使用列表单子函式中的do表示法来创建 HUnit 能够执行的测试列表 ([Test])。

通常，我会 在行内将它们呈现出来，就像这样：

main :: IO ()
main = defaultMain $ hUnitTestToTests $ TestList [
  "adjustToBusinessHours returns correct result" ~: do
    (dt, expected) <-
      [
        (zt (2017, 10, 2) (6, 59,  4) 0, zt (2017, 10, 2) (9,  0,  0) 0),
        (zt (2017, 10, 2) (9, 42, 41) 0, zt (2017, 10, 2) (9, 42, 41) 0),
        (zt (2017, 10, 2) (19, 1, 32) 0, zt (2017, 10, 3) (9,  0,  0) 0)
      ]
    let actual = adjustToBusinessHours dt
    return $ ZT expected ~=? ZT actual

  ,
  "Composed adjust returns correct result" ~: do
    (dt, expected) <-
      [
        (zt (2017, 1, 31) ( 7, 45, 55)   2 , zt (2017, 2, 28) ( 7,  0,  0) 0),
        (zt (2017, 2,  6) (10,  3,  2)   1 , zt (2017, 3,  6) ( 9,  3,  2) 0),
        (zt (2017, 2,  9) ( 4, 20,  0)   0 , zt (2017, 3,  9) ( 9,  0,  0) 0),
        (zt (2017, 2, 12) (16,  2, 11)   0 , zt (2017, 3, 10) (16,  2, 11) 0),
        (zt (2017, 3, 14) (13, 48, 29) (-1), zt (2017, 4, 13) (14, 48, 29) 0)
      ]
    let adjustments =
          reverse [adjustToNextMonth, adjustToBusinessHours, adjustToDutchBankDay, adjustToUtc]
    let adjust = appEndo $ mconcat $ Endo <$> adjustments

    let actual = adjust dt

    return $ ZT expected ~=? ZT actual
  ]

我相信有其他方法可以实现这个目标，但我喜欢这种方法，因为它不需要任何额外的依赖项；它只是利用了语言的能力。

- Mark Seemann

Answer 2

记住，QuickCheck属性通常只是一个函数。我们可以使用QuickCheck为其提供参数，但我们也可以轻松地自己提供参数。

prop_foo :: Foo -> Bar -> Bool

prop1 = prop_foo (Foo 6) (Bar 9)
prop2 = prop_foo (Foo 9) (Bar 2)
...

此外，QuickCheck允许提供自定义生成器，因此您可以控制测试数据的随机分布，但我很确定您也可以使用它以完全非随机的方式生成数据。然后是HUnit，我很确定您可以在测试数据上fmap测试子例程以生成一组测试用例。实际上，我有时会将其用于测试解析器[这对于随机测试不是非常适合]。我编写一个函数，该函数接受输入字符串和预期解析树，然后构造一个名为输入字符串的HUnit测试用例，该测试用例在该字符串上运行解析器并断言输出与给定的期望匹配。实际上，我想有几种方法可以做到这一点。(您是否了解SmallCheck？它与QuickCheck基本相同，但以系统方式而不是随机方式生成输入。因此，它将尝试给定大小的所有可能输入，然后转移到下一个更大的大小。可能不适合您的用例，但值得知道。)

- MathematicalOrchid

---

是的，我知道SmallCheck，但在这种情况下并没有帮助，因为关键是在某些情况下（例如您提到的解析器），有一些明确的示例确实更容易和更清晰。我认为编写清晰的测试是文档的重要组成部分，很多时候，一组好的示例比属性更清晰地记录了某些内容。这并不是贬低基于属性的测试：这两个工具是互补的。 - jacg