在这个详细的答案中,我们使用基于PEP 484风格类型提示的Python 3.x特定类型检查装饰器,代码量不到275行纯Python(其中大部分是解释性文档字符串和注释),并且针对工业级别真实世界使用进行了大量优化,配备一个py.test
驱动的测试套件,涵盖所有可能的边缘情况。
享受熊类型的意想不到的神奇:
>>> @beartype
... def spirit_bear(kermode: str, gitgaata: (str, int)) -> tuple:
... return (kermode, gitgaata, "Moksgm'ol", 'Ursus americanus kermodei')
>>> spirit_bear(0xdeadbeef, 'People of the Cane')
AssertionError: parameter kermode=0xdeadbeef not of <class "str">
正如这个例子所示,Bear Typing 明确支持对参数和返回值进行类型检查,注释可以是简单类型或这些类型的元组。哇!
好吧,实际上并没有什么了不起的。在纯 Python 3.x 中,@beartype
基于 PEP 484 风格类型提示的类型检查装饰器和其他的一样,并且只有不到 275 行代码。那么问题来了?
纯暴力硬核效率
Bear typing 在空间和时间效率上比目前所有已知的 Python 类型检查实现都要高效,这是我有限的领域知识所能了解到的。
然而,在 Python 中,效率通常并不重要。如果很重要的话,你也不会使用 Python。类型检查真的会偏离 Python 避免过早优化的规范吗?是的。没错。
考虑性能分析,它为每个感兴趣的指标(例如函数调用、行)添加不可避免的开销。为了保证准确的结果,需要利用优化的 C 扩展(例如 cProfile
模块使用的 _lsprof
C 扩展),而不是未经优化的纯 Python(例如 profile
模块)。在性能分析时效率真正很重要。
类型检查也不例外。类型检查为应用程序中每个进行类型检查的函数调用添加开销,理想情况下应该所有函数调用都进行类型检查。因此,类型检查必须快速。 快到你加上它后,没有人会注意到它。但请注意,为了防止那些善意的但可悲的小心眼的同事从你那儿删除你上周在老旧的 Django 网站中添加的类型检查,请确保让它够快。我一直这样做!如果你是同事,请停止阅读此内容。
然而,如果你的贪婪应用程序要求甚至于疯狂的速度都无法满足,那么可以通过启用 Python 优化(例如通过将 -O
选项传递给 Python 解释器)来全局禁用 Bear typing:
$ python3 -O
# This succeeds only when type checking is optimized away. See above!
>>> spirit_bear(0xdeadbeef, 'People of the Cane')
(0xdeadbeef, 'People of the Cane', "Moksgm'ol", 'Ursus americanus kermodei')
仅仅因为喜欢。欢迎使用Bear typing。
什么鬼?为什么是“bear”?你是个脖子胡子程序员,对吧?
Bear typing是裸金属类型检查 - 即,尽可能接近Python类型检查手动方法的类型检查。Bear typing旨在不会带来性能损失、兼容性约束或第三方依赖项(除了手动方法所施加的)。Bear typing可以无需修改即可无缝集成到现有的代码库和测试套件中。
大家都应该熟悉手动方法。您需要手动assert
每个传递给和/或从您的代码库中的每个函数返回的参数类型。什么样的样板代码更简单或更平凡呢?我们已经看过了一百次谷歌多一点,每当我们这样做时,我们都会呕吐一点。重复太快就会变得陈旧。DRY,yo。别重复自己
准备好你的呕吐袋。为了简洁起见,让我们假设一个简化的 easy_spirit_bear()
函数只接受一个 str
参数。这就是手动方法的样子:
def easy_spirit_bear(kermode: str) -> str:
assert isinstance(kermode, str), 'easy_spirit_bear() parameter kermode={} not of <class "str">'.format(kermode)
return_value = (kermode, "Moksgm'ol", 'Ursus americanus kermodei')
assert isinstance(return_value, str), 'easy_spirit_bear() return value {} not of <class "str">'.format(return_value)
return return_value
Python 101, 对吧?我们中的很多人都通过了那门课。
Bear typing将上述方法手动执行的类型检查提取到一个动态定义的包装函数中,自动执行相同的检查 - 并具有引发粒度更细的TypeError而不是模糊的AssertionError异常的额外好处。 下面是自动化方法的示例:
def easy_spirit_bear_wrapper(*args, __beartype_func=easy_spirit_bear, **kwargs):
if not (
isinstance(args[0], __beartype_func.__annotations__['kermode'])
if 0 < len(args) else
isinstance(kwargs['kermode'], __beartype_func.__annotations__['kermode'])
if 'kermode' in kwargs else True):
raise TypeError(
'easy_spirit_bear() parameter kermode={} not of {!r}'.format(
args[0] if 0 < len(args) else kwargs['kermode'],
__beartype_func.__annotations__['kermode']))
return_value = __beartype_func(*args, **kwargs)
if not isinstance(return_value, __beartype_func.__annotations__['return']):
raise TypeError(
'easy_spirit_bear() return value {} not of {!r}'.format(
return_value, __beartype_func.__annotations__['return']))
return return_value
虽然有点冗长,但这个包装函数基本上和手动方法一样快。* 建议眯起眼睛看。
请注意,包装函数中完全没有对函数进行检查或迭代,但它包含了与原始函数类似数量的测试 - 尽管额外的(可能可以忽略不计的)测试成本是测试参数是否要进行类型检查以及如何将这些参数传递给当前函数调用。你不能赢得每一场战斗。
是否可以可靠地生成此类包装函数以在不到275行的纯Python代码中对任意函数进行类型检查?Snake Plisskin说:"真事。我可以抽根烟吗?"
是的。我可能有颈胡子。
不,认真点,为什么叫“bear(熊)”?
熊打败了鸭子。鸭子可以飞,但熊可以向鸭子扔鲑鱼。在加拿大,自然界会让你惊奇。
下一个问题。
为什么熊这么火?
现有的解决方案并不执行裸机类型检查 - 至少在我搜索的范围内没有找到。它们都会在每次函数调用时迭代重新检查类型检查函数的签名。虽然单个调用可以忽略不计,但聚合所有调用的重新检查开销通常是不可忽略的。真的非常不可忽略。
然而,这并不仅仅是效率问题。现有解决方案也经常无法考虑常见的边界情况。这包括此处和其他地方提供的大多数玩具装饰器。经典的失败包括:
- 未能对关键字参数和/或返回值进行类型检查(例如,sweeneyrod的
@checkargs
装饰器)。
- 未能支持由
isinstance()
内置函数接受的类型(即联合)元组。
- 未能将原始函数的名称、文档字符串和其他识别元数据传播到包装函数。
- 未能提供至少一种类似于单元测试的外观。(非常重要。)
- 在类型检查失败时引发通用
AssertionError
异常,而不是特定的TypeError
异常。为了获得细粒度和正确性,类型检查永远不应引发通用异常。
熊类型检查能够做到其他方法无法。所有一切,全靠熊!
解放熊式类型检查
熊类型检查将检查函数签名的空间和时间成本从函数调用时间移到函数定义时间 - 也就是从@beartype
装饰器返回的包装函数中移到装饰器本身。由于装饰器每个函数定义只调用一次,因此这种优化可以为所有人带来愉悦。
熊类型检查尝试让你既能进行类型检查,又能正常运行函数。为此,@beartype
:
- 检查原始函数的签名和注释。
- 动态构建包含类型检查原始函数的包装函数体。没错,Python代码生成Python代码。
- 使用内置的
exec()
声明此包装函数。
- 返回此包装函数。
我们准备好了吗?让我们深入探讨。
if __debug__:
import inspect
from functools import wraps
from inspect import Parameter, Signature
def beartype(func: callable) -> callable:
'''
Decorate the passed **callable** (e.g., function, method) to validate
both all annotated parameters passed to this callable _and_ the
annotated value returned by this callable if any.
This decorator performs rudimentary type checking based on Python 3.x
function annotations, as officially documented by PEP 484 ("Type
Hints"). While PEP 484 supports arbitrarily complex type composition,
this decorator requires _all_ parameter and return value annotations to
be either:
* Classes (e.g., `int`, `OrderedDict`).
* Tuples of classes (e.g., `(int, OrderedDict)`).
If optimizations are enabled by the active Python interpreter (e.g., due
to option `-O` passed to this interpreter), this decorator is a noop.
Raises
----------
NameError
If any parameter has the reserved name `__beartype_func`.
TypeError
If either:
* Any parameter or return value annotation is neither:
* A type.
* A tuple of types.
* The kind of any parameter is unrecognized. This should _never_
happen, assuming no significant changes to Python semantics.
'''
func_body = '''
@wraps(__beartype_func)
def func_beartyped(*args, __beartype_func=__beartype_func, **kwargs):
'''
func_sig = inspect.signature(func)
func_name = func.__name__ + '()'
for func_arg_index, func_arg in enumerate(func_sig.parameters.values()):
if func_arg.name == '__beartype_func':
raise NameError(
'Parameter {} reserved for use by @beartype.'.format(
func_arg.name))
if (func_arg.annotation is not Parameter.empty and
func_arg.kind not in _PARAMETER_KIND_IGNORED):
_check_type_annotation(
annotation=func_arg.annotation,
label='{} parameter {} type'.format(
func_name, func_arg.name))
func_arg_type_expr = (
'__beartype_func.__annotations__[{!r}]'.format(
func_arg.name))
func_arg_value_key_expr = 'kwargs[{!r}]'.format(func_arg.name)
if func_arg.kind is Parameter.KEYWORD_ONLY:
func_body += '''
if {arg_name!r} in kwargs and not isinstance(
{arg_value_key_expr}, {arg_type_expr}):
raise TypeError(
'{func_name} keyword-only parameter '
'{arg_name}={{}} not a {{!r}}'.format(
{arg_value_key_expr}, {arg_type_expr}))
'''.format(
func_name=func_name,
arg_name=func_arg.name,
arg_type_expr=func_arg_type_expr,
arg_value_key_expr=func_arg_value_key_expr,
)
else:
func_arg_value_pos_expr = 'args[{!r}]'.format(
func_arg_index)
func_body += '''
if not (
isinstance({arg_value_pos_expr}, {arg_type_expr})
if {arg_index} < len(args) else
isinstance({arg_value_key_expr}, {arg_type_expr})
if {arg_name!r} in kwargs else True):
raise TypeError(
'{func_name} parameter {arg_name}={{}} not of {{!r}}'.format(
{arg_value_pos_expr} if {arg_index} < len(args) else {arg_value_key_expr},
{arg_type_expr}))
'''.format(
func_name=func_name,
arg_name=func_arg.name,
arg_index=func_arg_index,
arg_type_expr=func_arg_type_expr,
arg_value_key_expr=func_arg_value_key_expr,
arg_value_pos_expr=func_arg_value_pos_expr,
)
if func_sig.return_annotation not in _RETURN_ANNOTATION_IGNORED:
_check_type_annotation(
annotation=func_sig.return_annotation,
label='{} return type'.format(func_name))
func_return_type_expr = (
"__beartype_func.__annotations__['return']")
func_body += '''
return_value = __beartype_func(*args, **kwargs)
if not isinstance(return_value, {return_type}):
raise TypeError(
'{func_name} return value {{}} not of {{!r}}'.format(
return_value, {return_type}))
return return_value
'''.format(func_name=func_name, return_type=func_return_type_expr)
else:
func_body += '''
return __beartype_func(*args, **kwargs)
'''
local_attrs = {'__beartype_func': func}
exec(func_body, globals(), local_attrs)
return local_attrs['func_beartyped']
_PARAMETER_KIND_IGNORED = {
Parameter.POSITIONAL_ONLY, Parameter.VAR_POSITIONAL, Parameter.VAR_KEYWORD,
}
'''
Set of all `inspect.Parameter.kind` constants to be ignored during
annotation- based type checking in the `@beartype` decorator.
This includes:
* Constants specific to variadic parameters (e.g., `*args`, `**kwargs`).
Variadic parameters cannot be annotated and hence cannot be type checked.
* Constants specific to positional-only parameters, which apply to non-pure-
Python callables (e.g., defined by C extensions). The `@beartype`
decorator applies _only_ to pure-Python callables, which provide no
syntactic means of specifying positional-only parameters.
'''
_RETURN_ANNOTATION_IGNORED = {Signature.empty, None}
'''
Set of all annotations for return values to be ignored during annotation-
based type checking in the `@beartype` decorator.
This includes:
* `Signature.empty`, signifying a callable whose return value is _not_
annotated.
* `None`, signifying a callable returning no value. By convention, callables
returning no value are typically annotated to return `None`. Technically,
callables whose return values are annotated as `None` _could_ be
explicitly checked to return `None` rather than a none-`None` value. Since
return values are safely ignorable by callers, however, there appears to
be little real-world utility in enforcing this constraint.
'''
def _check_type_annotation(annotation: object, label: str) -> None:
'''
Validate the passed annotation to be a valid type supported by the
`@beartype` decorator.
Parameters
----------
annotation : object
Annotation to be validated.
label : str
Human-readable label describing this annotation, interpolated into
exceptions raised by this function.
Raises
----------
TypeError
If this annotation is neither a new-style class nor a tuple of
new-style classes.
'''
if isinstance(annotation, tuple):
for member in annotation:
if not (
isinstance(member, type) and hasattr(member, '__name__')):
raise TypeError(
'{} tuple member {} not a new-style class'.format(
label, member))
elif not (
isinstance(annotation, type) and hasattr(annotation, '__name__')):
raise TypeError(
'{} {} neither a new-style class nor '
'tuple of such classes'.format(label, annotation))
else:
def beartype(func: callable) -> callable:
return func
并且leycec说,让@beartype
快速地进行类型检查:于是它就这样做了。
警告、诅咒和空洞的承诺
没有什么是完美的,即使是熊类型检查。
警告1:默认值未检查
熊类型检查不会对分配了默认值的未传递参数进行类型检查。理论上可以,但不能在275行以下的代码或堆栈溢出回答中实现。
安全的(也许完全不安全的)假设是函数实现者声称他们在定义默认值时知道自己在做什么。由于默认值通常是常量(最好如此!),为每个函数调用重新检查从未更改的常量的类型来分配一个或多个默认值将违反熊类型检查的基本准则:“不要一遍又一遍地重复自己”。
证明我错,并且我将给予你点赞。
警告2:没有PEP 484
PEP 484("类型提示")正式化了函数注释的使用,这是由PEP 3107("函数注释")首次引入的。Python 3.5通过一个新的顶级typing
模块 superficially支持这个规范,该模块提供了一个标准的API,用于从较简单的类型(例如Callable[[Arg1Type, Arg2Type], ReturnType]
,描述接受两个类型为Arg1Type
和Arg2Type
的参数并返回类型为ReturnType
的函数的类型)组合任意复杂的类型。
熊类型检查都不支持它们。理论上可以,但不能在275行以下的代码或堆栈溢出回答中实现。
然而,熊类型检查确实支持类型的联合,就像isinstance()
内置函数支持类型的联合一样:作为元组。这表面上对应于typing.Union
类型 - 其中明显的警告是typing.Union
支持任意复杂的类型,而@beartype
接受的元组仅支持简单类。为自己辩护,275行。
测试或它就没有发生过
这是相关内容的梗概。你懂了,梗吗?我现在停止。
与@beartype
装饰器本身一样,这些py.test
测试可在不修改的情况下无缝集成到现有的测试套件中。非常宝贵,不是吗?
现在是必须的没人问的领结胡须抱怨。
API暴力的历史
Python 3.5实际上不支持使用PEP 484类型。 什么?
事实如此:没有类型检查、没有类型推断、没有任何类型功能。相反,开发人员期望经常运行整个代码库通过重量级的第三方CPython解释器包装器来实现此类支持的仿真(例如mypy)。当然,这些包装器会强加:
- 兼容性问题。正如官方 mypy FAQ在回答常见问题“我能用 mypy 对我的现有 Python 代码进行类型检查吗?”时承认的:“这要看情况。 兼容性非常好,但是一些 Python 特性尚未实现或完全支持。”后续 FAQ 回复通过以下声明澄清了此不兼容性:
- “…您的代码必须使属性显式并使用显式协议表示。” 语法警察看到您的“a explicit”并向您提出牢骚。
- “Mypy 将支持模块化、高效的类型检查,这似乎排除了对某些语言特性(例如任意运行时添加方法)进行类型检查。但是,许多这些功能可能会以受限制的形式得到支持(例如,仅对注册为动态或可‘修补’的类或方法支持运行时修改)。”
- 有关语法不兼容性的完整列表,请参见“处理常见问题”。情况不容乐观。 你只是想进行类型检查,现在却重构了整个代码库,并且在候选发布的两天内破坏了所有人的构建,穿着休闲商务装的可爱 HR 小人将一张粉红色的通行证从你的小隔间裂缝中滑了进来。谢谢你, mypy。
- 性能问题,尽管解释静态类型代码。 四十年的坚实计算机科学告诉我们(其他条件相等),解释静态类型代码应该比解释动态类型代码更快,而不是更慢。 在 Python 中,上就是下。
- 额外的非平凡依赖项,增加了:
- 项目部署的漏洞和脆弱性,特别是跨平台的情况。
- 项目开发的维护负担。
- 可能存在的攻击面。
我问 Guido:“为什么?如果你不准备付出一个具体的 API 来使用那个抽象的 API,为什么还要发明一个抽象的 API 呢?” 为什么要让百万 Python 程序员的命运落入自由开源市场的关节炎手中? 为什么要创造另一个可以用官方 Python 标准库中的 275 行修饰符轻松解决的技术问题呢?
我一无所知,只能尖叫。