从 imp 切换到 importlib

Question

我希望使用的项目中有部分代码需要翻译。

_VALID_MODULE_TYPES = set((imp.PY_SOURCE, imp.PY_COMPILED, imp.C_EXTENSION))

[...]

for suffix, mode, type in imp.get_suffixes():
        if type in self._VALID_MODULE_TYPES:
           path = prefix + suffix
           if self.file_system.isfile(path):
                   return path, type

[...]

if type == imp.PY_SOURCE:
        code = self.file_system.readbytes(path).replace(b("\r\n"), b("\n"))
        return compile(code, path, "exec")
elif type == imp.PY_COMPILED:
        code = self.file_system.readbytes(path)
        if code[:4] != imp.get_magic():
                return None
        return marshal.loads(code[8:])
elif type == imp.C_EXTENSION:
        code = self.file_system.readbytes(path)

这段代码使用了 imp 模块，但据说该模块已经被弃用了，应该改用 importlib，但我不知道如何进行迁移。我需要怎样重写代码呢？

- Make42

Answer 1

1) 检查

1. 我们意识到 imp.get_magic() 可以被 importlib.util.MAGIC_NUMBER 替代。

2. 然后我们检查 imp.get_suffixes。

def get_suffixes():
    """**DEPRECATED**"""
    extensions = [(s, 'rb', C_EXTENSION) for s in machinery.EXTENSION_SUFFIXES]
    source = [(s, 'r', PY_SOURCE) for s in machinery.SOURCE_SUFFIXES]
    bytecode = [(s, 'rb', PY_COMPILED) for s in machinery.BYTECODE_SUFFIXES]

    return extensions + source + bytecode

我们注意到

• get_suffixes使用了一些“魔法数字”imp.PY_SOURCE，imp.PY_COMPILED，imp.C_EXTENSION
• get_suffixes使用了importlib中的machinery

2) 重构以独立于imp

我们重新编写之前的代码。我们进一步改进它，方法如下：

• 使用Enum
• 在最后一个块中使用is而不是==

import importlib.machinery

class ModuleType(Enum):
    SEARCH_ERROR = 0
    PY_SOURCE = 1
    PY_COMPILED = 2
    C_EXTENSION = 3
    PY_RESOURCE = 4
    PKG_DIRECTORY = 5
    C_BUILTIN = 6
    PY_FROZEN = 7
    PY_CODERESOURCE = 8
    IMP_HOOK = 9

# _VALID_MODULE_TYPES = {ModuleType.PY_SOURCE, ModuleType.PY_COMPILED}
_VALID_MODULE_TYPES = {ModuleType.PY_SOURCE, ModuleType.PY_COMPILED, ModuleType.C_EXTENSION}


def get_suffixes():
    extensions = [(s, 'rb', C_EXTENSION) for s in importlib.machinery.EXTENSION_SUFFIXES]
    source = [(s, 'r', PY_SOURCE) for s in importlib.machinery.SOURCE_SUFFIXES]
    bytecode = [(s, 'rb', PY_COMPILED) for s in importlib.machinery.BYTECODE_SUFFIXES]

    return extensions + source + bytecode

[...]

for suffix, mode, type in get_suffixes():
        if type in _VALID_MODULE_TYPES:
           path = prefix + suffix
           if self.file_system.isfile(path):
                   return path, type

[...]

if type is PY_SOURCE:
        code = self.file_system.readbytes(path).replace(b("\r\n"), b("\n"))
        return compile(code, path, "exec")
elif type is PY_COMPILED:
        code = self.file_system.readbytes(path)
        if code[:4] != importlib.util.MAGIC_NUMBER:
                return None
        return marshal.loads(code[8:])
elif type is C_EXTENSION:
        code = self.file_system.readbytes(path)

3) 进一步重构

我们还可以通过编写代码来进一步重构

_VALID_MODULE_TYPES = [ModuleType.PY_SOURCE, ModuleType.PY_COMPILED, ModuleType.C_EXTENSION]

def get_suffixes(return_as_dict=False):
    if return_as_dict:
        suffixes = {
            ModuleType.C_EXTENSION: (importlib.machinery.EXTENSION_SUFFIXES, 'rb'),
            ModuleType.PY_SOURCE: (importlib.machinery.SOURCE_SUFFIXES, 'r'),
            ModuleType.PY_COMPILED: (importlib.machinery.BYTECODE_SUFFIXES, 'rb')
        }
    else:
        extensions = [(s, 'rb', ModuleType.C_EXTENSION) for s in importlib.machinery.EXTENSION_SUFFIXES]
        source = [(s, 'r', ModuleType.PY_SOURCE) for s in importlib.machinery.SOURCE_SUFFIXES]
        bytecode = [(s, 'rb', ModuleType.PY_COMPILED) for s in importlib.machinery.BYTECODE_SUFFIXES]
        suffixes = extensions + source + bytecode
    return suffixes

这样我们就可以设置想要遍历_VALID_MODULE_TYPES的顺序，并且在迭代时减少迭代次数。

suffixes = get_suffixes(return_as_dict=True)
for module_type in _VALID_MODULE_TYPES:
    for suffix in suffixes[module_type][0]:
        path = prefix + suffix
        if self.file_system.isfile(path):
            return path, module_type
return None, None

- Make42

---

“ModuleType”中的枚举值从何而来并不清楚。您怎么知道“PY_SOURCE”是1呢？ - Mike C

@MikeC：我不记得了（这是一段时间以前的事了）。我想我是从某种文档中获得的。 - Make42