еҜје…Ҙй”ҷиҜҜпјҡдҪҝз”Ё`low_cpu_mem_usage=True`жҲ–`device_map`йңҖиҰҒеҠ йҖҹпјҡ`pip install accelerate`гҖӮ

Question

使用HuggingFace Transformer，我正在尝试创建一个流水线，通过运行以下代码（代码在SageMaker Jupyter Lab上运行）：

pipeline = transformers.pipeline(
    "text-generation",
    model="meta-llama/Llama-2-7b-chat-hf",
    torch_dtype=torch.float16,
    device_map="auto",
)

然而，它生成以下错误：

ImportError: Using `low_cpu_mem_usage=True` or a `device_map` requires Accelerate: `pip install accelerate`

参考：

Packages version:print(accelerate.__version__), print(transformers.__version__)
0.21.0
4.31.0

- Mohammad Sadoughi

Answer 1

我找到了问题的根本原因。在安装了加速包之后，我们必须重新启动笔记本内核。这样问题就解决了。

- Mohammad Sadoughi

---

这是为“Falcom LLMs”工作的，非常感谢。 - undefined

没错。曾为Falcon LLM工作过。 - undefined

Answer 2

在Colab中，我遇到了同样的问题。

!pip -qqq install bitsandbytes accelerate

运行上面的单元格解决了我的问题。 不需要重新启动内核。

- Dattatray