https://huggingface.co/models
例如,我想要下载“bert-base-uncased”,但是找不到“下载”链接。请帮忙。或者它不能被下载吗?https://huggingface.co/models
例如,我想要下载“bert-base-uncased”,但是找不到“下载”链接。请帮忙。或者它不能被下载吗?被采纳的答案不错,但编写下载模型的代码并不总是方便的。使用git从huggingface获取模型似乎效果很好。这里有一个例子:
git lfs clone https://huggingface.co/sberbank-ai/ruT5-base
'lfs'代表'大文件存储'。从技术上讲,此命令已被弃用,使用简单的'git clone'命令应该可以工作,但是你需要设置过滤器以不跳过大文件 (如何克隆包含Git LFS文件的存储库?)
bert-base-uncased
相应的模型卡片)。bert-base-uncased
的情况下,这会给出以下代码片段:from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
model = AutoModelForMaskedLM.from_pretrained("bert-base-uncased")
使用huggingface_hub
库中的hf_hub_download
如何?
hf_hub_download
返回模型下载的本地路径,因此您可以将这个一行代码与另一个shell命令连接起来。
python3 -c 'from huggingface_hub import hf_hub_download; downloaded_model_path = hf_hub_download(
repo_id="CompVis/stable-diffusion-v-1-4-original",
filename="sd-v1-4.ckpt",
use_auth_token=True
); print(downloaded_model_path)'
我通常会查看模型是否有一个GitHub存储库,可以从中下载zip文件。由于我的公司协议限制,我经常无法直接连接到一些源,而必须先解决SSL证书错误,但我可以从GitHub下载。
huggingface-cli
或huggingface_hub
库中的Python方法snapshot_download
。huggingface-cli
:$ huggingface-cli download bert-base-uncased
snapshot_download
:from huggingface_hub import snapshot_download
snapshot_download(repo_id="bert-base-uncased")
snapshot_download
时,我收到TypeError: hf_hub_download() got an unexpected keyword argument 'endpoint'
的错误提示。 - undefined你可以在一行中使用它:
bash <(curl -sSL https://g.bodaay.io/hfd) -m TheBloke/orca_mini_7B-GPTQ
curl -L https://huggingface.co/TheBloke/falcon-7b-instruct-GGML/resolve/main/falcon-7b-instruct.ggccv1.q4_1.bin --output falcon-7b-instruct.ggccv1.q4_1.bin
curl -L -O https://huggingface.co/your-file
git clone <url>
命令即可。Git 开始发出弃用警告。警告:'git lfs clone' 已被弃用,将不会更新为 'git clone' 的新标志 'git clone' 在上游 Git 中已经更新,速度与 'git lfs clone' 相当。
- Anurag Dhadseinstall.sh
文件中,将路径设置为prefix="${HOME}/.local"
,以便install.sh
找到 bin 文件夹并将git-lfs
二进制文件放入其中。保存并使用当前用户运行带有sh ./install.sh
的脚本。完成后,您可以使用命令git-lfs clone https://huggingface.co/sberbank-ai/ruT5-base
在 huggingface.co 上克隆存储库。 - Riccardo Volpe