是否可以使用TensorFlowJS从OpenAI GPT-2生成文本?
如果不行的话,是什么限制了它,例如模型格式或其他方面的限制?
是否可以使用TensorFlowJS从OpenAI GPT-2生成文本?
如果不行的话,是什么限制了它,例如模型格式或其他方面的限制?
我没有看到任何不行的理由,除非 gpt-2 中有一些 tensorflowjs 不支持的操作。
我不知道如何做,但这是一个不错的起点:
install.sh
python3 -m pip install -q git+https://github.com/huggingface/transformers.git
python3 -m pip install tensorflow
save.py
from transformers import TFGPT2LMHeadModel, GPT2Tokenizer
tokenizer = GPT2Tokenizer.from_pretrained("gpt2")
# add the EOS token as PAD token to avoid warnings
model = TFGPT2LMHeadModel.from_pretrained("gpt2", pad_token_id=tokenizer.eos_token_id)
model.save("./test_gpt2")
这将为您提供一个 SavedModel 文件。现在您可以尝试找出输入和输出节点,并使用 tensorflowjs_converter
来尝试转换它。提示: https://www.tensorflow.org/js/tutorials/conversion/import_saved_model。
tensorflowjs
? - Jules G.M.transformers
库API。不幸的是,只能进行推理。