关联标签
8得票5回答
你会在文本分类任务中选择哪个模型（GPT2、BERT、XLNet等）？为什么？
我正在尝试训练一个句子分类任务的模型。输入是一个句子（一个整数向量），输出是标签（0或1）。我看到一些关于使用Bert和GPT2进行文本分类任务的文章。但是，我不确定应该选择哪一个来开始。在这些最近的NLP模型中，例如原始变压器模型、Bert、GPT2和XLNet中，您会选择哪一个作为起点？为...
8得票1回答
在PyTorch中计算困惑度。
我刚使用pytorch训练了一个LSTM语言模型。该类的主体如下： class LM(nn.Module): def __init__(self, n_vocab, seq_size, e...
7得票2回答
在一个小的自定义语料库上对语言模型进行预训练。
我想知道在文本生成中是否可以使用迁移学习，以及是否可以在特定类型的文本上重新训练/预训练它。例如，使用预训练的BERT模型和少量的医学（或任何“类型”）文本，生成能够生成医学文本的语言模型。假设您没有大量的“医疗文本”，这就是为什么您必须使用迁移学习。 将其作为一个流水线，我会描述如下： ...