如何使用Bert进行长文本分类？
我们知道BERT的令牌最大长度限制为512，因此如果一篇文章的长度超过了512个令牌，比如文本中有10000个令牌，那么如何使用BERT呢？
CUDA错误：调用cublasCreate（handle）时出现CUBLAS_STATUS_ALLOC_FAILED。
我在Google Colab上运行我的PyTorch深度学习模型时遇到了以下错误 /usr/local/lib/python3.6/dist-packages/torch/nn/functional.py in linear(input, weight, bias) 1370 ...
为什么Bert Transformer在分类时使用[CLS]标记而不是对所有标记取平均值？
我正在进行bert架构的实验，并发现大多数fine-tuning任务将最后一个隐藏层作为文本表示，并将其传递给其他模型进行进一步的下游任务。 Bert的最后一层看起来像这样： 我们从每个句子中取[CLS]标记： 图片来源 我阅读了许多关于这个huggingface问题，datascienc...
ValueError: TextEncodeInput必须是Union[TextInputSequence，Tuple[InputSequence，InputSequence]] - 对BERT / Distilbert进行分词时出现错误。
def split_data(path): df = pd.read_csv(path) return train_test_split(df , test_size=0.1, random_state=100) train, test = split_data(DATA_DIR) ...
使用Huggingface的Bert时，使用dropout()函数出现错误：当使用字符串时，参数“input”（位置1）必须是Tensor。
我的代码之前一直可以正常运行，但今天我在未做任何更改的情况下尝试运行它时，出现了以下错误:dropout(): argument 'input' (position 1) must be Tensor, not str 如果能提供帮助，将不胜感激。 数据加载器可能存在问题吗？ 数据加载器可...
如何使用BERT对相似的句子进行聚类
对于ElMo、FastText和Word2Vec，我将在句子中对单词嵌入求平均值，并使用HDBSCAN/KMeans聚类来分组相似的句子。 这种实现的一个很好的例子可以在这篇简短的文章中看到：http://ai.intelligentonlinetools.com/ml/text-clust...
在HuggingFace的BertTokenizerFast.from_pretrained('bert-base-uncased')中，max_length、padding和truncation参数是如何工作的？
我正在处理文本分类问题，在此我想使用BERT模型作为基础，接着再加上密集层。我想知道3个参数如何工作？例如，如果我有3个句子：'My name is slim shade and I am an aspiring AI Engineer', 'I am an aspiring AI Engin...
PyTorch BERT 类型错误: forward() 函数收到了一个意外的关键字参数 'labels'。
使用PyTorch transformers训练BERT模型（按照此处的教程）。 教程中的以下语句 loss = model(b_input_ids, token_type_ids=None, attention_mask=b_input_mask, labels=b_labels) ...
在Spacy和训练数据中，Cased和Uncased BERT模型的区别是什么？
我想使用spacy的预训练BERT模型进行文本分类，但我对cased/uncased模型有些困惑。我在某个地方读到，只有当字母大小写对任务有帮助时，才应该使用cased模型。在我的情况下，我正在处理德语文本。在德语中，所有名词都以大写字母开头。因此，我认为（如果我错了，请纠正我），这正是必须使...
PyTorch：运行时错误：输入、输出和索引必须在当前设备上。
我正在torch上运行一个BERT模型。这是一个大约有30,000行的多类情感分类任务。我已经将所有东西都放在cuda上了，但不确定为什么会出现以下运行时错误。这是我的代码：for epoch in tqdm(range(1, epochs+1)): model.train(...