我在使用NLTK中的停用词函数时遇到了一个两难的问题。我正在处理社交媒体平台上的用户生成内容,通过使用NLTK删除停用词。然而,问题在于我想保留用户文本中的人称代词,这对分类任务非常重要。这些包括“I”、“you”、“we”等单词。
不幸的是,停用词函数也删除了这些单词,而我需要它们存在。我该如何解决这个问题?
我在使用NLTK中的停用词函数时遇到了一个两难的问题。我正在处理社交媒体平台上的用户生成内容,通过使用NLTK删除停用词。然而,问题在于我想保留用户文本中的人称代词,这对分类任务非常重要。这些包括“I”、“you”、“we”等单词。
不幸的是,停用词函数也删除了这些单词,而我需要它们存在。我该如何解决这个问题?
import nltk
from nltk.corpus import stopwords
stop_words= stopwords.words('english')
type(stop_words)
print(len(stop_words))
personal_pronouns= ['i', 'you', 'she', 'he', 'they'] # you can add another words for remove
for word in personal_pronouns:
if word in stop_words:
stop_words.remove(word)
print(word+ ' Deleted')
print(len(stop_words))