我正在运行一个 Python 网络爬虫脚本,获取到了以下列表 -
[u'UI/UX Designer\xa0\u2013 Creative Head ', u'UX Designer ', u'UI/UX Designer\xa0\u2013 Creative Head', u'UX Designer']
我想只从列表中添加唯一的项目,所以我使用了这个 -
profile_list = []
k = soup.body.findAll(text=re.compile("UX Designer"))
for i in k:
if i not in profile_list:
profile_list.append(i)
print profile_list
但是它没有起作用,重复的项目仍然存在。我也尝试使用set(),但在这里也不起作用。我应该怎么做才能只添加唯一的项目?
更新-感谢答案,我在这里犯了一个愚蠢的错误,列表中的两个重复单词有额外的空格,应该将其删除。所有答案都是正确的,因此选择了最早的答案。
profile_list
赋值为空集合(也许称其为profile_set
),然后在for
循环中添加项目呢? - edwinksl