NLTK 的所有可能的 POS 标签是什么？

Question

NLTK 的所有可能的 POS 标签是什么？

pythonnltk

192

我该如何找到所有可能被 Natural Language Toolkit (NLTK) 使用的 POS 标签列表？

- OrangeTux

9个回答

175

这本书有一个关于如何找到标签集帮助的注释，例如：

nltk.help.upenn_tagset()

其他人可能是类似的。(注意: 也许你需要先从下载助手的模型部分下载tagsets)

- phipsgabler

5

现在我很好奇：这是什么东西让它如此神秘？我从来没有真正使用过NLTK，而找到答案只花了我五分钟的谷歌搜索...它真的那么难找吗？ - phipsgabler

6

我认为问题不在于有多难寻找，这个问题也是因为我试图给一句话打标签而出现的，因为我正在寻找为什么nltk会将我的动词标记为名词，而我不知道如何使用不同的标签集。这对我也有帮助，谢谢！ - Phonebox

2

如果其他人和我一样，我对它的期望有误。我期望一个查找表/列表/映射，将词性缩写如“RB”映射到它们的含义，如“副词”。（这里有一个例子；或者看看@Suzana的答案，其中链接了Penn Treebank标记集）。但你是对的，内置的nltk.help.upenn_tagset('RB')很有帮助，并且在nltk书籍中早就提到了。 - Nate Anderson

71

标签集取决于用来训练标注器的语料库。 nltk.pos_tag() 的默认标注器使用Penn Treebank 标签集。

NLTK 2 中，您可以通过以下方式检查默认标注器是哪个：

import nltk
nltk.tag._POS_TAGGER
>>> 'taggers/maxent_treebank_pos_tagger/english.pickle'

这意味着它是在Treebank语料库上进行训练的最大熵标注器。

nltk.tag._POS_TAGGER 在NLTK 3中已不存在，但文档说明表明现成的标注器仍使用Penn Treebank标记集。

- Suzana

7

谢谢，我认为这个回答比被采纳的更有用。 - Dale

3

这是一个不完整的答案。首先，nltk.tag._POS_TAGGER不执行，并且没有提供任何有关导入的具体说明。此外，找出正在使用的标记器只解决了一半的问题，问题要求获取标记器中所有可能的标记列表。 - Hamman Samuel

3

决定词性标记集的是语料库，而不是标注器。一旦您知道了语料库的名称，完整的标记集只需通过谷歌搜索即可获得。 - Suzana

43

以下内容可用于访问由缩写为键的字典：

>>> from nltk.data import load
>>> tagdict = load('help/tagsets/upenn_tagset.pickle')
>>> tagdict['NN'][0]
'noun, common, singular or mass'
>>> tagdict.keys()
['PRP$', 'VBG', 'VBD', '``', 'VBN', ',', "''", 'VBP', 'WDT', ...

- Doug Shore

4

我更喜欢这种方法而不是已经被接受的解决方案，因为它更简单且清晰地列出了可能的值。 - Hamman Samuel

1

我们如何确定这是标注器使用的标记集？据我所知，nltk可以使用多个标注器。 - Nikana Reklawyks

同意Hamman的观点，这种方式的额外好处是可以通过编程方式查找含义。 - datavoredan

40

参考资料位于官方网站从官方网站复制并粘贴如下：

CC | 并列连词 |
CD | 基数 |
DT | 限定词 |
EX | 存在句型中的there |
FW | 外来词 |
IN | 介词或从属连词 |
JJ | 形容词 |
JJR | 形容词，比较级 |
JJS | 形容词，最高级 |
LS | 列表项标记 |
MD | 情态动词 |
NN | 名词，单数或集合 |
NNS | 名词，复数 |
NNP | 专有名词，单数 |
NNPS | 专有名词，复数 |
PDT | 前位限定词 |
POS | 所有格结束标志 |
PRP | 人称代词 |
PRP$ | 物主代词 |
RB | 副词 |
RBR | 副词，比较级 |
RBS | 副词，最高级 |
RP | 小品词 |
SYM | 符号 |
TO | to |
UH | 感叹词 |
VB | 动词，基本形式 |
VBD | 动词，过去式 |
VBG | 动词，动名词或现在分词 |
VBN | 动词，过去分词 |
VBP | 动词，非第三人称单数现在时 |
VBZ | 动词，第三人称单数现在时 |
WDT | WH限定词 |
WP | WH代词 |
WP$ | WH所有格代词 |
WRB | Wh副词 |

- mdubez

3

['LS', 'TO', 'VBN', "''", 'WP', 'UH', 'VBG', 'JJ', 'VBZ', '--', 'VBP', 'NN', 'DT', 'PRP', ':', 'WP$', 'NNPS', 'PRP$', 'WDT', '(', ')', '.', ',', '``', '$', 'RB', 'RBR', 'RBS', 'VBD', 'IN', 'FW', 'RP', 'JJR', 'JJS', 'PDT', 'MD', 'VB', 'WRB', 'NNP', 'EX', 'NNS', 'SYM', 'CC', 'CD', 'POS']

基于Doug Shore的方法，但使其更加易于复制粘贴。

- little_thumb

我接受这篇文章作为一种方便的贡献。我考虑过改善格式，但这可能违背了这篇文章的宗旨。请您考虑在编辑时使用代码格式和换行符号相结合，以获得良好的格式和易于复制粘贴的友好性。https://stackoverflow.com/editing-help - Yunnosch

我考虑过这样做，但我认为这会让它不太方便。 - Fluffy Ribbit

1

您可以在此处下载列表：ftp://ftp.cis.upenn.edu/pub/treebank/doc/tagguide.ps.gz。它包括令人困惑的词性、大写和其他约定。另外，wikipedia有一个类似于此的有趣章节。部分：使用的词性标签。

- phanindravarma

1

直接按原样运行即可。

import nltk
nltk.download('tagsets')
nltk.help.upenn_tagset()

nltk.tag._POS_TAGGER 不起作用。它会产生 AttributeError：模块'nltk.tag'没有属性'_POS_TAGGER'。在NLTK 3中不再可用。

- Sumit Pokhrel

0

在Python中运行以下代码，以获取有关所有POS标记的信息。

import nltk
nltk.help.upenn_tagset()

- Saurav Kumar

2

所选答案有何不同？ - Federico Navarrete

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- binarymax · Accepted Answer

为了节省一些人的时间，这里有一个从小语料库中提取出来的列表。我不确定它是否完整，但应该包含了upenn_tagset中的大部分（如果不是全部）帮助定义... CC: 连词，协调

& 'n and both but either et for less minus neither nor or plus so
therefore times v. versus vs. whether yet

CD：数词，基数词

mid-1890 nine-thirty forty-two one-tenth ten million 0.5 one forty-
seven 1987 twenty '79 zero two 78-degrees eighty-four IX '60s .025
fifteen 271,124 dozen quintillion DM2,000 ...

DT: determiner

all an another any both del each either every half la many much nary
neither no some such that the them these this those

EX: 存在引导词

there

IN: 介词或从属连词，用于从句中

astride among upon whether out inside pro despite on by throughout
below within for towards near behind atop around if like until below
next into if beside ...

JJ: 形容词或序数词

third ill-mannered pre-war regrettable oiled calamitous first separable
ectoplasmic battery-powered participatory fourth still-to-be-named
multilingual multi-disciplinary ...

JJR：形容词，比较级

bleaker braver breezier briefer brighter brisker broader bumper busier
calmer cheaper choosier cleaner clearer closer colder commoner costlier
cozier creamier crunchier cuter ...

JJS：形容词，最高级

calmest cheapest choicest classiest cleanest clearest closest commonest
corniest costliest crassest creepiest crudest cutest darkest deadliest
dearest deepest densest dinkiest ...

LS: 列表项标记

A A. B B. C C. D E F First G H I J K One SP-44001 SP-44002 SP-44005
SP-44007 Second Third Three Two * a b c d first five four one six three
two

MD: 模态助动词

can cannot could couldn't dare may might must need ought shall should
shouldn't will would

NN：名词，通用，单数或不可数

common-carrier cabbage knuckle-duster Casino afghan shed thermostat
investment slide humour falloff slick wind hyena override subhumanity
machinist ...

NNP：名词，专有名词，单数

Motown Venneboerger Czestochwa Ranzer Conchita Trumplane Christos
Oceanside Escobar Kreisler Sawyer Cougar Yvette Ervin ODI Darryl CTCA
Shannon A.K.C. Meltex Liverpool ...

NNS：名词，普通，复数形式。

undergraduates scotches bric-a-brac products bodyguards facets coasts
divestitures storehouses designs clubs fragrances averages
subjectivists apprehensions muses factory-jobs ...

PDT: 前位限定词

all both half many quite such sure this

POS：所有格标记

' 's

PRP：代词，人称

hers herself him himself hisself it itself me myself one oneself ours
ourselves ownself self she thee theirs them themselves they thou thy us

PRP$：代词，所有格

her his mine my our ours their thy your

RB: adverb

occasionally unabatingly maddeningly adventurously professedly
stirringly prominently technologically magisterially predominately
swiftly fiscally pitilessly ...

RBR: adverb, comparative

further gloomier grander graver greater grimmer harder harsher
healthier heavier higher however larger later leaner lengthier less-
perfectly lesser lonelier longer louder lower more ...

RBS：副词，最高级

best biggest bluntest earliest farthest first furthest hardest
heartiest highest largest least less most nearest second tightest worst

RP: particle

aboard about across along apart around aside at away back before behind
by crop down ever fast for forth from go high i.e. in into just later
low more off on open out over per pie raising start teeth that through
under unto up up-pp upon whole with you

TO：作为介词或不定式标记的“to”

to

UH：感叹词。

Goodbye Goody Gosh Wow Jeepers Jee-sus Hubba Hey Kee-reist Oops amen
huh howdy uh dammit whammo shucks heck anyways whodunnit honey golly
man baby diddle hush sonuvabitch ...

VB: 动词，基本形式

ask assemble assess assign assume atone attention avoid bake balkanize
bank begin behold believe bend benefit bevel beware bless boil bomb
boost brace break bring broil brush build ...

VBD：动词，过去式

dipped pleaded swiped regummed soaked tidied convened halted registered
cushioned exacted snubbed strode aimed adopted belied figgered
speculated wore appreciated contemplated ...

VBG: 动词现在分词或动名词。

telegraphing stirring focusing angering judging stalling lactating
hankerin' alleging veering capping approaching traveling besieging
encrypting interrupting erasing wincing ...

VBN：动词过去分词

（注：保留HTML标签）

multihulled dilapidated aerosolized chaired languished panelized used
experimented flourished imitated reunifed factored condensed sheared
unsettled primed dubbed desired ...

VBP: 动词，现在时，非第三人称单数

predominate wrap resort sue twist spill cure lengthen brush terminate
appear tend stray glisten obtain comprise detest tease attract
emphasize mold postpone sever return wag ...

VBZ: 动词，现在时，第三人称单数

（注：VBZ代表英语中的“动词，现在时，第三人称单数”）

bases reconstructs marks mixes displeases seals carps weaves snatches
slumps stretches authorizes smolders pictures emerges stockpiles
seduces fizzes uses bolsters slaps speaks pleads ...

WDT: WH限定词

that what whatever which whichever

WP: 疑问代词

that what whatever whatsoever which who whom whosoever

WRB: Wh-副词

how however whence whenever where whereby whereever wherein whereof why