在NLTK中使用PunktSentenceTokenizer
nlp
nltk
python
6
0

我正在学习使用NLTK的自然语言处理。我遇到了使用PunktSentenceTokenizer的代码,在给定的代码中我无法理解其实际用途。代码给出:

import nltk
from nltk.corpus import state_union
from nltk.tokenize import PunktSentenceTokenizer

train_text = state_union.raw("2005-GWBush.txt")
sample_text = state_union.raw("2006-GWBush.txt")

custom_sent_tokenizer = PunktSentenceTokenizer(train_text) #A

tokenized = custom_sent_tokenizer.tokenize(sample_text)   #B

def process_content():
try:
    for i in tokenized[:5]:
        words = nltk.word_tokenize(i)
        tagged = nltk.pos_tag(words)
        print(tagged)

except Exception as e:
    print(str(e))


process_content()

所以,为什么我们要使用PunktSentenceTokenizer。以及标记为A和B的行中发生的情况。我的意思是有一个训练文本,另一个为示例文本,但是需要两个数据集来获取语音部分标签是什么。

我看不懂标记为AB行。

PS:我确实尝试看过NLTK书,但无法理解PunktSentenceTokenizer的真正用途是什么

参考资料:
Stack Overflow
收藏
评论
共 2 个回答
高赞 时间 活跃

PunktSentenceTokenizer是一个句子边界检测算法,必须经过训练才能使用[1]。 NLTK已经包含PunktSentenceTokenizer的预训练版本。

因此,如果您使用不带任何参数的初始化令牌生成器,它将默认为经过预先训练的版本:

In [1]: import nltk
In [2]: tokenizer = nltk.tokenize.punkt.PunktSentenceTokenizer()
In [3]: txt = """ This is one sentence. This is another sentence."""
In [4]: tokenizer.tokenize(txt)
Out[4]: [' This is one sentence.', 'This is another sentence.']

您还可以提供自己的训练数据,以在使用分词器之前对其进行训练。 Punkt标记生成器使用无监督算法,这意味着您只需使用常规文本对其进行训练。

custom_sent_tokenizer = PunktSentenceTokenizer(train_text)

对于大多数情况,使用预训练版本完全可以。因此,您可以简单地初始化令牌生成器而无需提供任何参数。

那么“这与POS标记有什么关系”? NLTK POS标记器可处理带标记的句子,因此您需要先将文本分解为句子和单词标记,然后才能进行POS标记。

NLTK的文档。

[1] Kiss and Strunk,“ 无监督的多语言句子边界检测

收藏
评论

PunktSentenceTokenizer是NLTK中提供的默认句子标记器(即sent_tokenize()的抽象类。这是无监督多语言句子边界检测的一种实现方式(Kiss和Strunk(2005) 。请参阅https://github.com/nltk/nltk/blob/develop/nltk/tokenize/ init .py#L79

给定一个带有多个句子的段落,例如:

>>> from nltk.corpus import state_union
>>> train_text = state_union.raw("2005-GWBush.txt").split('\n')
>>> train_text[11]
u'Two weeks ago, I stood on the steps of this Capitol and renewed the commitment of our nation to the guiding ideal of liberty for all. This evening I will set forth policies to advance that ideal at home and around the world. '

您可以使用sent_tokenize()

>>> sent_tokenize(train_text[11])
[u'Two weeks ago, I stood on the steps of this Capitol and renewed the commitment of our nation to the guiding ideal of liberty for all.', u'This evening I will set forth policies to advance that ideal at home and around the world. ']
>>> for sent in sent_tokenize(train_text[11]):
...     print sent
...     print '--------'
... 
Two weeks ago, I stood on the steps of this Capitol and renewed the commitment of our nation to the guiding ideal of liberty for all.
--------
This evening I will set forth policies to advance that ideal at home and around the world. 
--------

sent_tokenize()使用来自nltk_data/tokenizers/punkt/english.pickle的预训练模型。您还可以指定其他语言,NLTK中经过预先训练的模型的可用语言列表为:

alvas@ubi:~/nltk_data/tokenizers/punkt$ ls
czech.pickle     finnish.pickle  norwegian.pickle   slovene.pickle
danish.pickle    french.pickle   polish.pickle      spanish.pickle
dutch.pickle     german.pickle   portuguese.pickle  swedish.pickle
english.pickle   greek.pickle    PY3                turkish.pickle
estonian.pickle  italian.pickle  README

给定另一种语言的文本,请执行以下操作:

>>> german_text = u"Die Orgellandschaft Südniedersachsen umfasst das Gebiet der Landkreise Goslar, Göttingen, Hameln-Pyrmont, Hildesheim, Holzminden, Northeim und Osterode am Harz sowie die Stadt Salzgitter. Über 70 historische Orgeln vom 17. bis 19. Jahrhundert sind in der südniedersächsischen Orgellandschaft vollständig oder in Teilen erhalten. "

>>> for sent in sent_tokenize(german_text, language='german'):
...     print sent
...     print '---------'
... 
Die Orgellandschaft Südniedersachsen umfasst das Gebiet der Landkreise Goslar, Göttingen, Hameln-Pyrmont, Hildesheim, Holzminden, Northeim und Osterode am Harz sowie die Stadt Salzgitter.
---------
Über 70 historische Orgeln vom 17. bis 19. Jahrhundert sind in der südniedersächsischen Orgellandschaft vollständig oder in Teilen erhalten. 
---------

要训练自己的punkt模型,请参阅https://github.com/nltk/nltk/blob/develop/nltk/tokenize/punkt.pynltk punkt的训练数据格式

收藏
评论
新手导航
  • 社区规范
  • 提出问题
  • 进行投票
  • 个人资料
  • 优化问题
  • 回答问题

关于我们

常见问题

内容许可

联系我们

@2020 AskGo
京ICP备20001863号