如何在NLTK中标记字符串语句?
nlp
nltk
python
11
0

我正在使用nltk,因此我想创建自己的自定义文本,就像nltk.books上的默认文本一样。但是,我只是想起像

my_text = ['This', 'is', 'my', 'text']

我想发现任何输入“文本”的方式:

my_text = "This is my text, this is a nice way to input text."

python或nltk的哪种方法允许我执行此操作。更重要的是,我如何消除标点符号?

参考资料:
Stack Overflow
收藏
评论
共 1 个回答
高赞 时间 活跃

这实际上是在nltk.org的主页上

>>> import nltk
>>> sentence = """At eight o'clock on Thursday morning
... Arthur didn't feel very good."""
>>> tokens = nltk.word_tokenize(sentence)
>>> tokens
['At', 'eight', "o'clock", 'on', 'Thursday', 'morning',
'Arthur', 'did', "n't", 'feel', 'very', 'good', '.']
收藏
评论
新手导航
  • 社区规范
  • 提出问题
  • 进行投票
  • 个人资料
  • 优化问题
  • 回答问题