如何使用gensim从语料库中提取短语
gensim
nlp
python
4
0

为了预处理语料库,我计划从语料库中提取常用短语,为此,我尝试在gensim中使用短语模型,尝试了下面的代码,但未提供期望的输出。

我的密码

from gensim.models import Phrases
documents = ["the mayor of new york was there", "machine learning can be useful sometimes"]

sentence_stream = [doc.split(" ") for doc in documents]
bigram = Phrases(sentence_stream)
sent = [u'the', u'mayor', u'of', u'new', u'york', u'was', u'there']
print(bigram[sent])

输出量

[u'the', u'mayor', u'of', u'new', u'york', u'was', u'there']

但它应该作为

[u'the', u'mayor', u'of', u'new_york', u'was', u'there']

但是,当我尝试打印火车数据的词汇时,我可以看到bigram,但是它不能与测试数据一起使用,这哪里出了问题?

print bigram.vocab

defaultdict(<type 'int'>, {'useful': 1, 'was_there': 1, 'learning_can': 1, 'learning': 1, 'of_new': 1, 'can_be': 1, 'mayor': 1, 'there': 1, 'machine': 1, 'new': 1, 'was': 1, 'useful_sometimes': 1, 'be': 1, 'mayor_of': 1, 'york_was': 1, 'york': 1, 'machine_learning': 1, 'the_mayor': 1, 'new_york': 1, 'of': 1, 'sometimes': 1, 'can': 1, 'be_useful': 1, 'the': 1}) 
参考资料:
Stack Overflow
收藏
评论
共 1 个回答
高赞 时间 活跃

我得到了问题的解决方案,有两个我不关心的参数应该传递给Phrases()模型 ,它们是

  1. min_count忽略所有总计数低于此值的单词和双字母组。 默认值是5

  2. 阈值表示形成短语的阈值(越高意味着短语越少)。如果(cnt(a,b)-min_count)* N /(cnt(a)* cnt(b))>阈值,则接受单词a和b的短语,其中N是总词汇量。 默认值是10.0

对于上面的带有两个语句的火车数据,阈值为0 ,因此我更改了火车数据集并添加了这两个参数。

我的新代码

from gensim.models import Phrases
documents = ["the mayor of new york was there", "machine learning can be useful sometimes","new york mayor was present"]

sentence_stream = [doc.split(" ") for doc in documents]
bigram = Phrases(sentence_stream, min_count=1, threshold=2)
sent = [u'the', u'mayor', u'of', u'new', u'york', u'was', u'there']
print(bigram[sent])

输出量

[u'the', u'mayor', u'of', u'new_york', u'was', u'there']

Gensim真的很棒:)

收藏
评论
新手导航
  • 社区规范
  • 提出问题
  • 进行投票
  • 个人资料
  • 优化问题
  • 回答问题

关于我们

常见问题

内容许可

联系我们

@2020 AskGo
京ICP备20001863号