为了预处理语料库，我计划从语料库中提取常用短语，为此，我尝试在gensim中使用短语模型，尝试了下面的代码，但未提供期望的输出。

我的密码

from gensim.models import Phrases
documents = ["the mayor of new york was there", "machine learning can be useful sometimes"]

sentence_stream = [doc.split(" ") for doc in documents]
bigram = Phrases(sentence_stream)
sent = [u'the', u'mayor', u'of', u'new', u'york', u'was', u'there']
print(bigram[sent])

输出量

[u'the', u'mayor', u'of', u'new', u'york', u'was', u'there']

但它应该作为

[u'the', u'mayor', u'of', u'new_york', u'was', u'there']

但是，当我尝试打印火车数据的词汇时，我可以看到bigram，但是它不能与测试数据一起使用，这哪里出了问题？

print bigram.vocab

defaultdict(<type 'int'>, {'useful': 1, 'was_there': 1, 'learning_can': 1, 'learning': 1, 'of_new': 1, 'can_be': 1, 'mayor': 1, 'there': 1, 'machine': 1, 'new': 1, 'was': 1, 'useful_sometimes': 1, 'be': 1, 'mayor_of': 1, 'york_was': 1, 'york': 1, 'machine_learning': 1, 'the_mayor': 1, 'new_york': 1, 'of': 1, 'sometimes': 1, 'can': 1, 'be_useful': 1, 'the': 1})