如何将Gensim doc2vec与预训练的单词向量一起使用?
gensim
nlp
python
word2vec
5
0

我最近遇到了Gensim的doc2vec新增功能。如何在doc2vec中使用经过预训练的单词向量(例如,在word2vec原始网站中找到)?

还是doc2vec从用于段落向量训练的相同句子中获取词向量?

谢谢。

参考资料:
Stack Overflow
收藏
评论
共 4 个回答
高赞 时间 活跃

拉迪姆刚刚发布了一个教程上gensim的doc2vec功能(昨天,我相信-你的问题是及时的!)。

Gensim支持从C实现加载预先训练的向量,如gensim models.word2vec API文档中所述

收藏
评论

gensim的此分叉版本允许加载用于训练doc2vec的预训练词向量。 这里有一个使用方法的例子。单词向量必须采用C-word2vec工具文本格式:每个单词向量一行,其中第一行是代表单词的字符串,然后是空格分隔的浮点值,每个嵌入维度都对应一个。

这项工作属于一篇论文 ,他们声称使用预训练的单词嵌入实际上有助于构建文档向量。但是,无论是否加载预训练的嵌入,我都得到几乎相同的结果。

编辑:实际上我的实验有一个显着差异。当我加载预训练的嵌入时,我对doc2vec进行了一半的迭代训练,以得到几乎相同的结果(训练时间长于该时间会在我的任务中产生更差的结果)。

收藏
评论

好吧,我最近也在使用Doc2Vec。我当时正在考虑将LDA结果用作单词向量,并修复这些单词向量以获得文档向量。结果不是很有趣。也许只是我的数据集不是那么好。代码如下。 Doc2Vec将单词向量和文档向量一起保存在字典doc2vecmodel.syn0中。您可以直接更改矢量值。唯一的问题可能是您需要找出syn0中哪个位置代表哪个单词或文档。向量以随机顺序存储在字典syn0中。

import logging
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
from gensim import corpora, models, similarities
import gensim
from sklearn import svm, metrics
import numpy

#Read in texts into div_texts(for LDA and Doc2Vec)
div_texts = []
f = open("clean_ad_nonad.txt")
lines = f.readlines()
f.close()
for line in lines:
    div_texts.append(line.strip().split(" "))

#Set up dictionary and MMcorpus
dictionary = corpora.Dictionary(div_texts)
dictionary.save("ad_nonad_lda_deeplearning.dict")
#dictionary = corpora.Dictionary.load("ad_nonad_lda_deeplearning.dict")
print dictionary.token2id["junk"]
corpus = [dictionary.doc2bow(text) for text in div_texts]
corpora.MmCorpus.serialize("ad_nonad_lda_deeplearning.mm", corpus)

#LDA training
id2token = {}
token2id = dictionary.token2id
for onemap in dictionary.token2id:
    id2token[token2id[onemap]] = onemap
#ldamodel = models.LdaModel(corpus, num_topics = 100, passes = 1000, id2word = id2token)
#ldamodel.save("ldamodel1000pass.lda")
#ldamodel = models.LdaModel(corpus, num_topics = 100, id2word = id2token)
ldamodel = models.LdaModel.load("ldamodel1000pass.lda")
ldatopics = ldamodel.show_topics(num_topics = 100, num_words = len(dictionary), formatted = False)
print ldatopics[10][1]
print ldatopics[10][1][1]
ldawordindex = {}
for i in range(len(dictionary)):
    ldawordindex[ldatopics[0][i][1]] = i

#Doc2Vec initialize
sentences = []
for i in range(len(div_texts)):
    string = "SENT_" + str(i)
    sentence = models.doc2vec.LabeledSentence(div_texts[i], labels = [string])
    sentences.append(sentence)
doc2vecmodel = models.Doc2Vec(sentences, size = 100, window = 5, min_count = 0, dm = 1)
print "Initial word vector for word junk:"
print doc2vecmodel["junk"]

#Replace the word vector with word vectors from LDA
print len(doc2vecmodel.syn0)
index2wordcollection = doc2vecmodel.index2word
print index2wordcollection
for i in range(len(doc2vecmodel.syn0)):
    if index2wordcollection[i].startswith("SENT_"):
        continue
    wordindex = ldawordindex[index2wordcollection[i]]
    wordvectorfromlda = [ldatopics[j][wordindex][0] for j in range(100)]
    doc2vecmodel.syn0[i] = wordvectorfromlda
#print doc2vecmodel.index2word[26841]
#doc2vecmodel.syn0[0] = [0 for i in range(100)]
print "Changed word vector for word junk:"
print doc2vecmodel["junk"]

#Train Doc2Vec
doc2vecmodel.train_words = False 
print "Initial doc vector for 1st document"
print doc2vecmodel["SENT_0"]
for i in range(50):
    print "Round: " + str(i)
    doc2vecmodel.train(sentences)
print "Trained doc vector for 1st document"
print doc2vecmodel["SENT_0"]

#Using SVM to do classification
resultlist = []
for i in range(4143):
    string = "SENT_" + str(i)
    resultlist.append(doc2vecmodel[string])
svm_x_train = []
for i in range(1000):
    svm_x_train.append(resultlist[i])
for i in range(2210,3210):
    svm_x_train.append(resultlist[i])
print len(svm_x_train)

svm_x_test = []
for i in range(1000,2210):
    svm_x_test.append(resultlist[i])
for i in range(3210,4143):
    svm_x_test.append(resultlist[i])
print len(svm_x_test)

svm_y_train = numpy.array([0 for i in range(2000)])
for i in range(1000,2000):
    svm_y_train[i] = 1
print svm_y_train

svm_y_test = numpy.array([0 for i in range(2143)])
for i in range(1210,2143):
    svm_y_test[i] = 1
print svm_y_test


svc = svm.SVC(kernel='linear')
svc.fit(svm_x_train, svm_y_train)

expected = svm_y_test
predicted = svc.predict(svm_x_test)

print("Classification report for classifier %s:\n%s\n"
      % (svc, metrics.classification_report(expected, predicted)))
print("Confusion matrix:\n%s" % metrics.confusion_matrix(expected, predicted))

print doc2vecmodel["junk"]
收藏
评论

请注意,“ DBOW”( dm=0 )训练模式不需要或甚至不创建单词向量作为训练的一部分。它只是学习擅长依次预测每个单词的文档向量(非常类似于word2vec跳过语法训练模式)。

(在gensim 0.12.0之前,在另一条注释中提到了参数train_words ,一些文档建议使用该参数来共同训练单词。但是,我认为这实际上没有用。从gensim 0.12.0开始,有一个参数dbow_words ,用于与DBOW文档向量同时跳过语法训练单词,请注意,这会使训练花费更长的时间–与window相关的因素。因此,如果您不需要单词向量,您可能仍然可以忽略它。 )

在“ DM”训练方法( dm=1 )中,词向量与doc向量一起在过程中被固有地训练,并且很可能也会影响doc向量的质量。从理论上讲,有可能预先初始化先前数据中的单词向量。但是我不知道有任何强大的理论或实验理由可以确信这会改善文档向量。

我沿着这些路线进行的一项零碎实验表明,文档向量训练起步较快–在前几次通过之后具有更好的预测质量–但是这种优势随着更多次通过而逐渐消失。您是否要使单词向量保持恒定还是让它们在新的训练中继续进行调整也可能是一个重要的考虑因素...但是哪种选择更好,则取决于您的目标,数据集以及现有内容的质量/相关性词向量。

(您可以使用gensim 0.12.0中可用的intersect_word2vec_format()方法来重复我的实验,并尝试通过syn0_lockf值使预加载向量对新训练具有抗性的不同级别。但是请记住,这是实验领域:基本doc2vec的结果不依赖于重复使用的字向量,甚至不必通过重复使用的字向量进行改进。

收藏
评论
新手导航
  • 社区规范
  • 提出问题
  • 进行投票
  • 个人资料
  • 优化问题
  • 回答问题

关于我们

常见问题

内容许可

联系我们

@2020 AskGo
京ICP备20001863号