SpaCy:如何加载Google新闻word2vec向量?
nlp
python
spacy
word2vec
8
0

我尝试了几种加载Google新闻word2vec向量( https://code.google.com/archive/p/word2vec/ )的方法:

en_nlp = spacy.load('en',vector=False)
en_nlp.vocab.load_vectors_from_bin_loc('GoogleNews-vectors-negative300.bin')

上面给出:

MemoryError: Error assigning 18446744072820359357 bytes

我也尝试使用.gz压缩向量;或通过将它们与gensim一起加载并保存为新格式:

from gensim.models.word2vec import Word2Vec
model = Word2Vec.load_word2vec_format('GoogleNews-vectors-negative300.bin', binary=True)
model.save_word2vec_format('googlenews2.txt')

然后,此文件在每行上包含单词及其单词向量。我试图用它们加载:

en_nlp.vocab.load_vectors('googlenews2.txt')

但它返回“ 0”。

正确的方法是什么?

更新:

我可以将自己创建的文件加载到spacy中。我在每行上使用带有“字符串0.0 0.0 ....”的test.txt文件。然后使用.bzip2将该txt压缩到test.txt.bz2。然后,我创建一个spacy兼容的二进制文件:

spacy.vocab.write_binary_vectors('test.txt.bz2', 'test.bin')

我可以载入spacy:

nlp.vocab.load_vectors_from_bin_loc('test.bin')

这可行!但是,当我对googlenews2.txt执行相同的过程时,出现以下错误:

lib/python3.6/site-packages/spacy/cfile.pyx in spacy.cfile.CFile.read_into (spacy/cfile.cpp:1279)()

OSError: 
参考资料:
Stack Overflow
收藏
评论
共 2 个回答
高赞 时间 活跃

我知道已经回答了这个问题,但是我将提供一个更简单的解决方案。此解决方案会将google新闻载体加载到空白spacy nlp对象中。

import gensim
import spacy

# Path to google news vectors
google_news_path = "path\to\google\news\\GoogleNews-vectors-negative300.bin.gz"

# Load google news vecs in gensim
model = gensim.models.KeyedVectors.load_word2vec_format(gn_path, binary=True)

# Init blank english spacy nlp object
nlp = spacy.blank('en')

# Loop through range of all indexes, get words associated with each index.
# The words in the keys list will correspond to the order of the google embed matrix
keys = []
for idx in range(3000000):
    keys.append(model.index2word[idx])

# Set the vectors for our nlp object to the google news vectors
nlp.vocab.vectors = spacy.vocab.Vectors(data=model.syn0, keys=keys)

>>> nlp.vocab.vectors.shape
(3000000, 300)
收藏
评论

对于spacy 1.x,请将Google新闻矢量加载到gensim中并转换为新格式(.txt中的每一行都包含一个矢量:string,vec):

from gensim.models.word2vec import Word2Vec
from gensim.models import KeyedVectors
model = KeyedVectors.load_word2vec_format('GoogleNews-vectors-negative300.bin', binary=True)
model.wv.save_word2vec_format('googlenews.txt')

删除.txt的第一行:

tail -n +2 googlenews.txt > googlenews.new && mv -f googlenews.new googlenews.txt

将txt压缩为.bz2:

bzip2 googlenews.txt

创建与SpaCy兼容的二进制文件:

spacy.vocab.write_binary_vectors('googlenews.txt.bz2','googlenews.bin')

将googlenews.bin移至python环境的/lib/python/site-packages/spacy/data/en_google-1.0.0/vocab/googlenews.bin。

然后加载单词向量:

import spacy
nlp = spacy.load('en',vectors='en_google')

或稍后再加载它们:

nlp.vocab.load_vectors_from_bin_loc('googlenews.bin')
收藏
评论
新手导航
  • 社区规范
  • 提出问题
  • 进行投票
  • 个人资料
  • 优化问题
  • 回答问题

关于我们

常见问题

内容许可

联系我们

@2020 AskGo
京ICP备20001863号