Tensorflow.js令牌生成器
javascript
machine-learning
25
0

我是机器学习和Tensorflow的新手,因为我不了解python,所以我决定使用javascript版本(可能更像是包装器)。

问题是我试图建立一个处理自然语言的模型。因此,第一步是将文本标记化,以便将数据提供给模型。我做了很多研究,但其中大多数使用的是tensorflow的python版本,使用的方法是: tf.keras.preprocessing.text.Tokenizer ,我在tensorflow.js中找不到类似的东西。我陷入了这一步,不知道如何将文本传输到可以提供给模型的向量。请帮忙 :)

参考资料:
Stack Overflow
收藏
评论
共 2 个回答
高赞 时间 活跃

要将文本转换为矢量,有很多方法可以使用,所有方法都取决于用例。最直观的一种是使用术语频率的术语,即给定语料库的词汇量(所有可能的单词),所有文本文档都将表示为矢量,其中每个条目代表单词在文本文档中的出现。

有了这个词汇:

["machine", "learning", "is", "a", "new", "field", "in", "computer", "science"]

以下文字:

["machine", "is", "a", "field", "machine", "is", "is"] 

将被转换为该向量:

[2, 0, 3, 1, 0, 1, 0, 0, 0] 

该技术的缺点之一是向量中可能有很多0,其大小与语料库的词汇量相同。这就是为什么还有其他技术的原因。然而,经常提到的语言包 。而且使用tf.idf的版本略有不同

const vocabulary = ["machine", "learning", "is", "a", "new", "field", "in", "computer", "science"]
const text = ["machine", "is", "a", "field", "machine", "is", "is"] 
const parse = (t) => vocabulary.map((w, i) => t.reduce((a, b) => b === w ? ++a : a , 0))
console.log(parse(text))

还有以下模块可能有助于实现您想要的

收藏
评论

好吧,我遇到了这个问题,并按照以下步骤进行了处理:

  1. tokenizer.fit_on_texts([data])之后,在您的python代码中打印tokenizer.word_index
  2. 复制word_index输出并将其保存为json文件。
  3. 引用此json对象以生成标记化的单词,例如: function getTokenisedWord(seedWord) { const _token = word2index[seedWord.toLowerCase()] return tf.tensor1d([_token]) }
  4. 提要提供给模型: const seedWordToken = getTokenisedWord('Hello'); model.predict(seedWordToken).data().then(predictions => { const resultIdx = tf.argMax(predictions).dataSync()[0]; console.log('Predicted Word ::', index2word[resultIdx]); })
  5. index2wordword2index json对象的反向映射。
收藏
评论
新手导航
  • 社区规范
  • 提出问题
  • 进行投票
  • 个人资料
  • 优化问题
  • 回答问题

关于我们

常见问题

内容许可

联系我们

@2020 AskGo
京ICP备20001863号