通过RESTful API部署Tensorflow模型的示例
tensorflow
tensorflow-serving
4
0

是否有用于通过RESTful API部署Tensorflow模型的示例代码?我看到了命令行程序和移动应用程序的示例。是否有一个用于此的框架,或者人们只是加载模型并通过Web框架(例如Flask)公开预测方法以获取输入(例如通过JSON)并返回响应?所谓框架,是指针对大量预测请求进行扩展。当然,由于模型是不可变的,因此我们可以启动我们的预测服务器的多个实例,并将其放在负载均衡器(如HAProxy)后面。我的问题是,人们是为此使用某种框架还是从头开始执行此操作?或者,也许Tensorflow中已经提供了此功能,但我还没有注意到。

参考资料:
Stack Overflow
收藏
评论
共 2 个回答
高赞 时间 活跃

https://github.com/sugyan/tensorflow-mnist通过使用Flask并加载预训练模式(还原)显示了一个简单的restAPI示例。

@app.route('/api/mnist', methods=['POST'])
def mnist():
    input = ((255 - np.array(request.json, dtype=np.uint8)) / 255.0).reshape(1, 784)
    output1 = simple(input)
    output2 = convolutional(input)
    return jsonify(results=[output1, output2])

另外,请参阅https://tensorflow-mnist.herokuapp.com/上的在线演示。 API似乎足够快。

收藏
评论

TensorFlow Serving是针对机器学习模型的高性能,开源服务系统,专为生产环境而设计,并针对TensorFlow进行了优化。初始发行版包含使用gRPC构建的示例 ,但是您可以轻松地使用满足您需要的RESTful API替换前端(在下图中表示为“客户端”)。

在此处输入图片说明

要快速入门,请查看教程

收藏
评论
新手导航
  • 社区规范
  • 提出问题
  • 进行投票
  • 个人资料
  • 优化问题
  • 回答问题

关于我们

常见问题

内容许可

联系我们

@2020 AskGo
京ICP备20001863号