批量标准化而不是输入标准化
artificial-intelligence
keras
machine-learning
neural-network
8
0

我可以在输入层之后立即使用批处理规范化层,而不对数据进行规范化吗?我可以期望获得类似的效果/性能吗?

在keras函数中,它将是这样的:

x = Input (...)
x = Batchnorm(...)(x)
...
参考资料:
Stack Overflow
收藏
评论
共 1 个回答
高赞 时间 活跃

你能行的。但是关于batchnorm的好处是,除了激活分布稳定之外,随着网络的学习,均值和std偏差可能会迁移。

实际上,在输入层之后立即设置batchnorm是一个花哨的数据预处理步骤。它有时会很有帮助(例如,线性回归)。但是,一次计算整个训练样本的均值和方差比逐批学习更容易,更有效。请注意,batchnorm在性能方面并非免费的,您不应滥用它。


收藏
评论
新手导航
  • 社区规范
  • 提出问题
  • 进行投票
  • 个人资料
  • 优化问题
  • 回答问题

关于我们

常见问题

内容许可

联系我们

@2020 AskGo
京ICP备20001863号