如何将Keras损失输出记录到文件
keras
machine-learning
neural-network
python
14
0

当您运行Keras神经网络模型时，您可能会在控制台中看到以下内容： 

Epoch 1/3
   6/1000 [..............................] - ETA: 7994s - loss: 5111.7661

随着时间的流逝，损失有望改善。我想将这些损失随时间记录到文件中，以便我可以从中学习。我努力了： 

logging.basicConfig(filename='example.log', filemode='w', level=logging.DEBUG)

但这不起作用。我不确定在这种情况下我需要什么级别的日志记录。

我也尝试过使用如下回调： 

def generate_train_batch():
    while 1:
        for i in xrange(0,dset_X.shape[0],3):
            yield dset_X[i:i+3,:,:,:],dset_y[i:i+3,:,:]

class LossHistory(keras.callbacks.Callback):
    def on_train_begin(self, logs={}):
        self.losses = []

    def on_batch_end(self, batch, logs={}):
        self.losses.append(logs.get('loss'))
logloss=LossHistory()
colorize.fit_generator(generate_train_batch(),samples_per_epoch=1000,nb_epoch=3,callbacks=['logloss'])

但这显然不是在写文件。无论采用哪种方法，通过回调或日志记录模块或其他任何方法，我都想听听您的解决方案，用于将keras神经网络丢失记录到文件中。谢谢！

参考资料：
Stack Overflow
收藏
评论
共 3 个回答
高赞 时间 活跃

您可以使用CSVLogger回调。

例如： 

from keras.callbacks import CSVLogger

csv_logger = CSVLogger('log.csv', append=True, separator=';')
model.fit(X_train, Y_train, callbacks=[csv_logger])

查看： Keras回调

收藏
评论

有一个简单的解决方案来解决您的问题。每次使用任何fit方法时-都会返回称为History Callback的特殊回调。它具有字段history ，该字段history是每个时期后注册的所有度量的字典。因此，可以在每个时期之后轻松获得损失函数值的列表： 

history_callback = model.fit(params...)
loss_history = history_callback.history["loss"]

将这样的列表保存到文件很容易（例如，通过将其转换为numpy数组并使用savetxt方法）。

更新：

尝试： 

import numpy
numpy_loss_history = numpy.array(loss_history)
numpy.savetxt("loss_history.txt", numpy_loss_history, delimiter=",")

更新2：

在Keras回调文档的“ 创建回调”段落中编写了每批记录后记录损失的问题的解决方案。

收藏
评论

老问题了，但是这里。 Keras历史记录输出与熊猫DataSet输入完全匹配。

如果希望整个历史记录一行显示在csv中： pandas.DataFrame(model.fit(...).history).to_csv("history.csv")

干杯

收藏
评论
新手导航
  • 社区规范
  • 提出问题
  • 进行投票
  • 个人资料
  • 优化问题
  • 回答问题