使用Keras和sklearn GridSearchCV交叉验证提前停止
cross-validation
keras
machine-learning
scikit-learn
6
0

我希望使用Keras和sklean的GridSearchCV实施早期停止。

下面的工作代码示例已从如何使用Keras在Python中深度学习模型的网格搜索超参数进行了修改。数据集可从此处下载

该修改添加了EarlyStopping回调类,以防止过度拟合。为使此方法有效,需要使用monitor='val_acc'参数来监视验证准确性。为了使val_acc可用, KerasClassifier要求KerasClassifier validation_split=0.1才能生成验证准确性,否则EarlyStopping会提高RuntimeWarning: Early stopping requires val_acc available! 。注意FIXME:代码注释!

注意,我们可以用val_acc替换val_loss

问题:如何使用GridSearchCV k折叠算法生成的交叉验证数据集,而不是将训练数据的10%用于早期停止的验证集?

# Use scikit-learn to grid search the learning rate and momentum
import numpy
from sklearn.model_selection import GridSearchCV
from keras.models import Sequential
from keras.layers import Dense
from keras.wrappers.scikit_learn import KerasClassifier
from keras.optimizers import SGD

# Function to create model, required for KerasClassifier
def create_model(learn_rate=0.01, momentum=0):
    # create model
    model = Sequential()
    model.add(Dense(12, input_dim=8, activation='relu'))
    model.add(Dense(1, activation='sigmoid'))
    # Compile model
    optimizer = SGD(lr=learn_rate, momentum=momentum)
    model.compile(loss='binary_crossentropy', optimizer=optimizer, metrics=['accuracy'])
    return model

# Early stopping
from keras.callbacks import EarlyStopping
stopper = EarlyStopping(monitor='val_acc', patience=3, verbose=1)

# fix random seed for reproducibility
seed = 7
numpy.random.seed(seed)
# load dataset
dataset = numpy.loadtxt("pima-indians-diabetes.csv", delimiter=",")
# split into input (X) and output (Y) variables
X = dataset[:,0:8]
Y = dataset[:,8]
# create model
model = KerasClassifier(
    build_fn=create_model,
    epochs=100, batch_size=10,
    validation_split=0.1, # FIXME: Instead use GridSearchCV k-fold validation data.
    verbose=2)
# define the grid search parameters
learn_rate = [0.01, 0.1]
momentum = [0.2, 0.4]
param_grid = dict(learn_rate=learn_rate, momentum=momentum)
grid = GridSearchCV(estimator=model, param_grid=param_grid, verbose=2, n_jobs=1)

# Fitting parameters
fit_params = dict(callbacks=[stopper])
# Grid search.
grid_result = grid.fit(X, Y, **fit_params)

# summarize results
print("Best: %f using %s" % (grid_result.best_score_, grid_result.best_params_))
means = grid_result.cv_results_['mean_test_score']
stds = grid_result.cv_results_['std_test_score']
params = grid_result.cv_results_['params']
for mean, stdev, param in zip(means, stds, params):
    print("%f (%f) with: %r" % (mean, stdev, param))
参考资料:
Stack Overflow
收藏
评论
共 2 个回答
高赞 时间 活跃

[对问题进行编辑和澄清后的答案:]

在急于解决实施问题之前,花一些时间思考方法论和任务本身始终是一个好习惯;可以说,将早期停止与交叉验证过程混合在一起不是一个好主意。

让我们组成一个示例以突出显示该参数。

假设您确实使用了100个纪元的提前停止以及5倍交叉验证(CV)进行超参数选择。还要假设您最终得到一个具有最佳性能的超参数集X,例如二进制分类精度为89.3%。

现在,假设第二好的超参数集Y的准确度为89.2%。仔细检查各个CV折叠,您会发现,对于最佳情况X,5个CV折叠中有3个用尽了最多100个历元,而在另外2个早期停止中,分别出现了89个和93个纪元。

现在想象一下,检查第二好的Y集,您会发现5个CV折叠中有4个用尽了100个时代,而第5个CV褶皱则在约80个时代就停了下来。

你从这样的实验中得出什么结论?

可以说,您会发现自己处于不确定的情况;进一步的实验可能会揭示实际上最好的超参数集,当然,前提是您首先想到的是这些结果的详细信息。不用说,如果所有这些都是通过回调自动完成的,那么尽管您实际上会尝试过,但您可能会错过最佳模型。


整个CV思想都隐含地基于“其他所有条件都相同”的论点(当然,这在实践中永远是不正确的,只能以最佳方式近似)。如果您认为时期数应该是一个超参数,只需将其明确地包含在您的简历中,而不是将其插入早期停止的后门,从而可能损害整个过程(更不用说早期停止本身超参数patience )。

当然,不将这两种技术混合在一起并不意味着您不能顺序使用它们:一旦通过CV获得了最佳的超参数,就可以在将模型拟合到整个训练集中时始终采用提前停止的方法(当然,有一个单独的验证集)。


深层神经网络领域仍然(非常)年轻,并且确实还没有建立其“最佳实践”准则。再加上一个令人惊奇的社区,开放源代码实现中提供了各种工具,您可以轻松地将自己混合在一起(很诱人),因为它们碰巧可用。我并不一定要说这就是您要在这里做的事情-我只是在敦促将可能并非旨在一起工作的想法结合起来时要格外小心...

收藏
评论

我不同意Desertnaut(但缺乏发表评论的声誉)。尽早停止,对于一组历元计数,您确实无法分辨出其中哪个对找到的最佳超参数集有所贡献。但这不是开始的问题。方法要问的是“给定最多 n个纪元并使用尽早停止,最佳的超参数是什么?”。是的,提早停止将引入更多的超参数,您可能会或可能不想通过网格搜索对其进行优化,但这对于模型中的任何超参数都是如此。实际上,我认为在网格搜索过程中尽早停止比在网格搜索后首先停止这样做更有意义,因为您可以(至少是温和地)对其引入的超参数进行推理。

收藏
评论
新手导航
  • 社区规范
  • 提出问题
  • 进行投票
  • 个人资料
  • 优化问题
  • 回答问题

关于我们

常见问题

内容许可

联系我们

@2020 AskGo
京ICP备20001863号