如何在keras中实现自定义指标？- AskGo

如何在keras中实现自定义指标？

deep-learning

keras

neural-network

python

我收到此错误：

sum（）得到了意外的关键字参数'out'

当我运行此代码时：

import pandas as pd, numpy as np
import keras
from keras.layers.core import Dense, Activation
from keras.models import Sequential

def AUC(y_true,y_pred):
    not_y_pred=np.logical_not(y_pred)
    y_int1=y_true*y_pred
    y_int0=np.logical_not(y_true)*not_y_pred
    TP=np.sum(y_pred*y_int1)
    FP=np.sum(y_pred)-TP
    TN=np.sum(not_y_pred*y_int0)
    FN=np.sum(not_y_pred)-TN
    TPR=np.float(TP)/(TP+FN)
    FPR=np.float(FP)/(FP+TN)
    return((1+TPR-FPR)/2)

# Input datasets

train_df = pd.DataFrame(np.random.rand(91,1000))
train_df.iloc[:,-2]=(train_df.iloc[:,-2]>0.8)*1


model = Sequential()
model.add(Dense(output_dim=60, input_dim=91, init="glorot_uniform"))
model.add(Activation("sigmoid"))
model.add(Dense(output_dim=1, input_dim=60, init="glorot_uniform"))
model.add(Activation("sigmoid"))

model.compile(optimizer='rmsprop',loss='binary_crossentropy',metrics=[AUC])


train_df.iloc[:,-1]=np.ones(train_df.shape[0]) #bias
X=train_df.iloc[:,:-1].values
Y=train_df.iloc[:,-1].values
print X.shape,Y.shape

model.fit(X, Y, batch_size=50,show_accuracy = False, verbose = 1)

除了对批处理进行循环并编辑源代码之外，是否可以实现自定义指标？

参考资料：

Stack Overflow

2020-06-03 10:09:27 更新

Karen Wodehous• 638

共 3 个回答

高赞时间活跃

在这里，我在回答OP的主题问题，而不是他的确切问题。我正在执行此操作，是因为当我搜索主题问题时该问题会显示在顶部。

您可以通过两种方式实现自定义指标。

如Keras docu中所述。
```
 import keras.backend as K def mean_pred(y_true, y_pred): return K.mean(y_pred) model.compile(optimizer='sgd', loss='binary_crossentropy', metrics=['accuracy', mean_pred]) 
```
但是在这里，您必须记住，正如MarcinMożejko的答案所提到的那样， y_true和y_pred是张量。因此，为了正确计算指标，您需要使用keras.backend功能。请查看此SO问题以获取详细信息如何在Keras中计算F1宏？

或者，您也可以按照Keras GH问题中提到的方法来实现它。为此，您需要使用model.fit callbacks参数。

 import keras as keras import numpy as np from keras.optimizers import SGD from sklearn.metrics import roc_auc_score model = keras.models.Sequential() # ... sgd = SGD(lr=0.001, momentum=0.9) model.compile(optimizer=sgd, loss='categorical_crossentropy', metrics=['accuracy']) class Metrics(keras.callbacks.Callback): def on_train_begin(self, logs={}): self._data = [] def on_epoch_end(self, batch, logs={}): X_val, y_val = self.validation_data[0], self.validation_data[1] y_predict = np.asarray(model.predict(X_val)) y_val = np.argmax(y_val, axis=1) y_predict = np.argmax(y_predict, axis=1) self._data.append({ 'val_rocauc': roc_auc_score(y_val, y_predict), }) return def get_data(self): return self._data metrics = Metrics() history = model.fit(X_train, y_train, epochs=100, validation_data=(X_val, y_val), callbacks=[metrics]) metrics.get_data()

2020-06-03 10:10:34 更新

Rosemary Ruskin• 636

问题在于y_pred和y_true不是NumPy数组，而是Theano或TensorFlow张量。这就是为什么您会收到此错误。

您可以定义自定义指标，但必须记住，其参数是那些张量，而不是NumPy数组。

2020-06-03 10:10:31 更新

陈甘雨• 727

您可以在AUC指标函数中传递model.predict（）。 [这会反复进行，因此使用model.predict_on_batch（）可能会更好。假设您有一个类似softmax层的输出（输出概率的东西），那么您可以将其与sklearn.metric一起使用以获取AUC。

from sklearn.metrics import roc_curve, auc

从这里

def sklearnAUC(test_labels,test_prediction):
    n_classes = 2
    # Compute ROC curve and ROC area for each class
    fpr = dict()
    tpr = dict()
    roc_auc = dict()
    for i in range(n_classes):
        # ( actual labels, predicted probabilities )
        fpr[i], tpr[i], _ = roc_curve(test_labels[:, i], test_prediction[:, i])
        roc_auc[i] = auc(fpr[i], tpr[i])

    return round(roc_auc[0],3) , round(roc_auc[1],3)

现在制定指标

# gives a numpy array like so [ [0.3,0.7] , [0.2,0.8] ....]    
Y_pred = model.predict_on_batch ( X_test  ) 
# Y_test looks something like [ [0,1] , [1,0] .... ]
# auc1 and auc2 should be equal
auc1 , auc2 = sklearnAUC(  Y_test ,  Y_pred )

2020-06-03 10:10:18 更新