在Scikit Learn中控制Logistic回归的阈值
classification
machine-learning
scikit-learn
7
0

我在高度不平衡的数据集上的scikit-learn使用LogisticRegression()方法。我什至将class_weight功能设置为auto

我知道在Logistic回归中应该可以知道特定一对类的阈值是多少。

是否有可能知道LogisticRegression()方法设计的“一对多”类中的每个阈值?

我在文档页面中找不到任何内容。

默认情况下,是否将0.5值用作所有类的阈值而与参数值无关?

参考资料:
Stack Overflow
收藏
评论
共 3 个回答
高赞 时间 活跃

Logistic回归选择概率最大的类别。在2类的情况下,阈值为0.5:如果P(Y = 0)> 0.5,则显然P(Y = 0)> P(Y = 1)。多类设置也是如此:再次,它选择可能性最大的类(例如,参见Ng的演讲 ,底线)。

引入特殊阈值只会影响假阳性/假阴性的比例(从而影响精确度/召回权衡),但不是LR模型的参数。另请参阅类似的问题

收藏
评论

是的,Sci-Kit学习对二进制分类使用的阈值P> 0.5。我将在已经发布的一些答案的基础上,用两个选项进行检查:

一个简单的选择是使用下面代码的model.predict_proba(test_x)段的输出以及类预测(下面代码的model.predict(test_x)段的输出)提取每种分类的概率。然后,将类别预测及其概率附加到您的测试数据框中以作为检查。

作为另一种选择,可以使用以下代码以图形方式查看各种阈值下的精度与召回率。

### Predict test_y values and probabilities based on fitted logistic 
regression model

pred_y=log.predict(test_x) 

probs_y=log.predict_proba(test_x) 
  # probs_y is a 2-D array of probability of being labeled as 0 (first 
  column of 
  array) vs 1 (2nd column in array)

from sklearn.metrics import precision_recall_curve
precision, recall, thresholds = precision_recall_curve(test_y, probs_y[:, 
1]) 
   #retrieve probability of being 1(in second column of probs_y)
pr_auc = metrics.auc(recall, precision)

plt.title("Precision-Recall vs Threshold Chart")
plt.plot(thresholds, precision[: -1], "b--", label="Precision")
plt.plot(thresholds, recall[: -1], "r--", label="Recall")
plt.ylabel("Precision, Recall")
plt.xlabel("Threshold")
plt.legend(loc="lower left")
plt.ylim([0,1])
收藏
评论

我使用了一个小技巧,而不是使用model.predict(test_data)使用model.predict_proba(test_data) 。然后使用一系列阈值值来分析对预测的影响;

pred_proba_df = pd.DataFrame(model.predict_proba(x_test))
threshold_list = [0.05,0.1,0.15,0.2,0.25,0.3,0.35,0.4,0.45,0.5,0.55,0.6,0.65,.7,.75,.8,.85,.9,.95,.99]
for i in threshold_list:
    print ('\n******** For i = {} ******'.format(i))
    Y_test_pred = pred_proba_df.applymap(lambda x: 1 if x>i else 0)
    test_accuracy = metrics.accuracy_score(Y_test.as_matrix().reshape(Y_test.as_matrix().size,1),
                                           Y_test_pred.iloc[:,1].as_matrix().reshape(Y_test_pred.iloc[:,1].as_matrix().size,1))
    print('Our testing accuracy is {}'.format(test_accuracy))

    print(confusion_matrix(Y_test.as_matrix().reshape(Y_test.as_matrix().size,1),
                           Y_test_pred.iloc[:,1].as_matrix().reshape(Y_test_pred.iloc[:,1].as_matrix().size,1)))

最好!

收藏
评论
新手导航
  • 社区规范
  • 提出问题
  • 进行投票
  • 个人资料
  • 优化问题
  • 回答问题

关于我们

常见问题

内容许可

联系我们

@2020 AskGo
京ICP备20001863号