SKlearn二分类评价指标

SKlearn的Metrics模块下有有许多二分类算法的评价指标，这里我们主要讨论最常用的几种。

1.准确度（Accuracy）

from sklearn.metrics import accuracy_score(y_true, y_pred, normalize=True, sample_weight=None)

1.1参数说明 y_true：数据的真实label值 y_pred：数据的预测标签值 normalize：默认为True，返回正确预测的个数，若是为False，返回正确预测的比例 sample_weight：样本权重 返回结果：score为正确预测的个数或者比例，由normalize确定 1.2数学表达 $$accuracy(y,\hat{y})=\frac{1}{n_{samples}}\sum _{i=0}^{n_{samples}-1}(y_i={\hat{y}}_i)$$

1.3 案列演示

import numpy as np import pandas as pd from sklearn.metrics import accuracy_score y_true = [1,1,0,1,0] y_pred = [1,1,1,0,0] score = accuracy_score(y_true,y_pred) print(score) 0.6#正确预测的比例 score1 = accuracy_score(y_true,y_pred,normalize = True) print(score1) 3#正确预测的个数

2.混淆矩阵（Confusion Matrix）

from sklearn.metrics import confusion_matrix(y_true,y_pred,labels=None,sample_weight = None)

2.1参数说明 y_true：真实的label，一维数组，列名 y_pred：预测值的label，一维数组，行名 labels：默认不指定，此时y_true,y_pred去并集，做升序，做label sample_weight：样本权重 返回结果：返回混淆矩阵 2.2案例演示

import numpy as np from sklearn.metrics import confusion_matrix y_true = np.array([0,1,1,1,0,0,1,2,0,1]) y_pred = np.array([0,0,1,1,1,0,1,2,0,1]) confusion_matrix = confusion_matrix(y_true,y_pred) confusion_matrix array([[3, 1, 0], [1, 4, 0], [0, 0, 1]], dtype=int64)

confusion_matrix的官方文档给了我们一个可将混淆矩阵可视化的模板，我们可以将模板复制过来。文档连接：https://scikit-learn.org/stable/auto_examples/model_selection/plot_confusion_matrix.html#sphx-glr-auto-examples-model-selection-plot-confusion-matrix-py

import itertools import numpy as np import matplotlib.pyplot as plt from sklearn import svm, datasets from sklearn.model_selection import train_test_split from sklearn.metrics import confusion_matrix def plot_confusion_matrix(cm, classes, normalize=False, title='Confusion matrix', cmap=plt.cm.Blues): """ This function prints and plots the confusion matrix. Normalization can be applied by setting `normalize=True`. """ if normalize: cm = cm.astype('float') / cm.sum(axis=1)[:, np.newaxis] print("Normalized confusion matrix") else: print('Confusion matrix, without normalization') print(cm) plt.imshow(cm, interpolation='nearest', cmap=cmap) plt.title(title) plt.colorbar() tick_marks = np.arange(len(classes)) plt.xticks(tick_marks, classes, rotation=45) plt.yticks(tick_marks, classes) fmt = '.2f' if normalize else 'd' thresh = cm.max() / 2. for i, j in itertools.product(range(cm.shape[0]), range(cm.shape[1])): plt.text(j, i, format(cm[i, j], fmt), horizontalalignment="center", color="white" if cm[i, j] > thresh else "black") plt.ylabel('True label') plt.xlabel('Predicted label') plt.tight_layout() #可视化上述混淆矩阵 plot_confusion_matrix（confusion_matrix,classes = [0,1,2]）

如图所示，这样看上去就很直观了，中间的格子4表示1预测为1的个数有4个。 3.Precision&Recall Precision：精确度。 Recall：召回率。 我们用一个例子来说明下Recall召回率的意思。 3.1班有100位同学，其中80位男生，20位是女生，现欲选出所有的女生，从100人中选了50人，其中20位是女生，30位是男生。 Recall中的四个指标： TP(True positive)：预测对了，预测结果为正例（把女生预测为女生），TP = 20。 FP(False positive)：预测错了，预测结果为正例（把男生预测为女生），FP = 30。 TN(True negative)：预测对了，预测结果为负例（把男生预测为男生），TN = 50。 FN（False negative）：预测错了，预测结果为负例（把女生预测为男生），FN = 0。 Recall = TP/(TP + FN)，Recall的意思是在正确的结果中，有多少个预测结果是正确的。上述例子的Recall值就是TP/(TP+FN) = 20/(20+0) = 100%。 为什么要引入Recall这个指标呢？ 假设我们现在有100个患者样本，其中有5个患者患有癌症，我们用1表示，其余95名正常患者我们用0表示。假设我们现在用一种算法做预测，所有的结果都预测为0，95个肯定是预测对了，算法准确率为95%，看着挺高的。但是这个算法对于癌症患者的预测准确率是0，所以这个算法是没有任何意义的。这时候我们的recall值的价值就体现出来了，recall值是在5个癌症患者中找能预测出来的，如果预测3个对了，recall = 60%。

from sklearn.metrics import classification_report(y_true, y_pred, labels=None, target_names=None, sample_weight=None, digits=2, output_dict=False)

3.1参数说明 y_true：真实的label，一维数组，列名 y_pred：预测值的label，一维数组，行名 labels：默认不指定，此时y_true,y_pred去并集，做升序，做label sample_weight：样本权重 target_names：行标签，顺序和label的要一致 digits，整型，小数的位数 out_dict：输出格式，默认False，如果为True，输出字典。 3.2样例演示

import numpy as np from sklearn.metrics import classification_report y_true = np.array([0,1,1,0,1,2,1]) y_pred = np.array([0,1,0,0,1,2,1]) target_names = ['class0','class1','class2'] print(classification_report(y_true,y_pred,target_names = target_names)) #结果如下 precision recall f1-score support class0 0.67 1.00 0.80 2 class1 1.00 0.75 0.86 4 class2 1.00 1.00 1.00 1 micro avg 0.86 0.86 0.86 7 macro avg 0.89 0.92 0.89 7 weighted avg 0.90 0.86 0.86 7

补充：f1-score是recall与precision的综合结果，其表达式为：f1-score = 2 * (precision * recall)/(precision + recall) 4.ROC_AUC

from sklearn.metrics import roc_auc_score(y_true, y_score, average=’macro’, sample_weight=None, max_fpr=None)

4.1参数说明 y_true：真实的label，一维数组 y_score：模型预测的正例的概率值 average：有多个参数可选，一般默认即可 sample_weight：样本权重 max_fpr 取值范围[0，1),如果不是None，则会标准化，使得最大值=max_fpr 4.2 Roc曲线说明 如下图所示，横轴表示false positive rate，纵轴表示true positive rate，我们希望false positive rate的值越小越好，true positive rate的值越大越好，希望曲线往左上角偏。那么如何衡量Roc曲线，我们用Roc的曲线面积来衡量即Auc（Area under curve）值，取值范围：[0,1]。 4.3样例演示

import numpy as np from sklearn.metrics import roc_auc_score y_true = np.array([0,1,1,0]) y_score = np.array([0.85,0.78,0.69,0.54]) print(roc_auc_score(y_true,y_score)) 0.5

5.小结 评估机器学习算法是我们在解决实际问题中非常重要的一步，只有通过准确的评估，我们才能对算法进行后期的优化处理。这一节所说的Precision,Recall,Confusion_matrix,Roc_Auc是我们最常用的二分类算法的评估方法。以后在解决实际问题时，单一的评估指标往往不能反映出真正的算法效果，所以我们需综合多种评估指标来评价某一种算法。