机器学习 - 基础

  • 分类（classification），数值离散
    • KNN（K-Nearest Neighbor）算法
    • 支持向量机（support vector machines，SVM）
    • 决策树、朴素贝叶斯
  • 回归（Regression），数值连续
    • 线性回归
  • 聚类（Clustering）
    • KMeans算法
  • 降维（Dimensionality Reduction）
    • PCA

分类问题

训练分类模型

训练集（特征、标签）

将特征和标签输入分类模型

模型根据每个数据的特征，猜测每个数据的标签 模型自我更新，使猜测的标签和真实标笠的差别最小化

常用的分类模型：决策树，补素贝叶斯，支持向量机，KNN，神经网络，逻辑回归，线性判别分析，随机森林，隐马尔科夫，贝叶斯网络

二分类模型

示例：

TP=45   FN=5
FP=15   TN=35

Precision = 45/(45+15) = 0.75     查准率

Recall = 45/(45+5) = 0.9              查全率、召回率

Fl-score = 2x0.75x0.9/(0.75+0.9) = 0.82

Accuracy = (45+35)/100 = 0.8     准确率

Specificity = 35/(15+35) = 0.7      特异性

二分类混滑矩降是2行2列的矩阵

  • TP+FN：真实肺炎数据个数总和
  • FP+TN：真实健康数据个数总
  • TP+TN：所有被正确分类数据个数

分类模型评估指标（#表示个数）

Accuracy = #正确分类 / #所有数据 =  (TP + TN) / (TP+TN+ FP+ FN)

Precision = TP /  #预测为肝炎 = TP / ( TP+FP)
预测为肝炎的数据中有多少真的是肝炎

Recall  =  TP / (TP + FN)
真实肺炎数据中有多少被预测出来了

F1 score =  2 * 1 / ((1/Preeision) + (1/Recall)) = 2×Precision x Recall  / (Precision + Recall)
F1 score是 Precision和 Recall 的调和平均数，综合反映分类器的Precision和Recall

Spetificity = TN /#真实为健康 = TN / ( FP+TN)     特异性

扩展：多分类混淆矩阵 Muticlass classifiers

Accuracy = （15+12+22）/（15+2+3+6+12+4+22） = 76.56%

猫 Precision = 15 / （15 + 6）= 0.71  Recall = 15 / (15+2+3) = 0.75

狗 Precision = 12 / （2+12+4）= 0.66  Recall = 12 / (6+12) = 0.66

猪 Precision = 22 / （3+22）= 0.88  Recall = 22 / (4+22) = 0.85

平均 Precision =  0.72+0.6+0.88 / 3= 75% Recall = 0.75+0.66+0.85 / 3 =  75%

    F1- Score = 2×Precision x Recall  / (Precision + Recall) = 2 x0.75x0.75/(0.75+0.75) = 0.75

多分类的F1-score 是每一类F1-score的平均值
最近更新:
Contributors: klc407073648