机器学习基础——模型选择和评估_模型估计中数据选取与转换的依据是什么

一、归纳偏好

概念

归纳偏好指机器学习算法在学习过程中对某种类型假设的偏好。
假 设 − > { 尽 可 能 一 般 适用情况尽可能多 尽 可 能 特 殊 适用情况尽可能少 假设->

$$\begin{cases} 尽可能一般& \text{适用情况尽可能多}\\ 尽可能特殊& \text{适用情况尽可能少} \end{cases}$$ 假设−>{尽可能一般尽可能特殊​适用情况尽可能多适用情况尽可能少​
例如：若数据包含噪声，则假设空间中有可能不存在与所有训练样本都一致的假设。在这种情况下，通常认为两个数据的属性越相近，则更倾向于将它们划为同一类。对于出现相同属性却不同类的情况，可以认为是它属于与之最近邻的数据的属性类别；或者直接删除，但会丢失部分数据。这就是一种归纳偏好用于假设选择的例子。

重要性

任何一个有效的机器学习算法必有其归纳偏好，否则它将被假设空间中看似在训练集上”等效“的假设所迷惑，而无法产生确定的学习结果。

例：若认为相似样本应有相似的输出，结果可能是平滑的曲线。

确立正确的偏好的原则

• 奥卡姆剃刀（Occam’s razor）：若有多个假设与观察一致，则选最简单的那个。
• 根据算法性能：好的归纳偏好对应学习算法所作出的关于”什么样的模型更好“的假设。在实际运用中，这个假设是否成立（即，归纳偏好是否与问题匹配）大多数直接决定了算法能否取得更好的性能。

没有免费的午餐定理

没有免费的午餐定理 （No Free Lunch Theorem , NFL定理）：在没有实际背景下，没有一种算法比随机猜想的算法效果更好。

NFL定理的重要意义：在脱离实际情况下，空泛地谈论哪种算法好坏是毫无意义的，要谈论其优劣必须针对具体的学习问题。

二、模型选择

模型选择遇到的困难

模型选择的理想方案是：对候选模型的泛化误差进行评估，然后选择泛化误差最小的那个模型。

实际上，我们无法直接获得泛化误差，而训练误差又由于过拟合现象的存在就不适合作为标准。

解决方案：使用测试误差近似泛化误差。（实际运用中，还会考虑时间开销、存储开销、可解释性等方面的因素）

模型评估

使用测试误差近似泛化误差。

• 在没有独立的测试集的前提下，需要对已有的数据集进行划分产生训练集和测试集用于训练和测试算法。所以，划分数据的方法有以下几种。

性能度量

性能度量时衡量泛化能力的评价标准，它反映了任务需求，在对比不同模型的能力时，使用不同模型能力时，使用不同的性能度量往往会导致不同的评价结果。

1、分类

• 错误率与精度：分类错误/正确样本占样本总数的比例。
• 混淆矩阵

  真实\预测	正	负
  正	TP(真正例)	FN(假反例)
  负	FP(假正例)	TN(真反例)

• 准确率：预测为正的所有样中有多少是真正的正样本。$$Precision=\frac{TP}{TP+FP}$$
  召回率：为正的所有样本中有多少被预测为真。$$Precision=\frac{TP}{TP+FN}$$
  准确率和召回率，是一对矛盾的度量，准确率越高，召回率反而越低。当然我们希望两者都高，一般情况下，我们取两者达到平衡的点（P-R曲线）。
• P-R曲线 \ BEP:
  
  如上图，A、B、C三个模型的P-R曲线中，A的平衡点BEP最大，所以，A模型相对B\C更优。
• F1分数：也是一种平衡准确率和召回率的度量。$$F1=\frac{2}{\frac{1}{Precision}+\frac{1}{Recall}}=\frac{2Precision\ast Recall}{Precision+Recall}$$
• ROC \ AUC:
  
  ROC(受试者工作特征曲线)以假正率为横坐标，以真正率为纵坐标，曲线下方的面积（AUC）越大意味着分类效果更好。
• 对数损失 \ 逻辑回归损失 \ 交叉熵损失：$$L=-[y\log (\hat{y})+(1-y)\log (1-\hat{y})]$$
• hinge损失（svm）: L ( w , y ) = m a x { 0 , 1 − w y } = ∣ 1 − w y ∣ + L(w,y)=max\{0,1-wy\}=|1-wy|_+ L(w,y)=max{0,1−wy}=∣1−wy∣+​

2、回归

• MAE：$MAE(y,\hat{y})=\frac{1}{m}{\sum }_i^m|y_i-{\hat{y}}_i|$
• MSE：$MSE(y,\hat{y})=\frac{1}{m}{\sum }_i^m(y_i-{\hat{y}}_i{)}^2$
• R^2： $R^2(y,\hat{y})=1-\frac{{\sum }_i^m(y_i-{\hat{y}}_i)}{{\sum }_i^m(y_i-{\bar{y}}_i)}$

3、聚类

聚类是将样本划分为若干互不相交的子集（样本簇），当然我们希望是簇内相似度高，簇间相似度低。

此时需要性能度量，一般分两类：

• 外部指标：将聚类结果与某个参考模型作比较。
• 内部指标：直接对聚类结果进行分析，不进行参考。