机器学习基础学习笔记（八）特征选择与特征提取_机器学习特征选择和提取

以下内容均为https//nndl.github.io/nndl-book.pdf的学习笔记。

数据的特征表示

1.原始特征（Raw Feature）需要为向量形式。其存在以下不足：
1）特征比较单一，需要进行（非线性的）组合才能发挥其作用；
2）特征之间冗余度比较高；
3）并不是所有的特征都对预测有用；
4）很多特征通常是易变的；
5）特征中往往存在一些噪声
2.有效、稳定的特征对于提高机器学习算法的能力非常重要。
依赖专家知识的传统特征提取方式称为特征工程（Feature Engineering）。目前已经不能满足需求。
机器自动提取有效特征，称为特征学习（Feature Learning），也叫表示学习（Representation Learning）．
3.特征学习作用:一定程度上也可以减少模型复杂性、缩短训练时间、提高模型泛化能力、避免过拟合等．

传统特征学习方法

1.特征选择（Feature Selection）

特征选择（Feature Selection）是选取原始特征集合的一个有效子集，使得基于这个特征子集训练出来的模型准确率最高．简单地说，特征选择就是保留有用特征，移除冗余或无关的特征．
如何进行特征选择？
子集搜索:一种直接的特征选择方法为子集搜索（Subset Search）．假设原始特征数为