AI: 什么是机器学习的数据清洗（Data Cleaning）

作者：小惠珠哦 | 2024-07-29 06:18:05

踩

data cleaning

为什么要数据清洗？：一颗老鼠屎也会破坏掉一整个大规模数据集

数据清洗要达到的目标是什么？：目标让模型更加泛化，让数据更体现其价值，最好能清洗出特征数据，从而让模型更精确

在这里插入图片描述

将特征数据归一化处理，即转换数据集的数值范围（也叫标准化数据），

缩放是指将浮点特征值从自然范围（例如 100 到 900）转换为标准范围（例如 0 到 1 或 -1 到 +1）。
如果特征集包含多个特征，则缩放特征可以带来以下优势：

帮助梯度下降法更快速地收敛。
帮助避免“NaN 陷阱”。在这种陷阱中，模型中的一个数值变成
NaN（例如，当某个值在训练期间超出浮点精确率限制时），并且模型中的所有其他数值最终也会因数学运算而变成 NaN。
帮助模型为每个特征确定合适的权重。如果没有进行特征缩放，则模型会对范围较大的特征投入过多精力。

处理错误数据、重复数据、残缺数据缺省补齐等

如何最大限度降低这些极端离群值的影响?

将特征值浮点数，分为几个范围，如32.3 32.5 为32-33范围，相应值为1
为了将纬度变为一项实用的预测指标，我们对纬度“分箱”
在这里插入图片描述

我们假定用于训练和测试的所有数据都是值得信赖的。在现实生活中，数据集中的很多样本是不可靠的：

直方图是一种用于可视化集合中数据的很好机制。此外，收集如下统计信息也会有所帮助：

在这里插入图片描述

博主热门文章推荐：

一篇读懂系列：

LoRa Mesh系列：

网络安全系列：

嵌入式开发系列：

AI / 机器学习系列：

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小惠珠哦/article/detail/897540