当前位置:   article > 正文

数据清洗之缺失值处理—删除_删除缺失百分比超过20%的列

删除缺失百分比超过20%的列

一、数据清洗
1、目的:让数据更加完整合理
2、为什么:数据可能存在缺失数据或异常数据,清洗就是对缺失的数据和异常的数据进行处理。
3、定义:数据清洗是通过删除,转换器,组合等方法,处理数据中的异常样本,为数据建模提供优质的数据的过程
4、包括:
缺失值处理
异常值处理
一.1、缺失值处理
1、缺失的原因:
人为疏忽、机器故障
人为刻意隐瞒部分数据
数据本身不存在
系统实时性高
历史局限性导致数据收集不完整
2、数据缺失类型:
完全随机缺失
随机缺失
非随机缺失
3、缺失值存在的形式:
np:nan 、" "、空格
4、缺失值处理的方式:
删除
填充
不处理
4.1 删除:
适用范围:数据量大,数据缺失值少的数据
方法:80%法则,缺失值超过总量20%,删除该属性
优点:操作简单
缺点:破坏数据的历史完整性
Python中用到的库:pandas

import  pandas  as  pd
data=pd. read_csv('. /data02.csv')
 #         读取数据    ('数据文件的路径')
 data. head()  #读取数据前五行
 print(type(data))   #查看数据类型
 data. describe()    # 查看详细信息 平均值,最大小值
 #进行绘画展示
 import missingno   #导入库
 import matplotlib. pyplot  as plt   #导入库
 missingno. bar(data)   #图画展示
 #80%删除
 drop_data=data. drop(axis=1,how=any,thresh=8000)
 # axis=1   按列删除  0 :按行删除
 #thresh:完整度
 




  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/木道寻08/article/detail/760012
推荐阅读
相关标签
  

闽ICP备14008679号