devbox
人工智能uu
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

python - Pandas缺失值处理_python pandas nan

作者：人工智能uu | 2024-08-05 09:37:26

赞

踩

python pandas nan

文中所用数据集已上传,找不到的可以私聊我

学习目标

  • 知道空值和缺失值的区别以及缺失值的影响

  • 知道如何查看数据集缺失值情况的方法

  • 知道缺失值处理的办法

1 NaN简介

好多数据集都含缺失数据。缺失数据有多种表现形式

  • 数据库中，缺失数据表示为NULL

  • 在某些编程语言中用NA或None表示

  • 缺失值也可能是空字符串''或数值 0

  • 在Pandas中使用NaN表示缺失值

    • Pandas中的NaN值来自NumPy库，NumPy中缺失值有几种表示形式：NaN，NAN，nan，他们都一样

  • 缺失值和其它类型的数据不同，它毫无意义，NaN不等于0，也不等于空字符串

    1. from numpy import NaN,NAN,nan
    2. print(NaN==True)
    3. print(NaN==False)
    4. print(NaN==0)
    5. print(NaN=='')
    6. print(NaN==None)
    7. ​
    8. # 输出结果如下
    9. False
    10. False
    11. False
    12. False
    13. False

  • 两个NaN也不相等

    1. print(NaN==NaN)
    2. print(NaN==nan)
    3. print(NaN==NAN)
    4. print(nan==NAN)
    5. ​
    6. # 输出结果如下
    7. False
    8. False
    9. False
    10. False

  • 缺失值从何而来呢？缺失值的来源有两个：

    • 原始数据包含缺失值

    • 数据整理过程中产生缺失值

2 加载包含缺失的数据

加载数据时可以通过keep_default_na 与 na_values 指定加载数据时的缺失值

    1. df = pd.read_csv('../data/city_day.csv')
    2. print(df.head())
    3. ​
    4. # 输出结果如下
    5.         City        Date  PM2.5  PM10  ...  Toluene  Xylene  AQI  AQI_Bucket
    6. 0  Ahmedabad  2015-01-01    NaN   NaN  ...     0.02    0.00  NaN         NaN
    7. 1  Ahmedabad  2015-01-02    NaN   NaN  ...     5.50    3.77  NaN         NaN
    8. 2  Ahmedabad  2015-01-03    NaN   NaN  ...    16.40    2.25  NaN         NaN
    9. 3  Ahmedabad  2015-01-04    NaN   NaN  ...    10.14    1.00  NaN         NaN
    10. 4  Ahmedabad  2015-01-05    NaN   NaN  ...    18.89    2.78  NaN         NaN
    11. ​
    12. [5 rows x 16 columns]

    加载数据，观察缺失值默认的显示情况

    1. df = pd.read_csv('../data/city_day.csv')
    2. print(df.head())
    3. ​
    4. # 输出结果如下
    5.         City        Date  PM2.5  PM10  ...  Toluene  Xylene  AQI  AQI_Bucket
    6. 0  Ahmedabad  2015-01-01    NaN   NaN  ...     0.02    0.00  NaN         NaN
    7. 1  Ahmedabad  2015-01-02    NaN   NaN  ...     5.50    3.77  NaN         NaN
    8. 2  Ahmedabad  2015-01-03    NaN   NaN  ...    16.40    2.25  NaN         NaN
    9. 3  Ahmedabad  2015-01-04    NaN   NaN  ...    10.14    1.00  NaN         NaN
    10. 4  Ahmedabad  2015-01-05    NaN   NaN  ...    18.89    2.78  NaN         NaN
    11. ​
    12. [5 rows x 16 columns]

  • 使用keep_default_na=False参数加载数据，不显示默认缺失值

    1. df = pd.read_csv('../data/city_day.csv', keep_default_na=False)
    2. print(df.head())
    3. ​
    4. # 输出结果如下
    5.         City        Date PM2.5 PM10    NO  ... Benzene Toluene Xylene AQI AQI_Bucket
    6. 0  Ahmedabad  2015-01-01             0.92  ...     0.0    0.02    0.0               
    7. 1  Ahmedabad  2015-01-02             0.97  ...    3.68     5.5   3.77               
    8. 2  Ahmedabad  2015-01-03             17.4  ...     6.8    16.4   2.25               
    9. 3  Ahmedabad  2015-01-04              1.7  ...    4.43   10.14    1.0               
    10. 4  Ahmedabad  2015-01-05             22.1  ...    7.01   18.89   2.78               
    11. ​
    12. [5 rows x 16 columns]

  • 使用na_values参数加载数据，通过该参数指定我们认为的缺失值

    1. # 在这里我们通过na_values参数，指鹿为马
    2. # 比如我们认为你的值是Ahmedabad，则也是缺失，这些值会被替换成NaN
    3. df = pd.read_csv('../data/city_day.csv', na_values=["Ahmedabad"], keep_default_na=True)
    4. print(df.head())
    5. ​
    6. # 输出结果如下
    7.   City        Date PM2.5 PM10    NO  ... Benzene Toluene Xylene AQI AQI_Bucket
    8. 0  NaN  2015-01-01             0.92  ...     0.0    0.02    0.0               
    9. 1  NaN  2015-01-02             0.97  ...    3.68     5.5   3.77               
    10. 2  NaN  2015-01-03             17.4  ...     6.8    16.4   2.25               
    11. 3  NaN  2015-01-04              1.7  ...    4.43   10.14    1.0               
    12. 4  NaN  2015-01-05             22.1  ...    7.01   18.89   2.78               
    13. ​
    14. [5 rows x 16 columns]

3 查看缺失值

3.1 加载数据并通过info函数初步查看缺失值情况

  • 加载印度城市空气质量数据集，并初步查探缺失值

    1. df = pd.read_csv('../data/city_day.csv')
    2. df.info()
    3. ​
    4. # 输出结果如下
    5. <class 'pandas.core.frame.DataFrame'>
    6. RangeIndex: 29531 entries, 0 to 29530  # 总的行数是：29531
    7. Data columns (total 16 columns):
    8.  #   Column      Non-Null Count  Dtype  
    9. ---  ------      --------------  -----  
    10.  0   City        29531 non-null  object   # 非空的行数是29531行，也就是一行也不空
    11.  1   Date        29531 non-null  object 
    12.  2   PM2.5       24933 non-null  float64
    13.  3   PM10        18391 non-null  float64
    14.  4   NO          25949 non-null  float64
    15.  5   NO2         25946 non-null  float64
    16.  6   NOx         25346 non-null  float64
    17.  7   NH3         19203 non-null  float64
    18.  8   CO          27472 non-null  float64
    19.  9   SO2         25677 non-null  float64
    20.  10  O3          25509 non-null  float64
    21.  11  Benzene     23908 non-null  float64
    22.  12  Toluene     21490 non-null  float64
    23.  13  Xylene      11422 non-null  float64  # 非空的行数是11422行，也就是有一多半都是空值
    24.  14  AQI         24850 non-null  float64
    25.  15  AQI_Bucket  24850 non-null  object 
    26. dtypes: float64(13), object(3)
    27. memory usage: 3.6+ MB

3.2 isnull函数和notnull函数判断是否存在缺失值

  • pd.isnull与pd.isna用法相同

    1. # 判断是否为缺失值
    2. # 如果值是缺失值返回True，否则返回False
    3. print(df.head().isnull())
    4. print(df['PM2.5'].head().isna())
    notnull函数和notna函数相同，判断是否存在非缺失值；与isnull函数对应，返回结果正好相反# 判
    1. 断是否为非缺失值
    2. # 缺失值返回False
    3. print(df.head().notnull())
    4. print(df['PM2.5'].head().notna())
    5. ​
    6. # 输出结果如下
    7.    City  Date  PM2.5   PM10    NO  ...  Benzene  Toluene  Xylene    AQI  AQI_Bucket
    8. 0  True  True  False  False  True  ...     True     True    True  False       False
    9. 1  True  True  False  False  True  ...     True     True    True  False       False
    10. 2  True  True  False  False  True  ...     True     True    True  False       False
    11. 3  True  True  False  False  True  ...     True     True    True  False       False
    12. 4  True  True  False  False  True  ...     True     True    True  False       False
    13. ​
    14. [5 rows x 16 columns]
    15. 0    False
    16. 1    False
    17. 2    False
    18. 3    False
    19. 4    False
    20. Name: PM2.5, dtype: bool

3.3 df.isnull().sum()空值数量统计

  1. # 缺失值数量统计
  2. print(df.isnull().sum())
  3. print(df['PM2.5'].isnull().sum())
  4. # 非缺失值数量统计
  5. print(df.notnull().sum())
  6. print(df['PM2.5'].notnull().sum())
  7. ​
  8. # 输出结果如下
  9. City              0
  10. Date              0
  11. PM2.5          4598
  12. PM10          11140
  13. NO             3582
  14. NO2            3585
  15. NOx            4185
  16. NH3           10328
  17. CO             2059
  18. SO2            3854
  19. O3             4022
  20. Benzene        5623
  21. Toluene        8041
  22. Xylene        18109
  23. AQI            4681
  24. AQI_Bucket     4681
  25. dtype: int64
  26. 4598
  27. City          29531
  28. Date          29531
  29. PM2.5         24933
  30. PM10          18391
  31. NO            25949
  32. NO2           25946
  33. NOx           25346
  34. NH3           19203
  35. CO            27472
  36. SO2           25677
  37. O3            25509
  38. Benzene       23908
  39. Toluene       21490
  40. Xylene        11422
  41. AQI           24850
  42. AQI_Bucket    24850
  43. dtype: int64
  44. 24933

3.4 Missingno库对缺失值的情况进行可视化探查

可以使用第三方库Missingno来对缺失值进行可视化

3.4.1 安装missingno库

  • 通过pip安装missingno

    pip install missingno -i https://pypi.tuna.tsinghua.edu.cn/simple/
3.4.2 missingno.bar(df)缺失值数量可视化

  • 导包并利用missingno.bar(df)函数查看数据集数据完整性

    1. import pandas as pd
    2. import missingno as msno
    3. import matplotlib.pyplot as plt
    4. ​
    5. # 加载数据集
    6. df = pd.read_csv('../data/city_day.csv')
    7. # 查看非缺失值数量
    8. print(df.notna().sum())
    9. # 可视化查看缺失值数量情况
    10. msno.bar(df)  # 查看图表
    11.  # 在有些平台，不加该语句，以上的图表不能显示，如果上边的msno.bar(df)可以显示图表，也可以不加该语句
    12. plt.show()  
3.4.3 missingno.matrix(df)缺失值位置的可视化

  • missingno.matrix(df)` 可以快速直观的查看缺失值的分布情况

    1. print(msno.matrix(df))
    2. # 对数据集进行随机取样后再查看数据缺失情况
    3. print(msno.matrix(df.sample(100)))
    4. plt.show()

  • 有缺失值的地方，图都显示为空白。 例如，在City列中没有白线，说明该列无缺失值。

  • 右侧的迷你图给出了数据完整性的情况，表示每行数据非空值的多少，其中的数字1表示该行数据只有1列为非空，数字15表示该行数据有15列为非空数据，显示的1和15为整个数据集所有数据行中非空值的最小值和最大值

2.4.4 missingno.heatmap(df)缺失值之间相关性可视化
  1. print(msno.heatmap(df))
  2. plt.show()

  • 相关性取值 0 不相关，1强相关，-1强负相关

4 缺失值处理

缺失值的处理方法有以下几种方式：

  • 删除缺失值：删除缺失值会损失信息，并不推荐删除，当缺失数据占比较高的时候，或可以忽略相关性时，可以尝试使用删除缺失值

  • 填充缺失值：填充缺失值是指用一个估算的值来去替代缺失数

    • 平均值、中位数

    • 前后值填充，数据呈现顺序变化的时候可以使用缺失值前边或后边的值进行填充

  • 线性插值：假定数据点之间存在严格的线性关系，并利用相邻数据点中的非缺失值来计算缺失数据点的值

4.1 dropna删除缺失值

  • 使用dropna函数来删除空值，具体用法如下

    1. # 函数用法
    2. df.dropna(    
    3.     axis=0,     
    4.     how='any',     
    5.     inplace=True,     
    6.     subset=['列名',...],    
    7.     thresh=10
    8. )
    9. ​
    10. df.drop() # 按列删除

  • dropna函数参数解释

    • axis=0

      • 可选参数 ，默认为0按行删

      • 0, or 'index'：删除包含缺失值的行

      • 1, or 'columns'：删除包含缺失值的列

    • how='any'

      • 可选参数，默认为any

      • any: 如果存在NA值，则删除该行或列

      • all: 如果所有值都是NA，则删除该行或列

    • inplace=False

      • 可选参数，不建议使用这个参数

      • 默认False, 不对原数据集进行修改

      • inplce=True，对原数据集进行修改

    • subset接收一个列表

      • 接收一个列表，列表中的元素为列名: 对特定的列

        1. df = pd.read_csv('../data/city_day.csv')
        2. # 随机获取10条数据
        3. df2 = df.sample(n=10, random_state=5)
        4. print(df2)
        5. # 删除含有缺失值的行数据
        6. print(df2.dropna())
        7. # 删除含有缺失值的列
        8. print(df2.dropna(axis=1))
        9. # 删除指定列中含有缺失值的行数据
        10. print(df2.dropna(how='any', subset=['PM2.5', 'Xylene', 'AQI']))
        11. # 删除指定列中都含有缺失值的行数据
        12. print(df2.dropna(how='all', subset=['PM2.5', 'Xylene', 'AQI']))
        13. # 删除含有缺失值的行数据, 剩余非空值个数大于等于12的行数据保留
        14. print(df2.dropna(thresh=12))

        进行缺失值删除处理

    • thresh=n

      • 可选参数

      • 参数值为int类型，按行去除NaN值，去除NaN值后该行剩余数值的数量（列数）大于等于n，便保留这一行

    1. df = pd.read_csv('../data/city_day.csv')
    2. # 随机获取10条数据
    3. df2 = df.sample(n=10, random_state=5)
    4. print(df2)
    5. # 删除含有缺失值的行数据
    6. print(df2.dropna())
    7. # 删除含有缺失值的列
    8. print(df2.dropna(axis=1))
    9. # 删除指定列中含有缺失值的行数据
    10. print(df2.dropna(how='any', subset=['PM2.5', 'Xylene', 'AQI']))
    11. # 删除指定列中都含有缺失值的行数据
    12. print(df2.dropna(how='all', subset=['PM2.5', 'Xylene', 'AQI']))
    13. # 删除含有缺失值的行数据, 剩余非空值个数大于等于12的行数据保留
    14. print(df2.dropna(thresh=12))

4.2 fillna固定值填充缺失值

  • 用平均值填充PM2.5的缺失值

    1. df = pd.read_csv('../data/city_day.csv')
    2. df2 = df.copy()
    3. # 计算PM2.5平均值
    4. pm25_mean = df2['PM2.5'].mean()
    5. print(pm25_mean)
    6. # fillna函数填充缺失值，将返回值赋值给原来的列
    7. df2['PM2.5'] = df2['PM2.5'].fillna(value=pm25_mean)
    8. print(df2['PM2.5'].isnull().sum())
    9. ​
    10. # 数据结果如下
    11. 67.45057794890272
    12. 0

4.3 fillna前后值填充缺失值

时序数据在某一列值的变化往往有一定线性规律，绝大多数的时序数据，具体的列值随着时间的变化而变化，所以对于有时序的行数据缺失值处理可以使用上一个非空值或下一个非空值填充

印度城市空气质量数据明显就是一个时序数据集，空气中的各种成分会随着时间变化而变化，不会出现特别大的急剧变化

  • 使用上一个非空值（参数method='ffill'）填充Xylene（二甲苯）的空值

    1. df = pd.read_csv('../data/city_day.csv')
    2. s1 = df['Xylene'][54:64]
    3. print(s1)
    4. # 用上一个非空值填充并赋值指定列
    5. print(s1.fillna(method='ffill'))
    6. ​
    7. # 输出结果如下
    8. 54    6.05
    9. 55    0.81
    10. 56     NaN
    11. 57     NaN
    12. 58     NaN
    13. 59    1.32
    14. 60    0.22
    15. 61    2.25
    16. 62    1.55
    17. 63    4.13
    18. Name: Xylene, dtype: float64
    19. 54    6.05
    20. 55    0.81
    21. 56    0.81
    22. 57    0.81
    23. 58    0.81
    24. 59    1.32
    25. 60    0.22
    26. 61    2.25
    27. 62    1.55
    28. 63    4.13
    29. Name: Xylene, dtype: float64

  • 使用下一个非空值（参数method='bfill'）填充整个数据集的空值

    1. # 用上一个非空值填充并赋值指定列
    2. print(s1.fillna(method='bfill'))
    3. ​
    4. # 输出结果如下
    5. 54    6.05
    6. 55    0.81
    7. 56    1.32
    8. 57    1.32
    9. 58    1.32
    10. 59    1.32
    11. 60    0.22
    12. 61    2.25
    13. 62    1.55
    14. 63    4.13
    15. Name: Xylene, dtype: float64

4.4 interpolate线性插值

绝大多数的时序数据，具体的列值随着时间的变化而变化。 因此，除了使用bfill和ffill进行插补以外还可以使用线性插值法：它假定数据点之间存在严格的线性关系，并利用相邻数据点中的非缺失值来计算缺失数据点的值。

  • 使用df.interpolate(limit_direction="both") 对缺失数据进行线性填充

    p
    1. rint(s1.interpolate())
    2. ​
    3. # 输出结果如下
    4. 54    6.0500
    5. 55    0.8100
    6. 56    0.9375
    7. 57    1.0650
    8. 58    1.1925
    9. 59    1.3200
    10. 60    0.2200
    11. 61    2.2500
    12. 62    1.5500
    13. 63    4.1300
    14. Name: Xylene, dtype: float64

总结

  • 缺失值会影响分析计算的结果，这个结果又要用来指导生产经营，所以要重视缺失值

  • 空值仅指Pandas中的空值类型，比如NaN

  • 缺失值包含空值，也有可能是空字符串、数字0、False或None等

  • 不是空值的缺失值可以通过replace函数先替换为NaN空值，之后再按空值进行处理

理解上面的内容，并请对下面的API 有印象、能找到、能理解、能看懂

  • 查看空值

    • df.info() 可以查看数据集每一列非空值的数量

    • isnull & notnull函数 判断是否存在空值

    • df.isnull().sum() 统计空值数量

    • missingno库可以对空值进行可视化探查

      • missingno.matrix(df) 查看缺失值的位置

      • missingno.heatmap(df) 查看缺失值之间的相关性

  • 缺失值的处理

    • df.dropna() 删除缺失值

    • df.fillna(具体值) 将缺失值填充为具体指

    • df.fillna(method='ffill') 使用上一个非空值进行填充

    • df.fillna(method='bfill') 使用下一个非空值进行填充

    • df.interpolate() 线性插值：假定数据点之间存在严格的线性关系，并利用相邻数据点中的非缺失值来计算缺失数据点的值

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/人工智能uu/article/detail/931826
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号