Python数据分析之数据预处理_python zscore

---

前言

本文主要是个人的学习笔记总结，数据预处理的基本思路和方法，包括一些方法的使用示例和参数解释，具体的数据预处理案例case详见其他文章。如有错误之处还请指正！

数据在进行建模和分析前，对其进行数据处理是必不可少的， 这样做能帮助我们从根本上保证数据质量，提高数据的准确性和可靠性。主要包括数据清洗、数据转换、数据集成、数据降维等过程。

数据的质量评定

从五个维度来对数据质量进行评定

数据处理步骤

数据处理的常见四个步骤：

下面将详细介绍常用的数据处理方法：

缺失值的处理

标记缺失值

# 生成包含缺数据的示例
import numpy as np
import pandas as pd

null_data = {'A': [10, np.nan, 25, np.nan, 42, np.nan],
             'B': [12, 15, np.nan, 14, 17, np.nan],
             'C': [10, 13, 27, 13, 19, 40]}

df = pd.DataFrame(null_data)

1
2
3
4
5
6
7
8
9
10

• 空值也有不同类型

  数值型空值 ：NaN (not a number)

  空字符串 ：None

• 定位缺失数据：

  • 使用 isnUll() 返回 True 代表缺失值
  • notnull()则与之相反

删除缺失值

• 直接删除
  • 缺失数据占全部数据比例非常低，可忽略不计且删除后不会对整体数据分布产生影响
  • 缺失数据因为本身特性无法填充，比如对于某些检测指标，填充数值会对结果产生影响的宁愿删除也不要进行处理

# 删除缺失值
import pandas as pd

# 创建一个示例数据框
data = {'A': [1, 2, None, 4],
        'B': [5, None, 7, 8],
        'C': [None, 10, None, 12]}
df = pd.DataFrame(data)

# 删除包含缺失值的行
cleaned_df1 = df.dropna()  # 默认删除包含缺失值的行
cleaned_df2 = df.dropna(axis=1)  # 删除包含缺失值的列
cleaned_df3 = df.dropna(how='all')  # 当所有值为缺失值时删除行
cleaned_df4 = df.dropna(thresh=2)  # 至少要有 2 个非缺失值才保留行
cleaned_df5 = df.dropna(subset=['B', 'C'])  # 只有在 'B' 和 'C' 列中同时存在空值的情况下，对应的行才会被删除

print(cleaned_df1)
print(cleaned_df2)
print(cleaned_df3)
print(cleaned_df4)
print(cleaned_df5)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

填充缺失值

• 固定值填充：人为指定，使用行/列均值、中位数等

  # Pandas 提供的 replace t填充固定值
  print(df.replace(np.nan,0)) # 缺失值填充为0
  # 专门用于填充缺失值的函数 fillna()
  print(df.fillna(0)) 
  # 使用各列的平均值填充
  print(df.fillna(df.mean()))
  # 使用格列中位数填充
  print(df.fillna(df.median()))
  
  1
  2
  3
  4
  5
  6
  7
  8
  9

• 临近值填充：使用缺失值相临近的数值填充

  # 使用后一个临近的数据向前填充
  print(df.fillna(method='bfill'))
  # 使用前一个临近的数据向后填充
  print(df.fillna(method='ffill'))
  
  1
  2
  3
  4
  5

• 数字填充：使用函数插值填充

  数据缺失但能看出数据的变化趋势，更好的缺失值填充方法时是使用数据方法进行插值Pandas中的interpolate()可以快速应用一些常用的插值函数

  sample_data = {'A': [1, np.nan, 3, np.nan, 5, 6],
                 'B': [1, 4, np.nan, np.nan, 25, 36]}
  
  df = pd.DataFrame(sample_data)
  # 线性插值
  print(df.interpolate(method='linear'))
  # 2次函数插值
  print(df.interpolate(method='polynomial', order=2))
  
  1
  2
  3
  4
  5
  6
  7
  8
  9

重复值处理

# 示例数据
df = pd.DataFrame({'name': ['amy', 'david'] * 3 +
                   ['jam'], 'class': [2, 2, 2, 4, 3, 2, 4]})

1
2
3
4

• duplicated() 判断是否存在重复值

  print(df.duplicated()) # 判断重复值 存在则返回True
  print(df.duplicated().sum()) # 统计判断重复值
  
  1
  2
  3

• dropduplicates() 去除重复值

df.drop_duplicatep() #去除全部重复值
df.drop_duplicates(['name']) #去除name列的重复值
df.drop_duplicates(keep='last') # 默认保留重复项前面的值，而去除后面的值，‘last’则为保留最后一个

1
2
3
4

异常值的处理

当涉及 Pandas 应用数学与统计学领域中的异常值检测时，有一些比较深入的方法，包括概率方法，矩阵分解，以及神经网络等。下面是一些具体示例展示：

1. 概率方法 - 一元正态分布检测异常值：

   import pandas as pd
   import numpy as np
   
   # 创建一个示例数据集
   data = pd.DataFrame({'value': [1, 2, 3, 4, 5, 1000]})
   
   # 计算均值和标准差
   mean = data['value'].mean()
   std = data['value'].std()
   
   # 设置异常值阈值，例如均值加减3倍标准差
   threshold = 3 * std
   
   # 使用一元正态分布方法检测异常值
   data['is_outlier'] = np.abs(data['value'] - mean) > threshold
   print(data)
   
   1
   2
   3
   4
   5
   6
   7
   8
   9
   10
   11
   12
   13
   14
   15
   16
   17

2. 概率方法 - 多元高斯方法检测异常值：

   from scipy import stats
   
   # 创建一个示例数据集
   data = pd.DataFrame({
       'feature1': [1, 2, 3, 4, 5],
       'feature2': [2, 4, 6, 8, 10]
   })
   
   # 计算多元高斯分布概率密度
   multivariate_dist = stats.multivariate_normal(mean=data.mean(), cov=data.cov())
   
   # 设置异常值阈值
   threshold = 0.01  # 例如设置一个较小的阈值
   
   # 使用多元高斯方法检测异常值
   data['is_outlier'] = multivariate_dist.pdf(data) < threshold
   print(data)
   
   1
   2
   3
   4
   5
   6
   7
   8
   9
   10
   11
   12
   13
   14
   15
   16
   17
   18

3. 矩阵分解方法检测异常值：

   from sklearn.decomposition import PCA
   
   # 创建一个示例数据集
   data = pd.DataFrame({
       'feature1': [1, 2, 3, 4, 5],
       'feature2': [2, 4, 6, 8, 100]
   })
   
   # 使用主成分分析（PCA）进行矩阵分解
   pca = PCA(n_components=2)
   pca.fit(data)
   
   # 计算重构误差
   reconstruction_error = np.sum((data - pca.i
   1
   2
   3
   4
   5
   6
   7
   8
   9
   10
   11
   12
   13