机器学习-数据理解分析_机器学习数据分析

数据集描述了我们要解决的问题，使用数据集训练模型，首先要对数据集的数据有个清楚的认识，对数据集进行理解分析，本文主要讲述使用pandas进行数据分析

1.Pandas介绍

• Pandas是⽤于数据分析的开源Python库，可以实现数据加载，清洗，转换，统计处理，可视化等功能
• DataFrame和Series是Pandas最基本的两种数据结构
• DataFrame⽤来处理结构化数据（SQL数据表，Excel表格）
• Series⽤来处理单列数据，也可以把DataFrame看作由Series对象组成的字典或集合

2.载入数据

使用pandas的read_csv载入csv数据集

from pandas import read_csv
#使用 Pandas 导入 csv 数据
filename ='./dataset/iris.csv'
#花萼长度、花萼宽度、花瓣长度、花瓣宽度
names = ['sepal_length','sepal_width','petal_length','petal_width','class']
data = read_csv(filename, names=names)

本文使用的数据集文件中没有列表，列之间分隔符为，使用read_csv函数返回DataFrame对象，即data是一个DataFrame对象

3.数据清理

• 统计每列特征空值个数

data.isnull().sum()

输出结果：

sepal_length    0
sepal_width     0
petal_length    0
petal_width     0
class           0
dtype: int64

• 缺失值处理
  • 删除缺失值：删除缺失值会损失信息，并不推荐删除，当缺失数据占⽐较低的时候，可以尝试使⽤删除缺失值
    • 按⾏删除：删除包含缺失值的记录，
    • 按列删除：当⼀列包含了很多缺失值的时候（⽐如超过80%