Python 教学 | 数据处理必备工具之 Pandas（基础篇）_pandas库基础篇

作者：天景科技苑 | 2024-07-19 19:07:17

踩

pandas库基础篇

Part 1 引言

Part 1 引言

Python 自带的标准库能够解决一部分数据处理的任务，但面对大规模且复杂的数据集，我们往往就需要借助 Python 第三方库来实现。举个例子，如果我们需要通过 Python 程序进行一些数学运算，标准库中的 math 库就可以胜任，但是当我们面对的是一个包含多种数据类型的大规模数据集时，就需要用更多的数据结构和数据操作方法来处理该数据集，此时 Python 中的第三方库 Pandas 的实用价值就凸显出来了，作为 Python 数据处理和数据分析中最重要的库（没有之一），它的功能非常强大，不仅可以用于数据处理，还可以对数据进行统计分析和可视化。在数据处理方面，Pandas 提供了许多实用的功能，比如可以使用 Pandas 从 csv、Excel、数据库等多种数据源中读取数据，除此以外，Pandas 的数据处理非常完备，下面列举了常用的几个功能：

合并多个文件的数据，或者将数据拆分为多个独立文件
建立高效的索引，灵活地查询、筛选数据
对数据进行去重、填充、删除、替换、转换等操作

...

当然，Pandas 的功能远不止这些。可以说，掌握了 Pandas 能够让我们在数据处理和数据分析中如虎添翼，Pandas 有这么多的功能，要从何学起呢？我们基于这个出发点推出了 Pandas 教学系列文章，旨在从浅入深地介绍 Pandas 在数据处理中的应用，让你体验大数据处理的魔力。本期文章主要介绍了 Pandas 的数据结构和数据类型，作为入门 Pandas 的第一期，这也是十分重要的。

本教程基于 pandas 1.5.3 版本书写

本文中所有 Python 代码均在集成开发环境 Visual Studio Code (VScode) 中使用交互式开发环境 Jupyter Notebook 中编写

Part 2 Pandas 的由来

正式学习 Pandas 之前，笔者想先介绍一下 Pandas 库的由来。一说到 Pandas 这个词，我们第一个想到的应该就是国宝“熊猫”，但是实际上 Pandas 和熊猫无关，它来自于计量经济学中的术语“面板数据”（Panel data）。

Pandas 是由 Wes McKinney 在 2008 年开发的，McKinney 当时是一家纽约金融服务机构的金融分析师，他在自己的工作中遇到了一些数据操作问题，当时 Python 中已经有了 Numpy 这样在处理大规模数据方面有着不错表现的库，但是对于表格等结构化数据而言，Numpy 并不能完全胜任。于是 McKinney 开始着手研究一套解决方案，目的是为了在 Python 中提供一种更便捷的方式来处理结构化数据，最终 Pandas 就被开发出来了。

刚才我们提到了 Python 中的 Numpy 库，这个库的主要用途是以数组的形式进行数据操作和数学运算。实际上 Pandas 是以 Numpy 为基础设计的，Pandas 中 DataFrame 和 Series（下文介绍）这两种数据结构是利用了 Numpy 数组作为底层结构的，这也使得 Pandas 数据处理更加高效，同时基于这种数据结构，Pandas 也为 Numpy 的不足之处进行了一些改进，Pandas 比 Numpy 支持更多的数据类型，在数据处理中更加灵活。虽然 Pandas 是依赖于 Numpy 的，但是这不意味着必须要先掌握 Numpy 的功能，我们直接使用 Pandas 即可，在学习过程中有需要再补充相关内容。

Part 3 Pandas 的数据结构

在介绍 Pandas 的数据结构之前，首先需要了解什么是数据结构。数据结构指的是组织数据、储存数据的方式，数据结构的选择直接影响了数据的处理效率和数据操作的灵活性。

我们日常接触最多的结构是数组（类似于序列），数组是由相同类型元素的集合组成，对每一个元素分配一个存储空间，并且每个空间会有一个索引（下文介绍）来标识元素的存储位置，我们可以通过索引来访问元素。实际数据往往是由多个数组组成，它们共用同一个行索引，组成了一个二维数组，这类似于 Excel 表格中用字母表示一列，用数字表示行号，这样就可以确定元素的具体位置。

声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：【wpsshop博客】