Pandas 是基于 NumPy 构建的库,在数据处理方面可以把它理解为 NumPy 加强版,同时 Pandas 也是一项开源项目。它基于 Cython,因此读取与处理数据非常快,并且还能轻松处理浮点数据中的缺失数据(表示为 NaN)以及非浮点数据。在本文中,基本数据集操作主要介绍了 CSV 与 Excel 的读写方法,基本数据处理主要介绍了缺失值及特征抽取,最后的 DataFrame 操作则主要介绍了函数和排序等方法。
读取 CSV 格式的数据集
或者
读取 Excel 数据集
将 DataFrame 直接写入 CSV 文件
如下采用逗号作为分隔符,且不带索引:
基本的数据集特征信息
基本的数据集统计信息
将 DataFrame 输出到一张表
当「print_table」是一个列表,其中列表元素还是新的列表,「headers」为表头字符串组成的列表。
列出所有列的名字
删除缺失数据
返回一个 DataFrame,其中删除了包含任何 NaN 值的给定轴,选择 how=「all」会删除所有元素都是 NaN 的给定轴。
替换缺失数据
使用 value 值代替 DataFrame 中的 to_replace 值,其中 value 和 to_replace 都需要我们赋予不同的值。
检查空值 NaN
检查缺失值,即数值数组中的 NaN 和目标数组中的 None/NaN。
删除特征
axis 选择 0 表示行,选择表示列。
将目标类型转换为浮点型
将目标类型转化为数值从而进一步执行计算,在这个案例中为字符串。
将 DataFrame 转换为 NumPy 数组
取 DataFrame 的前面「n」行
通过特征名取数据
对 DataFrame 使用函数
该函数将令 DataFrame 中「height」行的所有值乘上 2:
或者:
return x * 2
df["height"].apply(multiply)
重命名行
下面代码会重命名 DataFrame 的第三行为「size」:
取某一行的唯一实体
下面代码将取「name」行的唯一实体:
访问子 DataFrame
以下代码将从 DataFrame 中抽取选定了的行「name」和「size」:
总结数据信息
df.sum()
# Lowest value of a data frame
df.min()
# Highest value
df.max()
# Index of the lowest value
df.idxmin()
# Index of the highest value
df.idxmax()
# Statistical summary of the data frame, with quartiles, median, etc.
df.describe()
# Average values
df.mean()
# Median values
df.median()
# Correlation between columns
df.corr()
# To get these values for only one column, just select it like this#
df["size"].median()
给数据排序
布尔型索引
以下代码将过滤名为「size」的行,并仅显示值等于 5 的行:
选定特定的值
以下代码将选定「size」列、第一行的值: