介绍一款进阶版的 Pandas 数据分析神器:Polars

相信对于不少的数据分析从业者来说呢,用的比较多的是​​Pandas​​以及​​SQL​​这两种工具,​​Pandas​​不但能够对数据集进行清理与分析,并且还能够绘制各种各样的炫酷的图表,但是遇到数据集很大的时候要是还使用​​Pandas​​来处理显然有点力不从心。

今天就来介绍另外一个数据处理与分析工具,叫做​​Polars​​,它在数据处理的速度上更快,当然里面还包括两种API,一种是​​Eager API​​,另一种则是​​Lazy API​​,其中​​Eager API​​和​​Pandas​​的使用类似,语法类似差不太多,立即执行就能产生结果。

介绍一款进阶版的 Pandas 数据分析神器:Polars插图亿华云

而​​Lazy API​​和​​Spark​​很相似,会有并行以及对查询逻辑优化的操作。

模块的安装与导入

我们先来进行模块的安装,使用​​pip​​命令

pip install polars

在安装成功之后,我们分别用​​Pandas​​和​​Polars​​来读取数据,看一下各自性能上的差异,我们导入会要用到的模块

import pandas as pd

import polars as pl

import matplotlib.pyplot as plt

%matplotlib inline

用​​Pandas​​读取文件

本次使用的数据集是某网站注册用户的用户名数据,总共有360MB大小,我们先用​​Pandas​​模块来读取该​​csv​​文件

%%time

df = pd.read_csv("users.csv")

df.head()

output

介绍一款进阶版的 Pandas 数据分析神器:Polars插图1亿华云

可以看到用​​Pandas​​读取​​CSV​​文件总共花费了12秒的时间,数据集总共有两列,一列是用户名称,以及用户名称重复的次数“n”,我们来对数据集进行排序,调用的是​​sort_values()​​方法,代码如下

%%time

df.sort_values("n", ascending=False).head()

output

介绍一款进阶版的 Pandas 数据分析神器:Polars插图2亿华云

用​​Polars​​来读取操作文件

下面我们用​​Polars​​模块来读取并操作文件,看看所需要的多久的时间,代码如下

%%time

data = pl.read_csv("users.csv")

data.head()

output

介绍一款进阶版的 Pandas 数据分析神器:Polars插图3亿华云

可以看到用​​polars​​模块来读取数据仅仅只花费了730毫秒的时间,可以说是快了不少的,我们根据“n”这一列来对数据集进行排序,代码如下

%%time

data.sort(by="n", reverse=True).head()

output

介绍一款进阶版的 Pandas 数据分析神器:Polars插图4亿华云

对数据集进行排序所消耗的时间为1.39秒,接下来我们用polars模块来对数据集进行一个初步的探索性分析,数据集总共有哪些列、列名都有哪些,我们还是以熟知“泰坦尼克号”数据集为例

df_titanic = pd.read_csv("titanic.csv")

df_titanic.columns

output

[PassengerId,

Survived,

Pclass,

Name,

Sex,

Age,

......]

和​​Pandas​​一样输出列名调用的是​​columns​​方法,然后我们来看一下数据集总共是有几行几列的,

df_titanic.shape

output

(891, 12)

看一下数据集中每一列的数据类型

df_titanic.dtypes

output

[polars.datatypes.Int64,

polars.datatypes.Int64,

polars.datatypes.Int64,

polars.datatypes.Utf8,

polars.datatypes.Utf8,

polars.datatypes.Float64,

......]

填充空值与数据的统计分析

我们来看一下数据集当中空值的分布情况,调用​​null_count()​​方法

df_titanic.null_count()

output

介绍一款进阶版的 Pandas 数据分析神器:Polars插图5亿华云

我们可以看到“Age”以及“Cabin”两列存在着空值,我们可以尝试用平均值来进行填充,代码如下

df_titanic["Age"] = df_titanic["Age"].fill_nan(df_titanic["Age"].mean())

计算某一列的平均值只需要调用​​mean()​​方法即可,那么中位数、最大/最小值的计算也是同样的道理,代码如下

print(fMedian Age: {df_titanic["Age"].median()})

print(fAverage Age: {df_titanic["Age"].mean()})

print(fMaximum Age: {df_titanic["Age"].max()})

print(fMinimum Age: {df_titanic["Age"].min()})

output

Median Age: 29.69911764705882

Average Age: 29.699117647058817

Maximum Age: 80.0

Minimum Age: 0.42

数据的筛选与可视化

我们筛选出年龄大于40岁的乘客有哪些,代码如下

df_titanic[df_titanic["Age"]

THE END
Copyright © 2024 亿华云