python Polars库的使用简介
大家好，我是小F～
很多人在学习数据分析的时候，肯定都会用到Pandas这个库，非常的实用！
从创建数据到读取各种格式的文件(text、csv、json)，或者对数据进行切片和分割组合多个数据源，Pandas都能够很好的满足。
Pandas最初发布于2008年，使用Python、Cython和C编写的。是一个超级强大、快速和易于使用的Python库，用于数据分析和处理。
当然Pandas也是有不足之处的，比如不具备多处理器，处理较大的数据集速度很慢。
今天，小F就给大家介绍一个新兴的Python库——Polars。
使用语法和Pandas差不多，处理数据的速度却比Pandas快了不少。
一个是大熊猫，一个是北极熊～
GitHub地址：https://github.com/ritchie46/polars
使用文档：https://ritchie46.github.io/polars-book/
Polars是通过Rust编写的一个库，Polars的内存模型是基于Apache Arrow。
Polars存在两种API，一种是Eager API，另一种则是Lazy API。
其中Eager API和Pandas的使用类似，语法差不太多，立即执行就能产生结果。
而Lazy API就像Spark，首先将查询转换为逻辑计划，然后对计划进行重组优化，以减少执行时间和内存使用。
安装Polars，使用百度pip源。
# 安装polars pip install polars -i https://mirror.baidu.com/pypi/simple/
安装成功后，开始测试，比较Pandas和Polars处理数据的情况。
使用某网站注册用户的用户名数据进行分析，包含约2600万个用户名的CSV文件。
文件已上传公众号，获取方式见文末。
import pandas as pd
df = pd.read_csv('users.csv')
print(df)
数据情况如下。
此外还使用了一个自己创建的CSV文件，用以数据整合测试。
import pandas as pd
df = pd.read_csv('fake_user.csv')
print(df)
得到结果如下。
首先比较一下两个库的排序算法耗时。
import timeit
import pandas as pd
start = timeit.default_timer()
df = pd.read_csv('users.csv')
df.sort_values('n', ascending=False)
stop = timeit.default_timer()
print('Time: ', stop - start)
-------------------------
Time: 27.555776743218303
可以看到使用Pandas对数据进行排序，花费了大约28s。
import timeit
import polars as pl
start = timeit.default_timer()
df = pl.read_csv('users.csv')
df.sort(by_column='n', reverse=True)
stop = timeit.default_timer()
print('Time: ', stop - start)
-----------------------
Time: 9.924110282212496
Polars只花费了约10s，这意味着Polars比Pandas快了2.7倍。
下面，我们来试试数据整合的效果，纵向连接。
import timeit
import pandas as pd
start = timeit.default_timer()
df_users = pd.read_csv('users.csv')
df_fake = pd.read_csv('fake_user.csv')
df_users.append(df_fake, ignore_index=True)
stop = timeit.default_timer()
print('Time: ', stop - start)
------------------------
Time: 15.556222308427095
使用Pandas耗时15s。
import timeit
import polars as pl
start = timeit.default_timer()
df_users = pl.read_csv('users.csv')
df_fake = pl.read_csv('fake_user.csv')
df_users.vstack(df_fake)
stop = timeit.default_timer()
print('Time: ', stop - start)
-----------------------
Time: 3.475433263927698
Polars居然最使用了约3.5s，这里Polars比Pandas快了4.5倍。
通过上面的比较，Polars在处理速度上表现得相当不错。
可以是大家在未来处理数据时，另一种选择～
当然，Pandas目前历时12年，已经形成了很成熟的生态，支持很多其它的数据分析库。
Polars则是一个较新的库，不足的地方还有很多。
如果你的数据集对于Pandas来说太大，对于Spark来说太小，那么Polars便是你可以考虑的一个选择。
文件地址：
链接:https://pan.baidu.com/s/14fFNOPomQe38RLbAUq5W7w 密码:nfqv
以上就是python Polars库的使用简介的详细内容，更多关于python Polars库的使用的资料请关注脚本之家其它相关文章！
相关文章
这篇文章主要介绍了如何使用Python和PyQt5来制作一个Memcached客户端，以便我们可以轻松地与Memcached服务器进行交互，感兴趣的小伙伴可以了解一下2023-06-06
GeoIP2是一种IP地址定位库,它允许开发人员根据IP地址查找有关位置和地理位置的信息,这篇文章主要为大家介绍了python如何使用GeoIP2实现地图定位,感兴趣的可以了解下2023-10-10
Python中还有一个很重要的数据类型就是字典，其实集合的底层使用的也是字典，这篇文章主要介绍了python 字典的概念叙述和使用方法,需要的朋友可以参考下2023-02-02
python是一门很强大的语言,因为有着丰富的第三方库,所以可以说Python是无所不能的,下面这篇文章主要给大家介绍了关于用Python提取PPT中图片的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2023-01-01
Python并行库joblib之delayed函数与Parallel函数详解
这篇文章主要介绍了Python并行库joblib之delayed函数与Parallel函数详解,Joblib就是一个可以简单地将Python代码转换为并行计算模式的软件包,它可非常简单并行我们的程序,从而提高计算速度,需要的朋友可以参考下2023-08-08
本篇文章主要介绍了Python实现JSON反序列化类对象的示例，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-01-01
手把手教你打造个性化全栈应用Python Reflex框架全面攻略
Reflex框架是为了解决传统全栈开发中的一些挑战而诞生的,它充分利用了现代前端框架（如React）的优势,与后端技术（如Node.js）深度集成,使得开发者能够更加流畅地构建整个应用,Reflex的设计理念包括简化、响应性和一致性,旨在提高全栈开发的效率和可维护性2023-12-12
我们知道,python脚本或者说python程序其实是一个包含了python代码的文件,通过运行python代码,我们可以验证脚本/程序是否按照我们的期望执行,在python中,有多种方式来运行脚本或程序,取决于小伙伴们的需求,接下来小编将介绍几种常见的 python 代码运行方式2023-10-10
这篇文章主要介绍了Python Django 后台管理之后台模型属性,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-04-04
Python中的startswith和endswith函数使用实例
这篇文章主要介绍了Python中的startswith和endswith函数使用实例,特别是endswith函数,有了它,判断文件的扩展名、文件的类型在容易不过了,需要的朋友可以参考下2014-08-08
最新评论