Pandas对DataFrame单列/多列进行运算(map, apply, transform, agg)

 更新时间:2020年06月14日 11:49:54   作者:BlankSeed  
这篇文章主要介绍了Pandas对DataFrame单列/多列进行运算(map, apply, transform, agg),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

1.单列运算

在Pandas中,DataFrame的一列就是一个Series, 可以通过map来对一列进行操作:

df['col2'] = df['col1'].map(lambda x: x**2)

其中lambda函数中的x代表当前元素。可以使用另外的函数来代替lambda函数,例如:

define square(x): 
  return (x ** 2) 
 
df['col2'] = df['col1'].map(square) 

2.多列运算

 apply()会将待处理的对象拆分成多个片段,然后对各片段调用传入的函数,最后尝试将各片段组合到一起。

要对DataFrame的多个列同时进行运算,可以使用apply,例如col3 = col1 + 2 * col2:

df['col3'] = df.apply(lambda x: x['col1'] + 2 * x['col2'], axis=1) 

其中x带表当前行,可以通过下标进行索引。

示例2

In [44]: f = lambda x : x.max()-x.min()

In [45]: df.apply(f)
Out[45]:
data1  5.042275
data2  1.967290
dtype: float64

In [46]: df.apply(f,axis=1)
Out[46]:
0  2.810074
1  1.009774
2  0.537183
3  0.813714
4  1.750022
dtype: float64

applymap()

用DataFrame的applymap方法,可以将函数应用到元素级的数据上。

In [47]: f = lambda x : x+1

In [48]: df.applymap(f)
Out[48]:
   data1   data2
0 -1.332263 1.477812
1 0.284755 1.294528
2 0.066644 0.603827
3 1.757402 2.571117
4 3.710012 1.959990

Series也有一个元素级函数应用的方法map

In [49]: df['data1']
Out[49]:
0  -2.332263
1  -0.715245
2  -0.933356
3  0.757402
4  2.710012
Name: data1, dtype: float64

In [50]: df['data1'].map(f)
Out[50]:
0  -1.332263
1  0.284755
2  0.066644
3  1.757402
4  3.710012
Name: data1, dtype: float64

3.分组运算

可以结合groupby与transform来方便地实现类似SQL中的聚合运算的操作:

df['col3'] = df.groupby('col1')['col2'].transform(lambda x: (x.sum() - x) / x.count()) 

在transform函数中x.sum()与x.count()与SQL类似,计算的是当前group中的和与数量,还可以将transform的结果作为一个一个映射来使用, 例如:

sumcount = df.groupby('col1')['col2'].transform(lambda x: x.sum() + x.count()) 
df['col1'].map(sumcount) 

对col1进行一个map,得到对应的col2的运算值。

4.聚合函数

结合groupby与agg实现SQL中的分组聚合运算操作,需要使用相应的聚合函数:

df['col2'] = df.groupby('col1').agg({'col1':{'col1_mean': mean, 'col1_sum‘': sum}, 'col2': {'col2_count': count}}) 

上述代码生成了col1_mean, col1_sum与col2_count列。

示例2

In [52]: df.agg(['mean','sum'])
Out[52]:
     data1   data2
mean -0.102690 0.581455
sum -0.513449 2.907274

函数 说明
count 分组中非Nan值的数量
sum 非Nan值的和
mean 非Nan值的平均值
median 非Nan值的算术中间数
std,var 标准差、方差
min,max 非Nan值的最小值和最大值
prob 非Nan值的积
first,last 第一个和最后一个非Nan值

到此这篇关于Pandas对DataFrame单列/多列进行运算(map, apply, transform, agg)的文章就介绍到这了,更多相关Pandas map apply transform agg内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • python爬虫之爬取笔趣阁小说升级版

    python爬虫之爬取笔趣阁小说升级版

    笔趣有很多起点中文网的小说,该网站小说的更新速度稍滞后于起点中文网正版小说的更新速度。并且该网站只支持在线浏览,不支持小说打包下载。所以可以通过python爬取文本信息保存,从而达到下载的目的
    2021-09-09
  • Python多层装饰器用法实例分析

    Python多层装饰器用法实例分析

    这篇文章主要介绍了Python多层装饰器用法,结合实例形式简单分析了Python多层装饰器的相关使用方法与注意事项,需要的朋友可以参考下
    2018-02-02
  • Gradio机器学习模型快速部署工具quickstart

    Gradio机器学习模型快速部署工具quickstart

    这篇文章主要为大家介绍了Gradio机器学习模型快速部署工具quickstart,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-04-04
  • 分享Python开发中要注意的十个小贴士

    分享Python开发中要注意的十个小贴士

    不管是python开发还是其他什么语言的开发,如果在开发中我们能掌握一些有用的贴士和技巧,那么肯定会大大提高我们的开发效率,今天小编和大家分享的就是python开发中,一些初学这门语言常常会犯的错误,一起来看看吧。
    2016-08-08
  • Pandas对数值进行分箱操作的4种方法总结

    Pandas对数值进行分箱操作的4种方法总结

    分箱是一种常见的数据预处理技术有时也被称为分桶或离散化,他可用于将连续数据的间隔分组到“箱”或“桶”中。本文将使用python Pandas库对数值进行分箱的4种方法,感兴趣的可以了解一下
    2022-05-05
  • Tensorflow加载预训练模型和保存模型的实例

    Tensorflow加载预训练模型和保存模型的实例

    今天小编就为大家分享一篇Tensorflow加载预训练模型和保存模型的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-07-07
  • Python PyInstaller库基本使用方法分析

    Python PyInstaller库基本使用方法分析

    这篇文章主要介绍了Python PyInstaller库基本使用方法,结合实例形式分析了Python PyInstaller库的功能、安装及相关使用注意事项,需要的朋友可以参考下
    2019-12-12
  • Python3中urlencode和urldecode的用法详解

    Python3中urlencode和urldecode的用法详解

    今天小编就为大家分享一篇Python3中urlencode和urldecode的用法详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-07-07
  • Jupyter notebook运行后打不开网页的问题解决

    Jupyter notebook运行后打不开网页的问题解决

    本文主要介绍了Jupyter notebook运行后打不开网页的问题解决,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2022-03-03
  • springboot配置文件抽离 git管理统 配置中心详解

    springboot配置文件抽离 git管理统 配置中心详解

    在本篇文章里小编给大家整理的是关于springboot配置文件抽离 git管理统 配置中心的相关知识点内容,有需要的朋友们可以学习下。
    2019-09-09

最新评论