python reduce 函数使用详解

 更新时间:2017年12月05日 08:42:44   作者:Panda Fang  
reduce()函数也是Python内置的一个高阶函数。reduce()函数接收的参数和 map()类似,一个函数 f,一个list,但行为和 map()不同,今天我们就来详细探讨下

reduce() 函数在 python 2 是内置函数, 从python 3 开始移到了 functools 模块。

官方文档是这样介绍的

reduce(...)
reduce(function, sequence[, initial]) -> value

Apply a function of two arguments cumulatively to the items of a sequence,
from left to right, so as to reduce the sequence to a single value.
For example, reduce(lambda x, y: x+y, [1, 2, 3, 4, 5]) calculates
((((1+2)+3)+4)+5). If initial is present, it is placed before the items
of the sequence in the calculation, and serves as a default when the
sequence is empty.

从左到右对一个序列的项累计地应用有两个参数的函数,以此合并序列到一个单一值。

例如,reduce(lambda x, y: x+y, [1, 2, 3, 4, 5])  计算的就是((((1+2)+3)+4)+5)。

如果提供了 initial 参数,计算时它将被放在序列的所有项前面,如果序列是空的,它也就是计算的默认结果值了

嗯, 这个文档其实不好理解。看了还是不懂。 序列 其实就是python中 tuple  list  dictionary string  以及其他可迭代物,别的编程语言可能有数组。

reduce 有 三个参数

function 有两个参数的函数, 必需参数
sequence tuple ,list ,dictionary, string等可迭代物,必需参数
initial 初始值, 可选参数

reduce的工作过程是 :在迭代sequence(tuple ,list ,dictionary, string等可迭代物)的过程中,首先把 前两个元素传给 函数参数,函数加工后,然后把得到的结果和第三个元素作为两个参数传给函数参数, 函数加工后得到的结果又和第四个元素作为两个参数传给函数参数,依次类推。 如果传入了 initial 值, 那么首先传的就不是 sequence 的第一个和第二个元素,而是 initial值和 第一个元素。经过这样的累计计算之后合并序列到一个单一返回值

 reduce 代码举例,使用REPL演示

>>> def add(x, y):
...   return x+y
...
>>> from functools import reduce
>>> reduce(add, [1,2,3,4])
10
>>>

上面这段 reduce 代码,其实就相当于 1 + 2 + 3 + 4 = 10, 如果把加号改成乘号, 就成了阶乘了
当然 仅仅是求和的话还有更简单的方法,如下

>>> sum([1,2,3,4])
10
>>>

很多教程只讲了一个加法求和,太简单了,对新手加深理解还不够。下面讲点更深入的例子

还可以把一个整数列表拼成整数,如下

>>> from functools import reduce
>>> reduce(lambda x, y: x * 10 + y, [1 , 2, 3, 4, 5])
12345
>>>

对一个复杂的sequence使用reduce ,看下面代码,更多的代码不再使用REPL, 使用编辑器编写

 from functools import reduce
 scientists =({'name':'Alan Turing', 'age':105},
       {'name':'Dennis Ritchie', 'age':76},
       {'name':'John von Neumann', 'age':114},
       {'name':'Guido van Rossum', 'age':61})
 def reducer(accumulator , value):
   sum = accumulator['age'] + value['age']
   return sum
 total_age = reduce(reducer, scientists)
 print(total_age)

这段代码会出错,看下图的执行过程

所以代码需要修改

 from functools import reduce
 scientists =({'name':'Alan Turing', 'age':105, 'gender':'male'},
       {'name':'Dennis Ritchie', 'age':76, 'gender':'male'},
       {'name':'Ada Lovelace', 'age':202, 'gender':'female'},
       {'name':'Frances E. Allen', 'age':84, 'gender':'female'})
 def reducer(accumulator , value):
   sum = accumulator + value['age']
   return sum
 total_age = reduce(reducer, scientists, 0)
 print(total_age)

7, 9 行 红色部分就是修改 部分。 通过 help(reduce) 查看 文档,
reduce 有三个参数, 第三个参数是初始值的意思,是可有可无的参数。

修改之后就不出错了,流程如下

这个仍然也可以用 sum 来更简单的完成

sum([x['age'] for x in scientists ])

做点更高级的事情,按性别分组

from functools import reduce
scientists =({'name':'Alan Turing', 'age':105, 'gender':'male'},
       {'name':'Dennis Ritchie', 'age':76, 'gender':'male'},
       {'name':'Ada Lovelace', 'age':202, 'gender':'female'},
       {'name':'Frances E. Allen', 'age':84, 'gender':'female'})
def group_by_gender(accumulator , value):
  accumulator[value['gender']].append(value['name'])
  return accumulator
grouped = reduce(group_by_gender, scientists, {'male':[], 'female':[]})
print(grouped)

输出

{'male': ['Alan Turing', 'Dennis Ritchie'], 'female': ['Ada Lovelace', 'Frances E. Allen']}

可以看到,在 reduce 的初始值参数传入了一个dictionary,, 但是这样写 key 可能出错,还能再进一步自动化,运行时动态插入key

修改代码如下

grouped = reduce(group_by_gender, scientists, collections.defaultdict(list))

当然 先要 import  collections 模块

这当然也能用 pythonic way 去解决

import itertools
scientists =({'name':'Alan Turing', 'age':105, 'gender':'male'},
       {'name':'Dennis Ritchie', 'age':76, 'gender':'male'},
       {'name':'Ada Lovelace', 'age':202, 'gender':'female'},
       {'name':'Frances E. Allen', 'age':84, 'gender':'female'})
grouped = {item[0]:list(item[1])
      for item in itertools.groupby(scientists, lambda x: x['gender'])}
print(grouped)

再来一个更晦涩难懂的玩法。工作中要与其他人协作的话,不建议这么用,与上面的例子做同样的事,看不懂无所谓。

from functools import reduce
scientists =({'name':'Alan Turing', 'age':105, 'gender':'male'},
       {'name':'Dennis Ritchie', 'age':76, 'gender':'male'},
       {'name':'Ada Lovelace', 'age':202, 'gender':'female'},
       {'name':'Frances E. Allen', 'age':84, 'gender':'female'})
grouped = reduce(lambda acc, val: {**acc, **{val['gender']: acc[val['gender']]+ [val['name']]}}, scientists, {'male':[], 'female':[]})
print(grouped)

**acc, **{val['gneder']...   这里使用了 dictionary merge syntax ,  从 python 3.5 开始引入, 详情请看 PEP 448 - Additional Unpacking Generalizations  怎么使用可以参考这个 python - How to merge two dictionaries in a single expression? - Stack Overflow

python 社区推荐写可读性好的代码,有更好的选择时不建议用reduce,所以 python 2 中内置的reduce 函数 移到了 functools模块中

相关文章

  • 对sklearn的使用之数据集的拆分与训练详解(python3.6)

    对sklearn的使用之数据集的拆分与训练详解(python3.6)

    今天小编就为大家分享一篇对sklearn的使用之数据集的拆分与训练详解(python3.6),具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-12-12
  • Python数据操作方法封装类实例

    Python数据操作方法封装类实例

    这篇文章主要介绍了Python数据操作方法封装类,结合具体实例形式分析了Python针对数据库的连接、执行sql语句、删除、关闭等操作技巧,需要的朋友可以参考下
    2017-06-06
  • Python实现的异步代理爬虫及代理池

    Python实现的异步代理爬虫及代理池

    本文主要介绍了Python实现异步代理爬虫及代理池的相关知识,具有很好的参考价值,下面跟着小编一起来看下吧
    2017-03-03
  • python图形绘制奥运五环实例讲解

    python图形绘制奥运五环实例讲解

    在本文里我们给大家整理了一篇关于python图形绘制奥运五环的实例内容,大家可以跟着学习下。
    2019-09-09
  • Python 中使用 Selenium 单击网页按钮功能

    Python 中使用 Selenium 单击网页按钮功能

    Selenium是一个用于测试网站的自动化测试工具,支持各种浏览器包括Chrome、Firefox、Safari等主流界面浏览器,同时也支持phantomJS无界面浏览器,本篇文章将介绍如何在 Python 中使用 selenium 单击网页上的按钮,感兴趣的朋友一起看看吧
    2023-11-11
  • numpy降维方法

    numpy降维方法

    本文主要介绍了numpy降维方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-02-02
  • 解读MaxPooling1D和GlobalMaxPooling1D的区别

    解读MaxPooling1D和GlobalMaxPooling1D的区别

    这篇文章主要介绍了MaxPooling1D和GlobalMaxPooling1D的区别及说明,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-12-12
  • python实现合并多个list及合并多个django QuerySet的方法示例

    python实现合并多个list及合并多个django QuerySet的方法示例

    这篇文章主要介绍了python实现合并多个list及合并多个django QuerySet的方法,结合实例形式分析了Python使用chain合并多个list以及合并Django中多个QuerySet的相关操作技巧,需要的朋友可以参考下
    2019-06-06
  • Pandas Query方法使用深度总结

    Pandas Query方法使用深度总结

    大多数Pandas用户都熟悉iloc[]和loc[]索引器方法,用于检索行和列。但是随着检索数据的规则变得越来越复杂,这些方法也随之变得更加复杂而臃肿。本文将展示如何使用 query() 方法对数据框执行查询,感兴趣的可以了解一下
    2022-07-07
  • opencv+tesseract实现验证码识别的示例

    opencv+tesseract实现验证码识别的示例

    本文主要介绍了opencv+tesseract实现验证码识别的示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-06-06

最新评论