python list与numpy数组效率对比

 更新时间:2023年02月01日 08:30:26   作者:强殖装甲凯普  
这篇文章主要介绍了python list与numpy数组效率对比分析,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教

前言

因为经常一训练就是很多次迭代,所以找到效率比较高的操作能大大缩短运行时间,但这方面资料不足,所以自己记录总结一下,有需要再补充

索引效率与内存占用比较

有时候我需要一个数组,然后可能会频繁从中索引数据,那么我选择list还是numpy array呢,这里做了一个简单的实验进行比较,环境python 3.6

import random
import numpy as np
import time
import sys
# import matplotlib
# matplotlib.use('agg')
import matplotlib.pyplot as plt
from collections import deque

start = time.time()
length = []

list_size = []
array_size = []
deque_size = []

list_time = []
array_time = []
deque_time = []

for l in range(5, 15000, 5):
    print(l)
    length.append(l)
    a = [1] * l
    b = np.array(a)
    c = deque(maxlen=l)
    for i in range(l):
        c.append(1)

    # print('list的size为:{}'.format(sys.getsizeof(a)))
    # print('array的size为:{}'.format(sys.getsizeof(b)))
    # print('deque的size为:{}'.format(sys.getsizeof(c)))
    list_size.append(sys.getsizeof(a))
    array_size.append(sys.getsizeof(b))
    deque_size.append(sys.getsizeof(c))

    for i in range(3):
        if i == 0:
            tmp = a
            name = 'list'
        elif i == 1:
            tmp = b
            name = 'array'
        else:
            tmp = c
            name = 'deque'

        s = time.time()
        for j in range(1000000):
            x = tmp[random.randint(0, len(a)-1)]
        duration = time.time() - s

        if name == 'list':
            list_time.append(duration)
        elif name == 'array':
            array_time.append(duration)
        else:
            deque_time.append(duration)

duration = time.time() - start
time_list = [0, 0, 0]
time_list[0] = duration // 3600
time_list[1] = (duration % 3600) // 60
time_list[2] = round(duration % 60, 2)
print('用时:' + str(time_list[0]) + ' 时 ' + str(time_list[1]) + '分' + str(time_list[2]) + '秒')

fig = plt.figure()

ax1 = fig.add_subplot(211)
ax1.plot(length, list_size, label='list')
ax1.plot(length, array_size, label='array')
ax1.plot(length, deque_size, label='deque')
plt.xlabel('length')
plt.ylabel('size')
plt.legend()

ax2 = fig.add_subplot(212)
ax2.plot(length, list_time, label='list')
ax2.plot(length, array_time, label='array')
ax2.plot(length, deque_time, label='deque')
plt.xlabel('length')
plt.ylabel('time')
plt.legend()

plt.show()

对不同大小的list,numpy array和deque进行一百万次的索引,结果为

可以看出,numpy array对内存的优化很好,长度越大,其相比list和deque占用内存越少。

list比deque稍微好一点。因此如果对内存占用敏感,选择优先级:numpy array>>list>deque

时间上,在15000以下这个长度,list基本都最快。其中

  • 长度<1000左右时,deque跟list差不多,选择优先级:list≈ \approx≈deque>numpy array;
  • 长度<9000左右,选择优先级:list>deque>numpy array;
  • 长度>9000左右,选择优先级:list>numpy array>deque;

不过时间上的差距都不大,几乎可以忽略,差距主要体现在内存占用上。因此如果对内存不敏感,list是最好选择。

整个实验使用i7-9700,耗时2.0 时 36.0分20.27秒,如果有人愿意尝试更大的量级,更小的间隔,欢迎告知我结果。

添加效率比较

numpy的数组没有动态改变大小的功能,因此这里numpy数据只是对其进行赋值。

import numpy as np
import time
from collections import deque

l = 10000000
a = []
b = np.zeros(l)
c = deque(maxlen=l)
for i in range(3):
    if i == 0:
        tmp = a
        name = 'list'
    elif i == 1:
        tmp = b
        name = 'array'
    else:
        tmp = c
        name = 'deque'

    start = time.time()
    if name == 'array':
        for j in range(l):
            tmp[j] = 1
    else:
        for j in range(l):
            tmp.append(1)
    duration = time.time() - start
    time_list = [0, 0, 0]
    time_list[0] = duration // 3600
    time_list[1] = (duration % 3600) // 60
    time_list[2] = round(duration % 60, 2)
    print(name + '用时:' + str(time_list[0]) + ' 时 ' + str(time_list[1]) + '分' + str(time_list[2]) + '秒')

结果为:

list用时:0.0 时 0.0分1.0秒
array用时:0.0 时 0.0分1.14秒
deque用时:0.0 时 0.0分0.99秒

可以看出,只有在非常大的量级上才会出现区别,numpy array的赋值是最慢的,list和deque差不多

但平时这些差距几乎可以忽略。

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Pycharm 如何连接远程服务器并debug调试

    Pycharm 如何连接远程服务器并debug调试

    本文主要介绍了Pycharm 如何连接远程服务器并debug调试,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-06-06
  • Python实现给文件添加内容及得到文件信息的方法

    Python实现给文件添加内容及得到文件信息的方法

    这篇文章主要介绍了Python实现给文件添加内容及得到文件信息的方法,可实现从文件开头添加内容的功能,需要的朋友可以参考下
    2015-05-05
  • python3如何去除字符串中的特殊字符

    python3如何去除字符串中的特殊字符

    这篇文章主要介绍了python3如何去除字符串中的特殊字符,在平时处理字符串的时候,经常会遇到字符串中夹杂着我们不希望看到的特殊字符,那么如何处理这些特殊字符呢,今天就跟着小编来看看吧
    2023-04-04
  • Python3中的bytes类型和str类型

    Python3中的bytes类型和str类型

    这篇文章主要介绍了Python3中的bytes类型和str类型,bytes是一种比特流,他们之间的关系则是Python有个内置函数bytes()可以将字符串str类型转换成bytes类型,下文更多详细内容需要的小伙伴可以参考一下
    2022-05-05
  • Python实现从订阅源下载图片的方法

    Python实现从订阅源下载图片的方法

    这篇文章主要介绍了Python实现从订阅源下载图片的方法,涉及Python采集的技巧,具有一定参考借鉴价值,需要的朋友可以参考下
    2015-03-03
  • Python  中的pass语句语法详析

    Python  中的pass语句语法详析

    这篇文章主要介绍了Python 中的pass语句语法详析,pass是一种空操作(null operation),解释器执行到它的时候,除了检查语法是否合法,什么也不做就直接跳过
    2022-07-07
  • 解析ROC曲线绘制(python+sklearn+多分类)

    解析ROC曲线绘制(python+sklearn+多分类)

    这篇文章主要介绍了解析ROC曲线绘制(python+sklearn+多分类),具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-11-11
  • 18个帮你简化代码的Python技巧分享

    18个帮你简化代码的Python技巧分享

    选择学习 python 时,最令我震惊的是它的简单性和可读性。但是你知道还可以用更少的代码行可以让 Python 代码变得更简单吗?本文为大家总结了18个帮你简化代码的Python技巧,感兴趣的可以了解一下
    2022-07-07
  • python或C++读取指定文件夹下的所有图片

    python或C++读取指定文件夹下的所有图片

    这篇文章主要为大家详细介绍了python或C++读取指定文件夹下的所有图片,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-08-08
  • TensorFlow获取加载模型中的全部张量名称代码

    TensorFlow获取加载模型中的全部张量名称代码

    今天小编就为大家分享一篇TensorFlow获取加载模型中的全部张量名称代码,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-02-02

最新评论