使用python操作lmdb对数据读取的实例
由于c++速度快，所以一般写入数据我调用c++借口，而读取数据使用c++也行，但有时候Python在某方面方便，所以通过使用python借口仅仅对lmdb文件读取，处理数据是图片
import lmdb
import numpy as np
import cv2
lmdb_file = "/home/rui/demo"
lmdb_env = lmdb.open(lmdb_file)
lmdb_txn = lmdb_env.begin()
lmdb_cursor = lmdb_txn.cursor()
for key, value in lmdb_cursor:
img = cv2.imdecode(np.fromstring(value, np.uint8), 3);
cv2.imshow("demo", img)
cv2.waitKey(0)
补充知识：Python解析lmdb格式mnist数据集
背景
HDF5和LMDB都是Cafffe中常用的数据库。相对来说，HDF5的读写格式简单；LMDB采用内存-映射文件（memory-mapped files），所以拥有非常好的I/O性能，而且对于大型数据库来说，HDF5的文件常常整个写入内存。
所以HDF5的文件大小就受限于内存大小，当然也可以通过文件分割来解决问题，但其I/O性能就不如LMDB的页缓存（page cachiing）策略了。
MNIST手写数字字符识别实验在deep learning 中经常用到，这里使用Python来获取lmdb格式MNIST数据集中的图片并显示出来
Python读取LMDB
首先确认你安装了lmdb和Caffe的python包（Caffe中的pycaffe）。
pip install lmdb
LMDB采用键值对的存储格式，key就是字符形式的ID，value是Caffe中Datum类的序列化形式。
# -*- coding:utf-8 -*-
import caffe
from caffe.proto import caffe_pb2
import lmdb
import cv2 as cv
env = lmdb.open("mnist_train_lmdb", readonly=True) # 打开数据文件
txn = env.begin() # 生成处理句柄
cur = txn.cursor() # 生成迭代器指针
datum = caffe_pb2.Datum() # caffe 定义的数据类型
for key, value in cur:
print(type(key), key)
datum.ParseFromString(value) # 反序列化成datum对象
label = datum.label
data = caffe.io.datum_to_array(datum)
print data.shape
print datum.channels
image = data[0]
# image = data.transpose(1, 2, 0)
print(type(label))
cv.imshow(str(label), image)
cv.waitKey(0)
cv.destroyAllWindows()
env.close()
运行结果：
读取LMDB数据库中的Datum数据，这里再稍微介绍一下Datum的格式：channels：图片的通道，彩色图有3个通道，灰度图只有1通道，当然也可以用通道数来表示其他意思，比如表示两张图片，每个通道一个单张的图；height：图片（即data）的高；width：图片（即data）的宽；data：图片的数据（像素值）；label：图片的label。(datum.channels, datum.height, datum.width)
以上这篇使用python操作lmdb对数据读取的实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
python中的导入关键字：import 以及from import。这篇文章主要介绍了详解python中的模块及包导入,需要的朋友可以参考下2019-08-08
这篇文章主要给大家介绍了关于Python增强赋值和共享引用注意事项的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用Python具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧2019-05-05
这篇文章主要介绍了Python 模块EasyGui详细介绍的相关资料,需要的朋友可以参考下2017-02-02
在本篇内容里小编给大家整理了一篇关于Python List remove()方法及实例，有需要的朋友们跟着学习下。2021-08-08
Python中的类与数据库之间的映射，对数据的操作就不用编写SQL语言了，因为都封装好了，比如你想插入一条数据，你就直接创建一个对象即可，下面通过本文学习下python利用元类和描述器实现ORM模型的详细步骤，感兴趣的朋友一起看看吧2021-11-11
这篇文章主要为大家介绍了人工智能学习PyTorch实现WGAN的示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步2021-11-11
爬虫在爬取数据时,常常会遇到"HTTP Error 403: Forbidden"的提示,其实它只是一个HTTP状态码,表示你在请求一个资源文件但是nginx不允许你查看,下面这篇文章主要给大家介绍了关于Python爬虫403错误的终极解决方案,需要的朋友可以参考下2023-05-05
Python3的高阶函数map,reduce,filter的示例详解
这篇文章主要介绍了Python3的高阶函数map,reduce,filter的示例代码，本文给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下2019-07-07
这篇文章主要介绍了Django基于Models定制Admin后台实现过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-11-11
这篇文章主要介绍了python json jsonl 的用法详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2024-08-08
最新评论