python使用pandas从minio读取excel文件方式
更新时间:2024年11月21日 09:45:00 作者:胡八一、
从MinIO读取Excel文件并使用Pandas处理的步骤:首先使用MinIOPythonSDK下载文件,然后使用Pandas读取,总结:安装依赖需使用Pandas和MinIOPythonSDK
安装依赖
要使用Pandas从MinIO读取Excel文件,你需要先使用MinIO Python SDK从MinIO存储桶中下载文件,然后使用Pandas读取该文件。
安装必要的库:
pip install pandas minio -i https://pypi.tuna.tsinghua.edu.cn/simple
python 3 的方式
import pandas as pd from minio import Minio from io import BytesIO # MinIO 连接配置 # MinIO 连接配置 minio_client = Minio( "localhost:9000", # MinIO服务器地址 access_key="admin", # 访问密钥 secret_key="admin", # 秘钥 secure=False # 如果是https连接,设为True ) bucket_name = "test-read" # 存储桶名称 file_path = "测试/test.xlsx" # 文件在 MinIO 中的路径 def read_csv_from_minio(minio_client,bucket_name, file_path): """ 从 MinIO 中读取 CSV 文件并加载到 pandas DataFrame :param bucket_name: 存储桶名称 :param file_path: MinIO 中的文件路径 :return: pandas DataFrame """ try: # 从 MinIO 下载文件内容 response = minio_client.get_object(bucket_name, file_path) # 使用 BytesIO 包装文件内容,以便 pandas 读取 # binary_data = response.read() # 将数据读取为字节 df = pd.read_excel(BytesIO(response.data), sheet_name=1) return df except Exception as e: print(f"读取文件失败,错误信息: {e}") return None # 调用函数并查看数据框 df = read_csv_from_minio(bucket_name, file_path) if df is not None: print(df.head())
python 2 的方式
import pandas as pd from minio import Minio from StringIO import StringIO # MinIO 连接配置 # MinIO 连接配置 minio_client = Minio( "localhost:9000", # MinIO服务器地址 access_key="admin", # 访问密钥 secret_key="admin", # 秘钥 secure=False # 如果是https连接,设为True ) bucket_name = "test-read" # 存储桶名称 file_path = "测试/test.xlsx" # 文件在 MinIO 中的路径 def read_csv_from_minio(minio_client,bucket_name, file_path): """ 从 MinIO 中读取 CSV 文件并加载到 pandas DataFrame :param bucket_name: 存储桶名称 :param file_path: MinIO 中的文件路径 :return: pandas DataFrame """ try: # 从 MinIO 下载文件内容 response = minio_client.get_object(bucket_name, file_path) # 使用 BytesIO 包装文件内容,以便 pandas 读取 # binary_data = response.read() # 将数据读取为字节 df = pd.read_excel(StringIO(response.data), sheet_name=1) return df except Exception as e: print(f"读取文件失败,错误信息: {e}") return None # 调用函数并查看数据框 df = read_csv_from_minio(bucket_name, file_path) if df is not None: print(df.head())
总结
以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。
相关文章
python使用socket高效传输视频数据帧(连续发送图片)
本文主要介绍了python使用socket高效传输视频数据帧(连续发送图片),文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下2021-10-10python查找特定名称文件并按序号、文件名分行打印输出的方法
这篇文章主要介绍了python查找特定名称文件并按序号、文件名分行打印输出的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2020-04-04使用Python的Flask框架构建大型Web应用程序的结构示例
虽说Flask是一个以轻量级著称的框架,但也为大型Web应用提供了诸如单元测试与数据库迁移等许多便利的功能,这里我们来看一下使用Python的Flask框架构建大型Web应用程序的结构示例:2016-06-06
最新评论