python使用pandas从minio读取excel文件方式

 更新时间:2024年11月21日 09:45:00   作者:胡八一、  
从MinIO读取Excel文件并使用Pandas处理的步骤:首先使用MinIOPythonSDK下载文件,然后使用Pandas读取,总结:安装依赖需使用Pandas和MinIOPythonSDK

安装依赖

要使用Pandas从MinIO读取Excel文件,你需要先使用MinIO Python SDK从MinIO存储桶中下载文件,然后使用Pandas读取该文件。

安装必要的库:

pip install pandas minio -i https://pypi.tuna.tsinghua.edu.cn/simple

python 3 的方式

import pandas as pd
from minio import Minio
from io import BytesIO

# MinIO 连接配置
# MinIO 连接配置
minio_client = Minio(
    "localhost:9000",       # MinIO服务器地址
    access_key="admin",  # 访问密钥
    secret_key="admin",  # 秘钥
    secure=False                   # 如果是https连接,设为True
)

bucket_name = "test-read"   # 存储桶名称
file_path = "测试/test.xlsx"  # 文件在 MinIO 中的路径

def read_csv_from_minio(minio_client,bucket_name, file_path):
    """
    从 MinIO 中读取 CSV 文件并加载到 pandas DataFrame
    :param bucket_name: 存储桶名称
    :param file_path: MinIO 中的文件路径
    :return: pandas DataFrame
    """
    try:
        # 从 MinIO 下载文件内容
        response = minio_client.get_object(bucket_name, file_path)
        # 使用 BytesIO 包装文件内容,以便 pandas 读取
        # binary_data = response.read()  # 将数据读取为字节
        df = pd.read_excel(BytesIO(response.data), sheet_name=1)
        return df
    except Exception as e:
        print(f"读取文件失败,错误信息: {e}")
        return None

# 调用函数并查看数据框
df = read_csv_from_minio(bucket_name, file_path)
if df is not None:
    print(df.head())

python 2 的方式

import pandas as pd
from minio import Minio
from StringIO import StringIO 

# MinIO 连接配置
# MinIO 连接配置
minio_client = Minio(
    "localhost:9000",       # MinIO服务器地址
    access_key="admin",  # 访问密钥
    secret_key="admin",  # 秘钥
    secure=False                   # 如果是https连接,设为True
)

bucket_name = "test-read"   # 存储桶名称
file_path = "测试/test.xlsx"  # 文件在 MinIO 中的路径

def read_csv_from_minio(minio_client,bucket_name, file_path):
    """
    从 MinIO 中读取 CSV 文件并加载到 pandas DataFrame
    :param bucket_name: 存储桶名称
    :param file_path: MinIO 中的文件路径
    :return: pandas DataFrame
    """
    try:
        # 从 MinIO 下载文件内容
        response = minio_client.get_object(bucket_name, file_path)
        # 使用 BytesIO 包装文件内容,以便 pandas 读取
        # binary_data = response.read()  # 将数据读取为字节
        df = pd.read_excel(StringIO(response.data), sheet_name=1)
        return df
    except Exception as e:
        print(f"读取文件失败,错误信息: {e}")
        return None

# 调用函数并查看数据框
df = read_csv_from_minio(bucket_name, file_path)
if df is not None:
    print(df.head())

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • 详解python字节码

    详解python字节码

    本篇文章给大家总结了关于python字节码的相关知识点以及知识点分析,对此有需要的朋友参考学习下。
    2018-02-02
  • python网络爬虫实现个性化音乐播放器示例解析

    python网络爬虫实现个性化音乐播放器示例解析

    这篇文章主要为大家介绍了使用python网络爬虫实现个性化音乐播放器的详细示例代码以及内容解析,有需要的朋友 可以借鉴参考下希望能够有所帮助
    2022-03-03
  • python使用socket高效传输视频数据帧(连续发送图片)

    python使用socket高效传输视频数据帧(连续发送图片)

    本文主要介绍了python使用socket高效传输视频数据帧(连续发送图片),文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2021-10-10
  • Python实现最常见加密方式详解

    Python实现最常见加密方式详解

    这篇文章主要介绍了Python实现最常见加密方式详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-07-07
  • python查找特定名称文件并按序号、文件名分行打印输出的方法

    python查找特定名称文件并按序号、文件名分行打印输出的方法

    这篇文章主要介绍了python查找特定名称文件并按序号、文件名分行打印输出的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-04-04
  • 使用Python的Flask框架构建大型Web应用程序的结构示例

    使用Python的Flask框架构建大型Web应用程序的结构示例

    虽说Flask是一个以轻量级著称的框架,但也为大型Web应用提供了诸如单元测试与数据库迁移等许多便利的功能,这里我们来看一下使用Python的Flask框架构建大型Web应用程序的结构示例:
    2016-06-06
  • Conda环境导出与导入的实现

    Conda环境导出与导入的实现

    本文主要介绍了Conda环境导出与导入的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-03-03
  • Python 统计字数的思路详解

    Python 统计字数的思路详解

    这篇文章主要介绍了Python 统计字数的思路详解,文中还给大家提供了不借助第三方模块的解决方法,感兴趣的朋友一起看看吧
    2018-05-05
  • python实现百度文库自动化爬取

    python实现百度文库自动化爬取

    项目是合法项目,只是进行数据解析而已,不能下载看不到的内容.部分文档在电脑端不能预览,但是在手机端可以预览,所有本项目把浏览器浏览格式改成手机端,支持Windows和Ubuntu. 本项目使用的是chromedriver来控制chrome来模拟人来操作来进行文档爬取
    2021-04-04
  • Python实现打印彩色字符串的方法详解

    Python实现打印彩色字符串的方法详解

    print 也许是我们在使用 Python 的时候用的最多的一种操作,但是经常发现很多人可以打印彩色文本,这种操作是怎么得到的呢?本文就来为大家详细讲讲
    2022-08-08

最新评论