如何将DataFrame数据写入csv文件及读取

 更新时间:2024年09月18日 10:59:14   作者:geerduo  
在Python中进行数据处理时,经常会用到CSV文件的读写操作,当需要将list数据保存到CSV文件时,可以使用内置的csv模块,若data是一个list,saveData函数能够将list中每个元素存储在CSV文件的一行,但需要注意的是,默认情况下读取出的CSV数据类型为str

一、saveData函数

import csv
 
def saveData(filePath, data):
 
    with open(filePath, 'w+', newline='') as f:
        writer = csv.writer(f)
        for row in data:
            writer.writerow(row)

如果data是一个list,saveData函数会将list中的每个元素保存在csv文件中的一行。

但是存在一个问题:

csv文件中保存的数据如果直接读取出来是str类型,需要进行转换

二、将DataFrame写入csv文件

情况1

将list写入csv文件

init_configs = []
for i, cluster in enumerate(clusters):
    init_configs.append([f"cluster {i}:"])
    for _, row in cluster.iterrows():
        config = row.tolist()
        init_configs.append(config)
 
saveData('filePath', init_configs)

config = row.tolist()会将df中每一行数据都转变为list,然后append到init_configs中,通过调用saveData函数可以将每一行数据表示的list都写到csv文件中的一行。

这种情况生成的csv文件中每一行的各个元素之间都是用逗号隔开。

情况2

将嵌套list写入csv文件

init_configs = []
for i, cluster in enumerate(clusters):
    init_configs.append([f"cluster {i}:"])
    for _, row in cluster.iterrows():
        config = row.tolist()
        init_configs.append([config])
 
saveData('filePath', init_configs)

这种情况下init_configs中每个元素是一个二维list,由于CSV 文件是一种纯文本格式,它无法直接存储列表或其他复杂的数据结构。

当尝试将 [[1, 2, 3, 4, 5]] 这个二维嵌套list写入CSV文件时,它会被自动转换为字符串形式。

如下:

三、读取csv文件

情况1

如果按照上面的方法1写csv文件,可以按照如下方式将内容读出来:

import pandas as pd
 
with open(filePath, 'r') as f:
    lines = f.readlines()
 
filtered_lines = [line for line in lines if not line.startswith('cluster')]
 
configs = []
for line in filtered_lines:
    config = [int(x) for x in line.strip().split(',')]
    configs.append(config)
 
df = pd.DataFrame(configs)

可以用列表表达式的方式将csv文件中每一行的数据转为一个list。

情况2

如果将整个list当作字符串写到了csv文件中,可以按照如下方式将内容正确地读出来:

import pandas as pd
import ast
 
with open(filePath, 'r') as f:
    lines = f.readlines()
 
filtered_lines = [line for line in lines if not line.startswith('cluster')]
 
configs = []
for line in filtered_lines:
    config = ast.literal_eval(eval(line))
    configs.append(config)
 
df = pd.DataFrame(configs)

通过config = ast.literal_eval(eval(line))可以将变为字符串的list还原成原本的数据形式。

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Python 马氏距离求取函数详解

    Python 马氏距离求取函数详解

    这篇文章主要为大家介绍了Python 马氏距离求取函数,具有一定的参考价值,感兴趣的小伙伴们可以参考一下,希望能够给你带来帮助
    2021-11-11
  • Python 解码Base64 得到码流格式文本实例

    Python 解码Base64 得到码流格式文本实例

    今天小编就为大家分享一篇Python 解码Base64 得到码流格式文本实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-01-01
  • Django-Model数据库操作(增删改查、连表结构)详解

    Django-Model数据库操作(增删改查、连表结构)详解

    这篇文章主要介绍了Django-Model数据库操作(增删改查、连表结构)详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-07-07
  • appium中常见的几种点击方式

    appium中常见的几种点击方式

    本文主要介绍了appium中常见的几种点击方式,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2022-02-02
  • python 中的pycrypto 算法加密

    python 中的pycrypto 算法加密

    这篇文章主要介绍了python 中的pycrypto 算法加密,文章基于python的相关资料展开对pycrypto 算法加密的详细介绍,需要的小伙伴可以参考一下
    2022-04-04
  • django-celery-beat搭建定时任务的实现

    django-celery-beat搭建定时任务的实现

    本文主要介绍了django-celery-beat搭建定时任务的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-03-03
  • python3模块smtplib实现发送邮件功能

    python3模块smtplib实现发送邮件功能

    这篇文章主要为大家详细介绍了python3模块smtplib实现发送邮件功能,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-05-05
  • Python的subprocess模块总结

    Python的subprocess模块总结

    这篇文章主要介绍了Python的subprocess模块总结,本文详细讲解了subprocess模块参数及Popen方法,然后给出了多个使用实例,需要的朋友可以参考下
    2014-11-11
  • python+excel接口自动化获取token并作为请求参数进行传参操作

    python+excel接口自动化获取token并作为请求参数进行传参操作

    这篇文章主要介绍了python+excel接口自动化获取token并作为请求参数进行传参操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-11-11
  • Python实现打印金字塔图案的方法详解

    Python实现打印金字塔图案的方法详解

    使用简单的 for 循环在 python 中打印模式。第一个外循环用于处理行数, 而内嵌套循环用于处理列数。操作打印语句,可以打印不同的数字图案、字母图案或星形图案。本文将利用这些方法实现打印金字塔图案,需要的可以参考一下
    2022-09-09

最新评论