Python中DataFrame与内置数据结构相互转换的实现

 更新时间:2023年02月10日 08:40:19   作者:古明地觉  
pandas 支持我们从 Excel、CSV、数据库等不同数据源当中读取数据,来构建 DataFrame。但有时数据并不来自这些外部数据源,这就涉及到了 DataFrame 和 Python 内置数据结构之间的相互转换,本文就来和大家详细聊聊

楔子

pandas 支持我们从 Excel、CSV、数据库等不同数据源当中读取数据,来构建 DataFrame。但有时数据并不来自这些外部数据源,而是来自一个已经存在的 Python 数据结构,比如列表、字典等等。

同理当需要导出 DataFrame 时,也不一定非要写到外部文件里,而是希望生成字典或者列表,那么这个时候该怎么做呢?

所以这就涉及到了 DataFrame 和 Python 内置数据结构之间的相互转换,下面来介绍一些最佳实践,你可以根据实际情况进行选择。

DataFrame 转成内置数据结构

假设有这样一个 DataFrame:

import pandas as pd

df = pd.DataFrame({"name": ["Satori", "Koishi", "Marisa"],
                   "score": [99, 98, 100],
                   "rank": [2, 3, 1]})

print(df)
"""
     name  score  rank
0  Satori     99     2
1  Koishi     98     3
2  Marisa    100     1
"""

那么看看 DataFrame 都提供了哪些方法,以及在转成内置数据结构之后是什么样子?

df.to_records()

将 DataFrame 转成 Numpy 的数组,数组里面是一个个的元组。

print(df.to_records())
"""
[(0, 'Satori',  99, 2) (1, 'Koishi',  98, 3) (2, 'Marisa', 100, 1)]
"""
# 返回的时候将索引也带上了,我们可以去掉
print(df.to_records(index=False))
"""
[('Satori',  99, 2) ('Koishi',  98, 3) ('Marisa', 100, 1)]
"""
# df.to_records 返回的是 numpy 的数组,可以再转成列表
print(df.to_records(index=False).tolist())
"""
[('Satori', 99, 2), ('Koishi', 98, 3), ('Marisa', 100, 1)]
"""

这种数据结构还是很常见的,在工作中经常会用到。但唯一不好的是,字段信息丢失了。

df.to_dict()

将 DataFrame 转成 Python 的字典。

# 返回 Python 的字典,key 是字段名,value 是对应的每一列
print(df.to_dict())
"""
{'name': {0: 'Satori', 1: 'Koishi', 2: 'Marisa'},
 'rank': {0: 2, 1: 3, 2: 1},
 'score': {0: 99, 1: 98, 2: 100}}
"""

# 但这里的 value 有一些问题,就是它把索引也包含在里面了
# 我们可以去掉它
print(
    {k: tuple(v.values()) for k, v in df.to_dict().items()}
)
"""
{'name': ('Satori', 'Koishi', 'Marisa'),
 'rank': (2, 3, 1),
 'score': (99, 98, 100)}
"""

# 当然啦,to_dict() 还可以手动实现
print(
    {col: tuple(df[col]) for col in df.columns}
)
"""
{'name': ('Satori', 'Koishi', 'Marisa'),
 'rank': (2, 3, 1),
 'score': (99, 98, 100)}
"""

这种格式的数据用的就不多了,用得更多的是下一种。

df.to_dict(orient="records")

将 DataFrame 转成 Python 的列表,列表里面是一个个的字典,每个字典代表数据的每一行。

print(df.to_dict(orient="records"))
"""
[{'name': 'Satori', 'rank': 2, 'score': 99},
 {'name': 'Koishi', 'rank': 3, 'score': 98},
 {'name': 'Marisa', 'rank': 1, 'score': 100}]
"""

个人觉得这种数据结构应该用得最多。

DataFrame 生成的数据还有其它格式,这里就不赘述了,常用的就是上面几种。

内置数据结构转成 DataFrame

内置数据结构转成 DataFrame,我们也来介绍几个最常用的场景。

import pandas as pd

data = [{'name': 'Satori', 'rank': 2, 'score': 99},
        {'name': 'Koishi', 'rank': 3, 'score': 98},
        {'name': 'Marisa', 'rank': 1, 'score': 100}]

# 对于这种数据,可以通过 DataFrame 的 from_records 方法
# 列表里的字典代表了 DataFrame 的每一行,每个字典都具有相同的 key
# 而这些 key 则表示 DataFrame 的列
print(pd.DataFrame.from_records(data))
"""
     name  rank  score
0  Satori     2     99
1  Koishi     3     98
2  Marisa     1    100
"""
# 或者更简单的,直接调用 pd.DataFrame 即可
print(pd.DataFrame(data))
"""
     name  rank  score
0  Satori     2     99
1  Koishi     3     98
2  Marisa     1    100
"""
# 如果列表里面的字典,不具备相同的 key,会怎么样呢?
data[2]["length"] = 155
print(pd.DataFrame(data))
"""
     name  rank  score  length
0  Satori     2     99     NaN
1  Koishi     3     98     NaN
2  Marisa     1    100   155.0
"""
# 很简单,会将所有的 key 都考虑在内
# 如果某一行没有指定的 key,那么对应的值就是空

当然数据也可能是这种格式:

import pandas as pd

data = {'2020-01-01': {'name': 'Satori', 'rank': 2, 'score': 99},
        '2020-01-02': {'name': 'Koishi', 'rank': 3, 'score': 98},
        '2020-01-03': {'name': 'Marisa', 'rank': 1, 'score': 100}}

print(pd.DataFrame.from_dict(data, orient="index"))
"""
              name  rank  score
2020-01-01  Satori     2     99
2020-01-02  Koishi     3     98
2020-01-03  Marisa     1    100
"""

最后一种:

import pandas as pd

data = {'name': ['Satori', 'Koishi', 'Marisa'],
        'rank': [2, 3, 1],
        'score': [99, 98, 100]}
# 直接调用 DataFrame 即可
print(pd.DataFrame(data))
"""
     name  rank  score
0  Satori     2     99
1  Koishi     3     98
2  Marisa     1    100
"""

上面就是本文的内容,比较简单。并且相关函数的具体用法,也没有详细说明,只是从工作角度介绍了一些最佳实践。更多内容,可以查看 pandas 的注释。

到此这篇关于Python中DataFrame与内置数据结构相互转换的实现的文章就介绍到这了,更多相关Python DataFrame内置数据结构内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • python和shell实现的校验IP地址合法性脚本分享

    python和shell实现的校验IP地址合法性脚本分享

    这篇文章主要介绍了python和shell实现的校验IP地址合法性脚本分享,每个脚本配有执行效果图,需要的朋友可以参考下
    2014-10-10
  • Python如何省略括号方法详解

    Python如何省略括号方法详解

    这篇文章主要介绍了Python如何省略括号方法详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-03-03
  • Python爬虫学习之获取指定网页源码

    Python爬虫学习之获取指定网页源码

    这篇文章主要为大家详细介绍了Python爬虫学习之获取指定网页源码,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-07-07
  • Python 快速实现CLI 应用程序的脚手架

    Python 快速实现CLI 应用程序的脚手架

    本篇文章主要介绍了Python 快速实现CLI 应用程序的脚手架,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-12-12
  • python中__set_name__的具体使用

    python中__set_name__的具体使用

    在Python中,我们可以通过__set_name__方法来实现一些特殊的操作,本文主要介绍如何在Python中实现__set_name__方法,并且给出一些实际应用的示例,感兴趣的可以了解一下
    2024-01-01
  • python字符串操作详析

    python字符串操作详析

    这篇文章主要介绍了python字符串操作,字符串是不可变类型可以重新赋值,但不可以索引改变其中一个值,只能拼接字符串建立新变量,下面来了解具体内容吧,需要的小伙伴可以参考一下
    2022-02-02
  • Python pygame绘制文字制作滚动文字过程解析

    Python pygame绘制文字制作滚动文字过程解析

    这篇文章主要介绍了Python pygame绘制文字制作滚动文字过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-12-12
  • 详解Python装饰器 给你的咖啡加点料

    详解Python装饰器 给你的咖啡加点料

    今天你的咖啡加糖了吗? 让我们通过一个简单的例子来引出装饰器的概念及用法。在引出装饰器之前,我们先来了解一下函数的概念,感兴趣的朋友跟随小编一起看看吧
    2021-07-07
  • python:批量统计xml中各类目标的数量案例

    python:批量统计xml中各类目标的数量案例

    这篇文章主要介绍了python:批量统计xml中各类目标的数量案例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-03-03
  • django中forms组件的使用与注意

    django中forms组件的使用与注意

    这篇文章主要给大家介绍了关于django中forms组件的使用与注意的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用django具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
    2019-07-07

最新评论