使用pandas忽略行列索引,纵向拼接多个dataframe

 更新时间:2021年03月26日 10:16:18   作者:呆萌的代Ma  
这篇文章主要介绍了使用pandas忽略行列索引,纵向拼接多个dataframe的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

从wind上面搞到一批股票数据后发现:本来是一个类型的数据,但是由于季度不同,列名也不同,导致使用pandas合并多个报表的时候总是出现一大堆NaN,所以这里我写了一个函数,专门针对这样的表

它的思路是:

生成一堆单词,然后把这些表的列索引全部替换为这些单词,然后调用 pd.concat() 把这些dataframe全部合并后再把列索引改回来,当然,这里也可以手动指定列索引。

使用方法见代码的最后一行,传入一个dataframe的list就可以了。

import pandas as pd
from random import Random 
 
# 随机生成一堆单词作为公共的列名
def random_list(random_str_count, randomlengtd=6):
 result_list = []
 random = Random()
 chars = "qwertyuiopasdfghjklzxcvbnm"
 for str_count in range(random_str_count):
 ranstr = ""
 lengtd = len(chars) - 1
 for str_lengtd in range(randomlengtd):
 ranstr += chars[random.randint(0, lengtd)]
 result_list.append(ranstr)
 return result_list 
 
def combine_as_data_location(pd_list, columns=''):
 if not pd_list:
 return None
 old_columns = pd_list[0].columns
 if columns:
 new_columns = columns
 else:
 new_columns = random_list(pd_list[0].shape[1])
 for data_df in pd_list:
 # data is pandas Dataframe
 data_df.columns = new_columns
 result_df = pd.concat(pd_list, ignore_index=True)
 if columns:
 return result_df
 else:
 result_df.columns = old_columns
 return result_df 
result_df = combine_as_data_location([df1,df2,df3])

补充:pandas.concat实现竖着拼接、横着拼接DataFrame

1、concat竖着拼接(默认的竖着,axis=0)

话不多说,直接看例子:

import pandas as pd
df1=pd.DataFrame([10,12,13])
df2=pd.DataFrame([22,33,44,55])
df3=pd.DataFrame([90,94])

df1

0
0 10
1 12
2 13

df2

0
0 22
1 33
2 44
3 55

df3

0
0 90
1 94
res= pd.concat([df1,df2,df3])
res
0
0 10
1 12
2 13
0 22
1 33
2 44
3 55
0 90
1 94

如果要生成新索引,忽略原来索引怎么办?

默认有个参数ignore_index= False,将其值改为True:

res2= pd.concat([df1,df2,df3], ignore_index=True)
res2
0
0 10
1 12
2 13
3 22
4 33
5 44
6 55
7 90
8 94

2、concat横着拼接

用参数axis= 1,看例子:

res_heng= pd.concat([df1,df2,df3], axis=1)
res_heng
0 0 0
0 10.0 22 90.0
1 12.0 33 94.0
2 13.0 44 NaN
3 NaN 55 NaN

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。如有错误或未考虑完全的地方,望不吝赐教。

相关文章

  • numpy.transpose()实现数组的转置例子

    numpy.transpose()实现数组的转置例子

    今天小编就为大家分享一篇numpy.transpose()实现数组的转置例子,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-12-12
  • python网络编程实例简析

    python网络编程实例简析

    这篇文章主要介绍了python网络编程,有不错的借鉴价值,需要的朋友可以参考下
    2014-09-09
  • 浅述python2与python3的简单区别

    浅述python2与python3的简单区别

    python2:print语句,语句就意味着可以直接跟要打印的东西而python3:print函数,函数就以为这必须要加上括号才能调用。下面通过本文给大家介绍python2与python3的简单区别,感兴趣的朋友跟随小编一起看看吧
    2018-09-09
  • python 基础教程之Map使用方法

    python 基础教程之Map使用方法

    这篇文章主要介绍了python 基础教程之Map使用方法的相关资料,这里附有简单使用实例,需要的朋友可以参考下
    2017-01-01
  • python采集百度搜索结果带有特定URL的链接代码实例

    python采集百度搜索结果带有特定URL的链接代码实例

    这篇文章主要介绍了python采集百度搜索结果带有特定URL的链接代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-08-08
  • Python数据类型之Dict字典实例详解

    Python数据类型之Dict字典实例详解

    这篇文章主要介绍了Python数据类型之Dict字典,结合具体实例形式详细分析了Python字典的概念、原理、定义、元素添加、删除、遍历等相关操作技巧,需要的朋友可以参考下
    2019-05-05
  • 理解深度学习之深度学习简介

    理解深度学习之深度学习简介

    这篇文章主要是关于深度学习的简介,对大家学习了解机器深度学习有一定的帮助,以后会持续更新本系列,希望能为大家带来一些收货,让我们一起来看看下面的文章吧
    2021-04-04
  • Pygame游戏开发之太空射击实战子弹与碰撞处理篇

    Pygame游戏开发之太空射击实战子弹与碰撞处理篇

    相信大多数8090后都玩过太空射击游戏,在过去游戏不多的年代太空射击自然属于经典好玩的一款了,今天我们来自己动手实现它,在编写学习中回顾过往展望未来,下面开始讲解子弹与碰撞处理,在本课中,我们将添加玩家与敌人之间的碰撞,以及添加供玩家射击的子弹
    2022-08-08
  • Python使用Pandas生成日报的实现代码

    Python使用Pandas生成日报的实现代码

    Pandas是Python中一个强大的数据处理库,它提供了许多功能强大的数据结构和数据分析工具,在本文中,我们将介绍Pandas的基本概念和如何使用它生成一个包含今天到未来20个工作日的日期列表的Excel文件,需要的朋友可以参考下
    2023-11-11
  • Python使用Pillow实现图像基本变化

    Python使用Pillow实现图像基本变化

    这篇文章主要为大家详细介绍了Python如何使用Pillow实现图像的基本变化处理,文中的示例代码讲解详细,具有一定的学习价值,需要的可以了解一下
    2022-10-10

最新评论