脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → DataFrame 数据合并

DataFrame 数据合并实现(merge，join，concat)

 更新时间：2020年06月14日 10:53:44   作者：Python之简  
这篇文章主要介绍了DataFrame 数据合并实现(merge，join，concat)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

merge

merge 函数通过一个或多个键将数据集的行连接起来。
场景：针对同一个主键存在的两张包含不同特征的表，通过主键的链接，将两张表进行合并。合并之后，两张表的行数不增加，列数是两张表的列数之和。

def merge(left, right, how='inner', on=None, left_on=None, right_on=None,
     left_index=False, right_index=False, sort=False,
     suffixes=('_x', '_y'), copy=True, indicator=False,
     validate=None):

参数 描述
how 数据融合的方法，从在不重合的键，方式（inner、outer、left、right）
on 用来对齐的列名，一定要保证左表和右表存在相同的列名。
left_on 左表对齐的列，可以是列名。也可以是DataFrame同长度的arrays
right_on 右表对齐的列，可以是列名。
left_index 将左表的index用作连接键
right_index 将右表的index用作连接键
suffixes 左右对象中存在重名列，结果区分的方式，后缀名。
copy 默认：True。将数据复制到数据结构中，设置为False提高性能。

特性示例(1)

默认：以重叠的列名当作连接键

df1 = pd.DataFrame({'key': ['one', 'two', 'two'],
          'data1': np.arange(3)})
df2 = pd.DataFrame({'key': ['one', 'three', 'three'],
          'data2': np.arange(3)})
df3 = pd.merge(df1, df2)
print(df1)
print(df2)
print(df3)

  key data1
0 one   0
1 two   1
2 two   2
   key data2
0  one   0
1 three   1
2 three   2
  key data1 data2
0 one   0   0

特性示例(2)

默认：做inner连接，取key的交集
连接方式还有left right outer

df1 = pd.DataFrame({'key': ['one', 'two', 'two'],
          'data1': np.arange(3)})
df2 = pd.DataFrame({'key': ['one', 'three', 'three'],
          'data2': np.arange(3)})
df3 = pd.merge(df1, df2)
df4 = pd.merge(df1, df2, how='left')
print(df3)
print(df4)

  key data1 data2
0 one   0   0
  key data1 data2
0 one   0  0.0
1 two   1  NaN
2 two   2  NaN

特性示例(3)

多键连接时将连接键做成列表传入。
on默认是两者同时存在的列

df1 = pd.DataFrame({'key': ['one', 'two', 'two'],
          'value': ['a', 'b', 'c'],
          'data1': np.arange(3)})
df2 = pd.DataFrame({'key': ['one', 'two', 'three'],
          'value': ['a', 'c', 'c'],
          'data2': np.arange(3)})
df5 = pd.merge(df1, df2)
df6 = pd.merge(df1, df2, on=['key', 'value'], how='outer')
print(df5)
print(df6)

  key value data1 data2
0 one   a   0   0
1 two   c   2   1
   key value data1 data2
0  one   a  0.0  0.0
1  two   b  1.0  NaN
2  two   c  2.0  1.0
3 three   c  NaN  2.0

特性示例(4)

两个对象的列名不同，需要分别制定。

df7 = pd.merge(df1, df2, left_on=['key1','data1'], right_on=['key2','data2'], how='outer')
print(df7)
 key1 value_x data1  key2 value_y data2
0 one    a  0.0  one    a  0.0
1 two    b  1.0  two    c  1.0
2 two    c  2.0  NaN   NaN  NaN
3 NaN   NaN  NaN three    c  2.0

join

join方法将两个DataFrame中不同的列索引合并成为一个DataFrame
参数的意义与merge基本相同，只是join方法默认左外连接how=left

def join(self, other, on=None, how='left', lsuffix='', rsuffix='',
     sort=False):

示例

df1 = pd.DataFrame({'A': ['A0', 'A1', 'A1'],
          'B': ['B0', 'B1', 'B2']},
          index=['K0', 'K1', 'K2'])
df2 = pd.DataFrame({'C': ['C1', 'C2', 'C3'],
          'D': ['D0', 'D1', 'D2']},
          index=['K0', 'K1', 'K3'])
df3 = df1.join(df2)
df4 = df1.join(df2, how='outer')
df5 = df1.join(df2, how='inner')
print(df3)
print(df4)
print(df5)

   A  B  C  D
K0 A0 B0  C1  D0
K1 A1 B1  C2  D1
K2 A1 B2 NaN NaN
   A  B  C  D
K0  A0  B0  C1  D0
K1  A1  B1  C2  D1
K2  A1  B2 NaN NaN
K3 NaN NaN  C3  D2
   A  B  C  D
K0 A0 B0 C1 D0
K1 A1 B1 C2 D1

concat

制定按某个轴进行连接（可横向可纵向），也可以指定连接方法。

def concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False,
      keys=None, levels=None, names=None, verify_integrity=False,
      sort=None, copy=True):

属性 描述
objs 合并的对象集合。可以是Series、DataFrame
axis 合并方法。默认0，表示纵向，1横向
join 默认outer并集，inner交集。只有这两种
join_axes 按哪些对象的索引保存
ignore_index 默认Fasle忽略。是否忽略原index
keys 为原始DataFrame添加一个键，默认无

示例(1)

s1 = pd.Series(['a', 'b'])
s2 = pd.Series(['c', 'd'])
s3 = pd.concat([s1, s2])
s4 = pd.concat([s1, s2], ignore_index=True)
print(s3)
print(s4)

0  a
1  b
dtype: object
0  c
1  d
dtype: object
0  a
1  b
0  c
1  d
dtype: object
0  a
1  b
2  c
3  d
dtype: object

示例（2）

df1 = pd.DataFrame([['a', 1], ['b', 2]], columns=['A', 0])
df2 = pd.DataFrame([['a', 1], ['b', 2]], columns=['B', 0])
df3 = pd.concat([df1, df2], join='inner')
print(df3)

  0
0 1
1 2
0 1
1 2

示例（3）

df1 = pd.DataFrame([['a', 1], ['b', 2]], columns=['A', 0])
df2 = pd.DataFrame([['a', 1], ['b', 2]], columns=['B', 0])
df3 = pd.concat([df1, df2], axis=1, join_axes=[df1.index])
print(df3)
  A 0 B 0
0 a 1 a 1
1 b 2 b 2

append

横向和纵向同时扩充，不考虑columns和index

df1 = pd.DataFrame({'A': ['A0', 'A1', 'A1'],
          'B': ['B0', 'B1', 'B2']},
          index=['K0', 'K1', 'K2'])
s2 = pd.Series(['X0','X1'], index=['A','B'])
result = df1.append(s2, ignore_index=True)
print(result)

   A  B
K0 A0 B0
K1 A1 B1
K2 A1 B2
  A  B
0 A0 B0
1 A1 B1
2 A1 B2
3 X0 X1

汇总

  • concat：可以沿一条轴将多个对象连接到一起
  • merge：可以根据一个或多个键将不同的DataFrame中的行连接起来。
  • join：inner是交集，outer是并集。

到此这篇关于DataFrame 数据合并实现(merge，join，concat)的文章就介绍到这了,更多相关DataFrame 数据合并内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！ 

您可能感兴趣的文章:

相关文章

  • Python运行提示缺少模块问题解决方案

    Python运行提示缺少模块问题解决方案

    这篇文章主要介绍了Python运行提示缺少模块问题解决方案,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-04-04
  • 使用Python可设置抽奖者权重的抽奖脚本代码

    使用Python可设置抽奖者权重的抽奖脚本代码

    这篇文章主要介绍了Python可设置抽奖者权重的抽奖脚本,抽奖系统包含可给不同抽奖者设置不同的权重，先从价值高的奖品开始抽，已经中奖的人，不再参与后续的抽奖，本文通过实例代码给大家介绍的非常详细，需要的朋友可以参考下
    2022-11-11
  • python识别验证码图片实例详解

    python识别验证码图片实例详解

    这篇文章主要介绍了python识别验证码图片实例详解,需要的朋友可以参考下
    2020-02-02
  • 完美解决Django2.0中models下的ForeignKey()问题

    完美解决Django2.0中models下的ForeignKey()问题

    这篇文章主要介绍了完美解决Django2.0中models下的ForeignKey()问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-05-05
  • 浅析Python中yield关键词的作用与用法

    浅析Python中yield关键词的作用与用法

    Python中关键字yield的作用是什么？用来干什么的？这篇文章就给大家详细介绍了Python中yield关键词的作用与用法，文中通过示例代码介绍的很详细，对大家学习python具有一定的参考借鉴价值，有需要的朋友们下面来一起学习学习吧。
    2016-11-11
  • Python 变量教程字节对象与字符串

    Python 变量教程字节对象与字符串

    这篇文章主要介绍了Python变量教程字节对象与字符串，字节对象是字节序列，而字符串是字符序列，字节对象在内部是机器可读的形式，字符串只是人类可读的形式
    2022-08-08
  • CentOS中升级Python版本的方法详解

    CentOS中升级Python版本的方法详解

    本文给大家分享的是再centos系统中将Python版本从2.6升级到2.7的方法和升级过程中遇到的问题的处理，非常详细，有需要的小伙伴可以参考下
    2017-07-07
  • 基于python中theano库的线性回归

    基于python中theano库的线性回归

    这篇文章主要为大家详细介绍了基于python中theano库的线性回归，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2018-08-08
  • python中列表和元组的区别

    python中列表和元组的区别

    给大家详细讲解了python中列表和元组的区别，需要的朋友参考一下。
    2017-12-12
  • python中异常捕获方法详解

    python中异常捕获方法详解

    异常信息的获取对于程序的调试非常重要，可以有助于快速定位有错误程序语句的位置。下面介绍几种python中获取异常信息的方法，希望小伙伴们能够喜欢
    2017-03-03

最新评论