python Pandas中数据的合并与分组聚合

 更新时间:2022年01月13日 09:36:33   作者:沉迷学习的郑博士  
大家好,本篇文章主要讲的是python Pandas中数据的合并与分组聚合,感兴趣的同学赶快来看一看吧,对你有帮助的话记得收藏一下

一、字符串离散化示例

对于一组电影数据,我们希望统计电影分类情况,应该如何处理数据?(每一个电影都有很多个分类)

思路:首先构造一个全为0的数组,列名为分类,如果某一条数据中分类出现过,就让0变为1

代码:

# coding=utf-8
import pandas as pd
from matplotlib import pyplot as plt
import numpy as np
file_path = "./IMDB-Movie-Data.csv"
 
df = pd.read_csv(file_path)
print(df["Genre"].head(3))
#统计分类的列表
temp_list = df["Genre"].str.split(",").tolist()  #[[],[],[]]
 
genre_list = list(set([i for j in temp_list for i in j]))
 
#构造全为0的数组
zeros_df = pd.DataFrame(np.zeros((df.shape[0],len(genre_list))),columns=genre_list)
# print(zeros_df)
 
#给每个电影出现分类的位置赋值1
for i in range(df.shape[0]):
    #zeros_df.loc[0,["Sci-fi","Mucical"]] = 1
    zeros_df.loc[i,temp_list[i]] = 1
 
# print(zeros_df.head(3))
 
#统计每个分类的电影的数量和
genre_count = zeros_df.sum(axis=0)
print(genre_count)
 
#排序
genre_count = genre_count.sort_values()
_x = genre_count.index
_y = genre_count.values
#画图
plt.figure(figsize=(20,8),dpi=80)
plt.bar(range(len(_x)),_y,width=0.4,color="blue")
plt.xticks(range(len(_x)),_x)
plt.show()

结果:

 二、数据合并

2.1 join

join:默认情况下他是把索引相同的数据合并到一起

 2.2 merge

merge:按照指定的把数据按照一定的方式合并到一起

 三、数据的分组和聚合

示例:现在我们有一组关于全球星巴克的店铺的统计数据,如果我想知道美国的星巴克数量和中国的哪个多,或者我想知道中国每个省份的星巴克的数量情况,应该怎么办?

代码:

import pandas as pd
 
file_path = "./starbucks_store_worldwide.csv"
 
df = pd.read_csv(file_path)
grouped = df.groupby(by="Country")#按照分组查询
# print(grouped)
 
#DataFrameGroupBy
#可以进行遍历
# for i,j in grouped:
#     print(i)
#     print("-"*100)
#     print(j,type(j))
#     print("*"*100)
# 调用聚合方法
country_count = grouped["Brand"].count()
# print(country_count["US"])
# print(country_count["CN"])
 
#统计中国每个省店铺的数量
china_data = df[df["Country"] =="CN"]
grouped = china_data.groupby(by="State/Province").count()["Brand"]
# print(grouped)
# 数据按照多个条件进行分组,返回Series
grouped = df["Brand"].groupby(by=[df["Country"],df["State/Province"]]).count()
# print(grouped)
# print(type(grouped))
# 数据按照多个条件进行分组,返回DataFrame
grouped1 = df[["Brand"]].groupby(by=[df["Country"],df["State/Province"]]).count()
grouped2= df.groupby(by=[df["Country"],df["State/Province"]])[["Brand"]].count()
grouped3 = df.groupby(by=[df["Country"],df["State/Province"]]).count()[["Brand"]]
print(grouped1,type(grouped1))
print("*"*100)
print(grouped2,type(grouped2))
print("*"*100)
print(grouped3,type(grouped3))

 四、索引

简单的索引操作:

获取index:df.index

指定index:df.index=['x','y']

重新设置index:df.reindex(list("abcdef"))

指定某一行作为index:df.set_index("Country",drop=False)

返回index的唯一值:df.set_index("Country").index.unique()

总结

到此这篇关于python Pandas中数据的合并与分组聚合的文章就介绍到这了,更多相关python Pandas内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Python学习之os模块及用法

    Python学习之os模块及用法

    在本篇内容里小编给大家整理的是关于Python中os模块及用法相关知识点,有兴趣的朋友们可以学习下。
    2020-06-06
  • Python图形用户界面与游戏开发实例详解

    Python图形用户界面与游戏开发实例详解

    GUI是图形用户界面的缩写,图形化的用户界面对使用过计算机的人来说应该都不陌生,下面这篇文章主要给大家介绍了关于Python图形用户界面与游戏开发的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2022-09-09
  • Django添加KindEditor富文本编辑器的使用

    Django添加KindEditor富文本编辑器的使用

    今天小编就为大家分享一篇关于Django添加KindEditor富文本编辑器的使用,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2018-10-10
  • python爬取梨视频生活板块最热视频

    python爬取梨视频生活板块最热视频

    这篇文章主要介绍了python爬取梨视频生活板块最热视频,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-03-03
  • Python 变量类型实例详解

    Python 变量类型实例详解

    这篇文章主要介绍了Python 变量类型实例详解,基于变量的数据类型,解释器会分配指定内存,并决定什么数据可以被存储在内存中,接下来更多详细内容需要的小伙伴可以参考下面文章,希望对你有所帮助
    2022-02-02
  • python动态视频下载器的实现方法

    python动态视频下载器的实现方法

    这里向大家分享一下python爬虫的一些应用,主要是用爬虫配合简单的GUI界面实现视频,音乐和小说的下载器。今天就先介绍如何实现一个动态视频下载器,需要的朋友可以参考下
    2019-09-09
  • matplotlib共享坐标轴的实现(X或Y坐标轴)

    matplotlib共享坐标轴的实现(X或Y坐标轴)

    在作图的过程中,我们经常会遇到子图共用坐标轴的情况,或是共用横轴标轴,也可能是纵坐标轴。本文就介绍了matplotlib共享坐标轴,感兴趣的可以了解一下
    2021-05-05
  • Python爬虫采集微博视频数据

    Python爬虫采集微博视频数据

    这篇文章主要介绍了利用Python爬虫采集微博的视频数据,文中有非常详细的代码示例,对正在学python的小伙伴们有很好地帮助,需要的朋友可以参考下
    2021-12-12
  • python并行设计的实现

    python并行设计的实现

    python中的并行设计可以显著增强程序处理大量数据或复杂计算的速度,通过使用threading、multiprocessing和concurrent.futures等库,开发者可以有效利用多核CPU的计算力,下面就来详细的介绍一下
    2024-09-09
  • Python实战之实现简单的名片管理系统

    Python实战之实现简单的名片管理系统

    这篇文章主要介绍了Python实战之实现简单的名片管理系统,文中有非常详细的代码示例,对正在学习python的小伙伴们有非常好的帮助,需要的朋友可以参考下
    2021-04-04

最新评论