pandas处理csv文件的方法步骤
一、我的需求
对于这样的一个 csv 表,需要将其
(1)将营业部名称和日期和股票代码进行拼接
(2)对于除了买入金额不同的的数据需要将它们的买入金额相加,每个买入金额乘以买卖序号的符号表示该营业名称对应的买入金额
比如:xx公司,20190731,1,股票1,4000,C20201010,xxxx
我这里想要的结果是:xx公司2019713C20201010,4000
二、代码
(1)首先由于文件是 gbk,所以读取是需要注意 encoding
(2)日期是int类型,所以需要转化为 字符串
import pandas as pd import numpy as np #读取数据 filename = "test.csv" # 读取 excel 表,根据文件的编码指定编码方式 data = pd.read_csv(filename, encoding='gbk') # 将所有内容转为字符串 # data = data.applymap(str) # 将日期这一列转为字符串 data['日期'] = data['日期'].apply(str) # print(data.loc[0,'营业部名称']) # print(data.loc[0,'日期']) # print(data.loc[0,'股票代码']) # print(data.loc[0,'买卖序号']) # print(data.loc[0,'买入金额']) # 拼接:营业部名称+日期+股票代码 data['name_date_code'] = data['营业部名称'] + data['日期'] + data['股票代码'] # 取"买卖序号"的符号和买入金额相乘 # np.sign 获取序号对应的符号 data['buy'] = np.sign(data['买卖序号']) * data['买入金额'] data = data.drop(['营业部名称', '日期', '买卖序号', '股票名', '买入金额', '股票代码', 'data_stock'], axis=1) # 将 name_date_code 相同的行,金额相加 buy_sum = data.groupby('name_date_code')['buy'].sum() # 将相加的金额加入数据data,缺失数据用0填充 data['buy_sum'] = data.loc[:, 'name_date_code'].map(buy_sum).fillna(0) # 将买入金额删掉,只剩下两列数据 data = data.drop(['buy'], axis=1) # 删除重复行 data = data.drop_duplicates() # 写入数据,同样需要注意指定编码格式 data.to_csv("YYBD_result.csv", encoding='gbk',index=False)
三、总结
(1)编码格式,正常是 utf-8 的不用指定,用默认的即可
(2)pandas 读取一行数据
# data.iloc 取一整行 print(data.iloc[0])
(3)pandas 处理数据确实很厉害,字符串拼接,类型转换,删除重复行,真方便
到此这篇关于pandas处理csv文件的方法步骤的文章就介绍到这了,更多相关pandas处理csv文件内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!
相关文章
使用Python图像处理库Pillow处理图像文件的案例分析
本文将通过使用Python图像处理库Pillow,帮助大家进一步了解Python的基本概念:模块、对象、方法和函数的使用,文中代码讲解的非常详细,需要的朋友可以参考下2023-07-07python的getattr和getattribute拦截内置操作实现
在Python中,getattr和getattribute是用于动态属性访问和自定义属性访问行为的重要工具,本文主要介绍了python的getattr和getattribute拦截内置操作实现,具有一定的参考价值,感兴趣的可以了解一下2024-01-01python按顺序重命名文件并分类转移到各个文件夹中的实现代码
这篇文章主要介绍了python按顺序重命名文件并分类转移到各个文件夹中,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2020-07-07Python中Turtle库改变画笔(海龟)方向的两种方法总结
turtle库是python标准库之一,入门级绘图库,import turtle之后即可使用,下面这篇文章主要给大家介绍了关于Python中Turtle库改变画笔(海龟)方向的两种方法,需要的朋友可以参考下2022-11-11
最新评论