python 数据分析实现长宽格式的转换
更新时间:2020年05月18日 17:18:48 作者:孤舟听雨
这篇文章主要介绍了python 数据分析实现长宽格式的转换,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
我就废话不多说了,大家还是直接看代码吧!
# encoding=utf-8 import numpy as np import pandas as pd # 长宽格式的转换 # 1 data = pd.read_csv('d:data/macrodata.csv') print 'data:=\n', data print 'data.to_records():=\n', data.to_records() print 'data.year:=\n', data.year print 'data.quarter:=\n', data.quarter periods = pd.PeriodIndex(year=data.year, quarter=data.quarter, name='date') print 'periods:=\n', periods data = pd.DataFrame(data.to_records(), columns=pd.Index(['realgdp', 'infl', 'unemp'], name='item'), index=periods.to_timestamp('D', 'end')) print 'data:=\n', data ldata = data.stack().reset_index().rename(columns={0: 'value'}) # print 'ldata:=\n', ldata print 'ldata.get(\'realgdp\'):=\n', ldata.get('realgdp') print 'ldata.get(\'unemp\'):=\n', ldata.get('unemp') wdata = ldata.pivot('date', 'item', 'value') print 'ldata:=\n', ldata print 'wdata:=\n', wdata # 2 print 'ldata[:10]:=\n', ldata[:10] pivoted = ldata.pivot('date', 'item', 'value') print 'pivoted:=\n', pivoted print 'pivoted.head():=\n', pivoted.head() print 'ldata:=\n', ldata ldata['value2'] = np.random.randn(len(ldata)) print 'ldata[\'value2\']:=\n', ldata['value2'] print 'ldata[:10]:=\n', ldata[:10] pivoted = ldata.pivot('date', 'item') print 'pivoted:=\n', pivoted print pivoted[:5] print 'pivoted[\'value\'][:5]:=\n', pivoted['value'][:5] print 'ldata:=\n', ldata unstacked = ldata.set_index(['date', 'item']).unstack('item') print 'unstacked:=\n', unstacked print 'test'
补充知识:python使用_pandas_用stack和unstack进行行列重塑(key-value变宽表)
数据结构的重塑(reshape)
与数据库交互时常遇到堆叠格式(key-value)和宽表形式(dataframe)的转换,如:
堆叠格式:
宽表形式dataframe:
下面是相互转换的示例代码:
import pandas as pd import numpy as np # 常用的表格形式的数据结构 df = pd.DataFrame(np.arange(6).reshape((2,3)), index=['id1','id2'], columns=['attr1','attr2','attr3']) print(df) out: attr1 attr2 attr3 id1 0 1 2 id2 3 4 5 # 宽表形式(dataframe)转变为堆叠形式(key-value)形式 # 数据库中常以该形式存储 df_key_value = df.stack().reset_index() df_key_value.columns = ['id', 'attr', 'value'] print(df_key_value) out: id attr value 0 id1 attr1 0 1 id1 attr2 1 2 id1 attr3 2 3 id2 attr1 3 4 id2 attr2 4 5 id2 attr3 5 # 堆叠转换为宽表形式 # 用set_index创建层次化索引,在用unstack重塑 # unstack中作为旋转轴的变量(如attr),其值会作为列变量展开 df_key_value.set_index(['id','attr']).unstack('attr') out: value attr attr1 attr2 attr3 id id1 0 1 2 id2 3 4 5 # 多层索引转化为宽表 df_long = df_key_value.set_index(['id','attr']).unstack('attr')['value'].reset_index() df_long out: attr id attr1 attr2 attr3 0 id1 0 1 2 1 id2 3 4 5 # 堆叠转换为宽表的快捷键---pivot df_key_value.pivot('id','attr','value') out: attr attr1 attr2 attr3 id id1 0 1 2 id2 3 4 5
以上这篇python 数据分析实现长宽格式的转换就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。
您可能感兴趣的文章:
- Python编写可视化界面的全过程(Python+PyCharm+PyQt)
- Python实现K-means聚类算法并可视化生成动图步骤详解
- python数据分析之员工个人信息可视化
- python爬取各省降水量及可视化详解
- 关于Python可视化Dash工具之plotly基本图形示例详解
- python用pyecharts实现地图数据可视化
- Python绘制K线图之可视化神器pyecharts的使用
- Python绘制词云图之可视化神器pyecharts的方法
- python 可视化库PyG2Plot的使用
- Python数据分析之彩票的历史数据
- Python 数据分析之逐块读取文本的实现
- Python数据分析库pandas高级接口dt的使用详解
- Python Pandas数据分析工具用法实例
- 用Python 爬取猫眼电影数据分析《无名之辈》
- 大数据分析用java还是Python
- PyCharm设置Ipython交互环境和宏快捷键进行数据分析图文详解
- Python实战之疫苗研发情况可视化
相关文章
Pytorch中TensorBoard及torchsummary的使用详解
这篇文章主要介绍了Pytorch中TensorBoard及torchsummary的使用详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧2021-05-05python GUI库图形界面开发之PyQt5时间控件QTimer详细使用方法与实例
这篇文章主要介绍了python GUI库图形界面开发之PyQt5时间控件QTimer详细使用方法与实例,需要的朋友可以参考下2020-02-02
最新评论