pandas 实现excel数据透视表维度转换

1.pivot_table() 实现三维数据行列转换，将左边数据格式转换成右边显示格式

首先将宽表变成长表，用pd.melt()

其中主要参数有

id_vars:不需要被转换的列名

var_values:需要被转换的列名，如果剩下的列名都需要被转换，则可以忽略不写；

var_name和value_name对应转换的自定义列名

https://pandas.pydata.org/pandas-docs/version/0.19.0/generated/pandas.melt.html

import pandas as pd df =pd.read_excel(r'D:\zr.xlsx') dts = pd.melt(df,id_vars=['城市','年月'],var_name='指标',value_name='值') print(dts) #再使用pivot_table()函数将长表转换成宽表 data = dts.pivot_table(index=['城市','指标'],columns=['年月']).reset_index() print(data) #其中中间图为打印结果，但是从结果看列名称为双层索引，当保存成excel格式时结果为右边结果

#打印看一下列名称格式 print(data.columns)

#获取列的各层级索引 cols1 = list(data.columns.get_level_values(0)) print(cols1) cols2= list(data.columns_get_level_values(1)) print(cols2) cols = cols1[:2]+cols2[2:] print(cols) #列名称 #重命名列名 data.columns = cols print(data)

 

MultiIndex()中获取层级信息 get_level_values();删除层级droplevel()两个的参数传入所在层级

对于结果排序问题，将城市按照，北京，上海，太原，苏州 进行排序

cols_orig=['北京','上海','太原','苏州'] data['城市']=data['城市'].astype('category').cat.reorder_categories(cols_orig, ordered=True) data = data.sort_values('城市') print(data)

https://www.jianshu.com/p/2d3dd3e30d51

2、多列合并成一行

import pandas as pd df = pd.DataFrame({'id_part':['a','b','c','d'], 'pred':[0.1,0.2,0.3,0.4], 'pred_class':['women','man','cat','dog'], 'v_id':['d1','d2','d3','d1']}) print(df) dt = df.groupby(['v_id']).agg({'pred_class': [', '.join],'pred': lambda x: list(x),'id_part': 'first'}).reset_index() print(dt)