Pandas数据类型自行变换及数据类型转换失败问题分析与解决

更新时间：2023年06月21日 15:01:51 作者：肖永威

这篇文章主要介绍了Pandas数据类型自行变换及数据类型转换失败问题分析与解决方案，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教

Pandas数据类型自行变换及数据类型转换失败

最近，在进行数据处理过程中，频繁使用Pandas进行DataFrame关联、合并、数据类型变换操作，当到最后数据入库（MongoDB）时，出现部分整型数据变成浮点型，以及时间转字符串存储时，偶尔出现少部分存储为时间戳整型数据（也就是说偶尔出现时间转换为字符串转换失败的情况），

如下图所示。

1. 整型变浮点型情况

1.1. 问题情况再现

1.1.1. 空值情况

在DataFrame表间关联（merge）、合并（concat）过程中，容易出现数据为空的情况，则其对应的数据列将为float64。

import pandas as pd
df1 = pd.DataFrame({'yearmonth': ['202201','202202','202203'],
                   'monthnum': [1,2,3]})
df2 = pd.DataFrame({'yearmonth': ['202201','202202'],
                   'testint': [11,12]})
print('df2数据类型\n',df2.dtypes)
df = pd.merge(left=df1,right=df2,how='left',on=['yearmonth'])
print('连接合并后数据类型\n',df.dtypes)
df

运行程序输出结果如下所示，“testint”列的数据类型由int64变成float64。

1.1.2. 正负无穷情况（除数为0）

在DataFrame表中，进行数据计算过程中，如果出现除数为零，则表示为正负无穷，对应的列为float64类型。

import pandas as pd
df1 = pd.DataFrame({'yearmonth': ['202201','202202','202203'],
                   'monthnum': [1,2,3]})
print('df1数据类型\n',df1.dtypes)
df1.loc[:,'monthnum'] = df1['monthnum']/0
print('除零后，df1数据类型\n',df1.dtypes)
df1

1.1.3. 读取含有空值的数据源

以读取简单的csv数据文件为例：

import pandas as pd
df = pd.read_csv('nan.csv')
print('数据类型\n',df.dtypes)
df

数据表nan.csv中，B列有个空值，则读取数据后，B列为float64类型。

1.2. 小结

对于DataFrame表，在数据处理过程中，如果出现空值（nan）、正负无穷（inf），pandas将转换为默认的float64数据类型。

1.3. 解决方案

在关键点，例如存储、计算前，如有必要，按数据字典定义类型，强制统一转换为定义类型。

注意：

首先，把空值处理掉，例如填充0，或其他需要的值；
如果，一列存在多种类型数据，需要单独处理，详见后续介绍。

2. 时间类型转字符串失败情况

2.1. 关于pandas时间类型与整型、字符串型转换

序号	功能	原数据类型	目标数据类型	方法
1	时间转整型	datetime[ns]	int64	df[‘列名’].astype(‘int64’)
2	时间转字符串	datetime[ns]	str（object）	df[‘列名’].dt.strftime(‘%Y-%m-%d’)
3	整型转时间	int64	datetime[ns]	df[‘列名’].astype(‘datetime64[ns]’)
4	字符串转时间	str（object）	datetime[ns]	df[‘列名’]…astype(‘datetime64’)

其中：时间类型单个数据的类型为

<class 'pandas._libs.tslibs.timestamps.Timestamp'>

对象，其他为正常python数据类型，例如int、str等。

import pandas as pd
import time
df = pd.DataFrame({'yearmonth': ['202201','202202','202202'],
                   'monthnum': [1,2,1],
                   'datetime': [pd.Timestamp('2018-03-10 21:00:01'),pd.Timestamp('2019-03-10 12:02:00'),pd.Timestamp('2019-09-10 12:02:00')]})
df['datetimenum'] = df['datetime'].astype('int64')
df

df.loc[:,'datetimenum'] = df['datetimenum'].astype('datetime64[ns]')
df['datetimestr'] = df['datetime'].dt.strftime('%Y-%m-%d')
df.loc[:,'datetimestr'] = df['datetimestr'].astype('datetime64')

2.2. 单列复杂数据类型情况及解决方法

由于很难模拟出时间类型转字符串失败情况，文中仅仅采用按行强制赋值方式构建分析样本。

分别直接赋值整型时间戳和字符串时间，如下列所示。

df.loc[1,'datetimenum'] = 1611532800000
df.loc[2,'datetimestr'] = '2022-08-10'
df.dtypes
# 下面代码报错！
df.loc[:,'datetimenum'] = df['datetimenum'].astype('datetime64')
df.loc[:,'datetimenum'] = df['datetimenum'].astype('datetime64[ns]')

对于目标为时间类型的列（本例中的datetimenum），如果某行存储一个整型数据，即使是时间戳整数，这种混合情况，表现类型为“Object”，在类型转换时将会报错。

ValueError: mixed datetimes and integers in passed array

对于这种复杂混合类型的列，可以采用逐行按具体数据类型转换到目标类型，如下文把混合时间、字符串、时间戳整数的数据统一转换为字符串类型。

import numpy as np
import time
def f(timeNum):
    if type(timeNum) == type(1):
        timeTemp = float(timeNum/1000)
        tupTime = time.localtime(timeTemp)
        #stadardTime = time.strftime("%Y-%m-%d %H:%M:%S", tupTime)
        stadardTime = time.strftime("%Y-%m-%d", tupTime)
    elif type(timeNum) == type('2022-08-18'):
        stadardTime = timeNum
    else:
        print(type(timeNum))   
        #stadardTime = timeNum.strftime("%Y-%m-%d %H:%M:%S")
        stadardTime = timeNum.strftime("%Y-%m-%d")
    print(timeNum)
    return pd.Series([stadardTime])
df['datetimestr'] = df['datetimestr'].apply(lambda x:f(x))
df

2.3. 相关内容，数据类型识别

Python中常用isinstance()和type()内置函数判断数据类型：

isinstance()是Python中的一个内建函数。是用来判断一个对象的变量类型。

isinstance(object, classinfo)

如果参数object是classinfo的实例，或者object是classinfo类的子类的一个实例，返回True。
如果object不是一个给定类型的的对象，则返回结果总是False。

type函数是Python的内置函数，返回参数的类型。

# type函数
variateint = 100
variatestr = '100'
if type(variateint) == type(1):
    print('int')
if type(variatestr) == type('hello'):
    print('str')
# isinstance函数
if isinstance(variateint,int):
    print('int')
if isinstance(variatestr,str):
    print('str')

补充：

type只接收一个参数，不但可以判断变量是否属于某个类型，而且可以得到参数变量未知的所属的类型；

而isinstance只能判断是否属于某个已知类型，不能直接得到变量未知的所属的类型

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

Python实现新版正方系统滑动验证码识别
这篇文章主要介绍了基于Python实现新版正方系统滑动验证码识别算法和方案，文中示例代码对我们的学习和工作有一定的帮助，感兴趣的可以了解一下
2021-12-12
Python使用redis pool的一种单例实现方式
这篇文章主要介绍了Python使用redis pool的一种单例实现方式,结合实例形式分析了Python操作redis模块实现共享同一个连接池的相关技巧,需要的朋友可以参考下
2016-04-04
PyCharm控制台堆栈乱码问题解决方案
PyCharm环境都已经配置成了UTF-8编码,控制台打印中文也不会出现乱码,但报错堆栈信息中如果有中文会出现中文乱码,遇到这样的问题如何解决呢,下面小编给大家带来了PyCharm控制台堆栈乱码问题解决方案,感兴趣的朋友一起看看吧
2023-12-12
python让函数不返回结果的方法
在本篇内容里小编给大家整理的是关于python让函数不返回结果的方法，有需要的朋友们可以参考下。
2020-06-06
Python中pillow知识点学习
本文给大家通过一篇Python中pillow知识点学习的笔记内容让大家对pillow有一个学习方向的有一个认识，有兴趣的朋友学习下。
2018-04-04
python实现ModBusTCP协议的client功能
Modbus TCP 是一种基于 TCP/IP 协议栈的 Modbus 通信协议,它用于在工业自动化系统中进行设备之间的通信,只要通过pymodbus或pyModbusTCP任意模块就可以实现,本文采用pymodbus,感兴趣的朋友跟随小编一起看看吧
2023-10-10
利用python进行接口测试及类型介绍
这篇文章主要介绍了利用python进行接口测试详情，文章基于python展开对接口测试的详细介绍，具有一定的参考价值，需要的小伙伴可以参考一下
2022-05-05
Python minidom模块用法示例【DOM写入和解析XML】
这篇文章主要介绍了Python minidom模块用法,结合实例形式分析了Python DOM创建、写入和解析XML文件相关操作技巧,需要的朋友可以参考下
2019-03-03
Python自动抢红包教程详解
在本篇文章里小编给大家整理了关于Python自动抢红包的相关知识点内容，有兴趣的朋友们参考学习下。
2019-06-06
python简单实现9宫格图片实例
在本篇内容里小编给各位分享的是一篇关于python实现朋友圈中的九宫格图片的实例讲解，有需要的朋友们可以参考下。
2020-09-09