pandas数据处理清洗实现中文地址拆分案例
更新时间：2021年06月16日 10:47:16 作者：Lu-顺
因为后续数据分析工作需要用到地理维度进行分析，所以需要把login_place字段进行拆分成：国家、省份、地区。感兴趣的可以了解一下
一、案例场景
字段login_place，一共267725行记录,随机15条记录如下：
后续数据分析工作需要用到地理维度进行分析，所以需要把login_place字段进行拆分成：国家、省份、地区。
二、初步方案
第三方中文分词库：jieba，可以对文本进行拆分。使用参考资料：jieba库的使用。
初步方案：
- 用jieba.cut()将文本拆分为单词列表list_word;
- 分支判断list_word长度，赋值国家、城市、地区。
代码：（抽取1000条记录，看一下我这台机器的运行时间）
%%time
# 地区拆分
for i in range(1000):
list_word=[word for word in jieba.cut(df.iloc[i,0])]
if len(list_word)==1:
if '中国' in df.iloc[i,0]:
df.loc[i,'国家']=df.iloc[i,0][0:2]
df.loc[i,'省份']=df.iloc[i,0][2:]
else:
df.loc[i,'国家']=df.iloc[i,0]
elif len(list_word)==2:
df.loc[i,'国家']=list_word[0]
df.loc[i,'省份']=list_word[1]
else:
df.loc[i,'国家']=list_word[0]
df.loc[i,'省份']=list_word[1]
df.loc[i,'地区']=list_word[2]
if i%100==0:
print(f'{round(i*100/(int(1000)),2)}%')
1000条用了1min 37秒。如果全部进行数据解析等待时间应该很久很久。有很多重复的记录，这里先去重，再跑一次代码。
去重之后，只有404不重复的记录。
再跑一遍代码，并且把结果保存到本地文件‘df_test.xlsx'。便于查看jieba第三方分词库对本次数据拆分是不是想要的结果。
国家：
‘国家'这一列，中国台湾没有拆分出来。
代码试了一下，发现‘中国台湾'确实拆分不了。证实了台湾确实中国不可缺失的一部分。
省份：
‘省份'这一列拆分的更加糟糕。
总结：总数据集运行时间长，切词不准确。需要优化拆分方案！
三、优化方案
在上面查看Excel文件时候发现‘login_place'字段的数据有以下特点：
- 整个数据集分类两类：‘中国'和外国；
- 中国的省份大多是两个字，除了‘黑龙江'和‘内蒙古'；
- 外国的，只有国家记录。
优化方案：
- 对国家判断，形成分支：中国和外国；
- 对于中国，再判断省份是不是‘黑龙江'和‘内蒙古'。
- 不是：可以直接切分[2:4]，提取省份。[4:]，提取地区；
- 是：[2:5]提取省份。[5:]提取地区
%%time
# 地区拆分
for i in range(df.shape[0]):
if '中国' in df.iloc[i,0] :
df.loc[i,'国家'] = '中国'
if ('内蒙古' in df.iloc[i,0]) or ('黑龙江' in df.iloc[i,0]):
# print(df.iloc[i,0])
df.loc[i,'省份'] = df.iloc[i,0][2:5]
if len(df.iloc[i,0]) > 5:
df.loc[i,'地区'] = df.iloc[i,0][5:]
else:
df.loc[i,'省份'] = df.iloc[i,0][2:4]
df.loc[i,'地区'] = df.iloc[i,0][4:]
else:
list_word = [word for word in jieba.cut(df.iloc[i,0])]
if len(list_word) == 1:
df.loc[i,'国家'] = df.iloc[i,0][0:2]
df.loc[i,'省份'] = df.iloc[i,0][2:]
else:
df.loc[i,'国家'] = list_word[0]
df.loc[i,'省份'] = list_word[1]
if i%100==0:
print(f'{round(i*100/(int(df.shape[0])),2)}%')
保存Excel文件，再次查看拆分情况。经过去重后的测试集拆分符合想要的结果。
运行未去重源数据集结果：
到此这篇关于pandas数据处理清洗实现中文地址拆分案例的文章就介绍到这了,更多相关pandas 中文地址拆分内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
今天小编就为大家分享一篇python将一组数分成每3个一组的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-11-11
在本篇文章里小编给大家整理的是一篇关于python中类与对象之间的关系详解内容，有兴趣的朋友们可以学习下。2020-12-12
这篇文章主要介绍了selenium如何定位span元素的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-01-01
这篇文章主要介绍了Python实现的爬取小说爬虫功能,结合实例形式分析了Python爬取顶点小说站上的小说爬虫功能相关实现技巧,需要的朋友可以参考下2019-03-03
Visual Studio Code搭建django项目的方法步骤
这篇文章主要介绍了Visual Studio Code搭建django项目的方法步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-09-09
本文将从零开始，仅仅利用基础的numpy库，使用Python实现一个最简单的神经网络(或者说是简易的LR，因为LR就是一个单层的神经网络)，解决一个点击率预估的问题。感兴趣的朋友跟随小白一起看看吧2018-10-10
Python实现用networkx绘制MultiDiGraph
这篇文章主要介绍了Python实现用networkx绘制MultiDiGraph方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-02-02
这篇文章主要介绍了python 中赋值,深拷贝,浅拷贝的区别，下文利用实例对三者进行详细的解析，具有一的的参考价值，需要的小伙伴可以参考一下，希望对你的学习有所帮助2022-03-03
这篇文章主要介绍了Python复制Word内容并使用格式设字体与大小实例代码，小编觉得还是挺不错的，具有一定借鉴价值，需要的朋友可以参考下2018-01-01
这篇文章主要为大家详细介绍了如何利用python实现绘制CDF图，文中的示例代码简洁易懂，具有一定的借鉴价值，感兴趣的小伙伴可以学习一下2023-08-08
最新评论