详解 16 个 Pandas 函数,让你的 “数据清洗” 能力提高 100 倍!

  • A+
所属分类:微博热搜
摘要

【CSDN 编者按】pandas对字符串的处理进行了加强,处理的单位变成了字符串的数组,更加高效,而对于缺失值,pandas中的矢量化字符串函数还能够自动跳过。

详解 16 个 Pandas 函数,让你的 “数据清洗” 能力提高 100 倍!

csDN 编者按】pandas对字符串的处理进行了加强,处理的单位变成了字符串的数组,更加高效,而对于缺失值,pandas中的矢量化字符串函数还能够自动跳过。


作者 | 黄伟呢      责编 | 欧阳姝黎

详解 16 个 Pandas 函数,让你的 “数据清洗” 能力提高 100 倍!

本文介绍


你有没有这样一种感觉,为什么到自己手上的数据,总是乱七八糟?
详解 16 个 Pandas 函数,让你的 “数据清洗” 能力提高 100 倍!
作为一个数据分析师来说,数据清洗是必不可少的环节。有时候由于数据太乱,往往需要花费我们很多时间去处理它。因此掌握更多的数据清洗方法,会让你的能力调高100倍。
本文基于此,讲述Pandas中超级好用的str矢量化字符串函数,学了之后,瞬间感觉自己的数据清洗能力提高了。
详解 16 个 Pandas 函数,让你的 “数据清洗” 能力提高 100 倍!

详解 16 个 Pandas 函数,让你的 “数据清洗” 能力提高 100 倍!

1个数据集,16个Pandas函数


数据集是黄同学精心为大家编造,只为了帮助大家学习到知识。数据集如下:
import pandas as pd

df ={'姓名':[' 黄同学','黄至尊','黄老邪 ','陈大美','孙尚香'],
     '英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'],
     '性别':['男','women','men','女','男'],
     '身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'],
     '身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'],
     '家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'],
     '电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'],
     '收入':['1.1万','8.5千','0.9万','6.5千','2.0万']}
df = pd.DataFrame(df)
df
结果如下:
详解 16 个 Pandas 函数,让你的 “数据清洗” 能力提高 100 倍!
观察上述数据,数据集是乱的。接下来,我们就用16个Pandas来对上述数据,进行数据清洗。
① cat函数:用于字符串的拼接
df["姓名"].str.cat(df["家庭住址"],sep='-'*3)
结果如下:
详解 16 个 Pandas 函数,让你的 “数据清洗” 能力提高 100 倍!
② contains:判断某个字符串是否包含给定字符
df["家庭住址"].str.contains("广")
结果如下:
详解 16 个 Pandas 函数,让你的 “数据清洗” 能力提高 100 倍!
③ startswith/endswith:判断某个字符串是否以…开头/结尾
# 第一个行的“ 黄伟”是以空格开头的
df["姓名"].str.startswith("黄"
df["英文名"].str.endswith("e")
结果如下:
详解 16 个 Pandas 函数,让你的 “数据清洗” 能力提高 100 倍!
④ count:计算给定字符在字符串中出现的次数
df["电话号码"].str.count("3")
结果如下:
详解 16 个 Pandas 函数,让你的 “数据清洗” 能力提高 100 倍!
⑤ get:获取指定位置的字符串
df["姓名"].str.get(-1)
df["身高"].str.split(":")
df["身高"].str.split(":").str.get(0)
结果如下:
详解 16 个 Pandas 函数,让你的 “数据清洗” 能力提高 100 倍!
⑥ len:计算字符串长度
df["性别"].str.len()
结果如下:
详解 16 个 Pandas 函数,让你的 “数据清洗” 能力提高 100 倍!
⑦ upper/lower:英文大小写转换
df["英文名"].str.upper()
df["英文名"].str.lower()
结果如下:
详解 16 个 Pandas 函数,让你的 “数据清洗” 能力提高 100 倍!
⑧ pad+side参数/center:在字符串的左边、右边或左右两边添加给定字符
df["家庭住址"].str.pad(10,fillchar="*")      # 相当于ljust()
df["家庭住址"].str.pad(10,side="right",fillchar="*")    # 相当于rjust()
df["家庭住址"].str.center(10,fillchar="*")
结果如下:
详解 16 个 Pandas 函数,让你的 “数据清洗” 能力提高 100 倍!
⑨ repeat:重复字符串几次
df["性别"].str.repeat(3)
结果如下:
详解 16 个 Pandas 函数,让你的 “数据清洗” 能力提高 100 倍!
⑩ slice_replace:使用给定的字符串,替换指定的位置的字符
df["电话号码"].str.slice_replace(4,8,"*"*4)
结果如下:
详解 16 个 Pandas 函数,让你的 “数据清洗” 能力提高 100 倍!
⑪ replace:将指定位置的字符,替换为给定的字符串
df["身高"].str.replace(":","-")
结果如下:
详解 16 个 Pandas 函数,让你的 “数据清洗” 能力提高 100 倍!
⑫ replace:将指定位置的字符,替换为给定的字符串(接受正则表达式)
  • replace中传入正则表达式,才叫好用;
  • 先不要管下面这个案例有没有用,你只需要知道,使用正则做数据清洗多好用;
df["收入"].str.replace("d+.d+","正则")
结果如下:
详解 16 个 Pandas 函数,让你的 “数据清洗” 能力提高 100 倍!
⑬ split方法+expand参数:搭配join方法功能很强大
# 普通用法
df["身高"].str.split(":")
# split方法,搭配expand参数
df[["身高描述","final身高"]] = df["身高"].str.split(":",expand=True)
df
# split方法搭配join方法
df["身高"].str.split(":").str.join("?"*5)
结果如下:
详解 16 个 Pandas 函数,让你的 “数据清洗” 能力提高 100 倍!
⑭ strip/rstrip/lstrip:去除空白符、换行符
df["姓名"].str.len()
df["姓名"] = df["姓名"].str.strip()
df["姓名"].str.len()
结果如下:
详解 16 个 Pandas 函数,让你的 “数据清洗” 能力提高 100 倍!
⑮ findall:利用正则表达式,去字符串中匹配,返回查找结果的列表
  • findall使用正则表达式,做数据清洗,真的很香!
df["身高"]
df["身高"].str.findall("[a-zA-Z]+")
结果如下:
详解 16 个 Pandas 函数,让你的 “数据清洗” 能力提高 100 倍!
⑯ extract/extractall:接受正则表达式,抽取匹配的字符串(一定要加上括号)
df["身高"].str.extract("([a-zA-Z]+)")
# extractall提取得到复合索引
df["身高"].str.extractall("([a-zA-Z]+)")
# extract搭配expand参数
df["身高"].str.extract("([a-zA-Z]+).*?([a-zA-Z]+)",expand=True)
结果如下:
详解 16 个 Pandas 函数,让你的 “数据清洗” 能力提高 100 倍!
今天的文章,黄同学就为你讲述到这里,希望能够对你有所帮助。

详解 16 个 Pandas 函数,让你的 “数据清洗” 能力提高 100 倍!

关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

*文章为作者独立观点,不代表 爱尖刀 立场
本文由 发表,转载此文章须经作者同意,并请附上出处( 爱尖刀 )及本页链接。
原文链接 http://www.ijiandao.com/2b/baijia/406990.html
weinxin
关注公众号
更多精彩推荐!

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: