用Python进行数据清洗办法，这几种都很常见！
发布时间：2021-08-21 12:08:25 所属栏目：大数据 来源：互联网
导读：在数据分析中，数据清洗是一个必备阶段。数据分析所使用的数据一般都很庞大，致使数据不可避免的出现重复、缺失、格式错误等异常数据，如果忽视这些异常数据，可能导致分析结果的准确性。 用以下数据为例，进行讲解数据清洗常用方式： 下面的操作只做示例，
|
在数据分析中，数据清洗是一个必备阶段。数据分析所使用的数据一般都很庞大，致使数据不可避免的出现重复、缺失、格式错误等异常数据，如果忽视这些异常数据，可能导致分析结果的准确性。
用以下数据为例，进行讲解数据清洗常用方式：
下面的操作只做示例，具体数据的清洗方式要根据数据特性进行选择！
重复值处理
重复值处理，一般采用直接删除重复值的方式。在pandas中，可以用duplicated函数进行查看和drop_duplicates函数删除重复数据。
如下所示，可以通过duplicated函数查看重复的数据:
需要删除重复值时，可直接用drop_duplicates函数完成：
缺失值处理
缺失值与重复值一样，都是数据中比较常见的问题，必须进行处理才能进行下一步分析，保证分析的准确性。缺失值在数据中一般用NaN表示，在处理缺失值时，一般采用删除和填补方式进行处理。但在实际中，缺失值的处理是一件非常困难的事情，删除和填补方式都无法解决，最后只能留着。
在pandas中，其有多种方式查看和处理缺失值的方法。
查看缺失值
最为基础的可以通过isnull和notnul，或者info函数来实现。
用info函数可以很清楚的知道每一列的缺失值情况，进而做出判断处理：
isnull函数为判断序列元素是否为缺失，notnul函数判断序列元素是否不为缺失，二者在本质上是一样的。而二者在数据量庞大时，效果很差。所以一般不会单独使用，而是配合其它方法进行使用。
查看某列缺失值所在的行：
isnull函数配合sum函数计算每列缺失值的个数：
在多数查看缺失值中，经常会采用计算缺失值在列中占比的方式，判断缺失对数据具有多大的影响，从而选择是删除数据还是填补数据。计算占比可使用以下方式：
df.apply(lambda x: x.isnull().sum()/x.size)
x.size为各个数据列总行数：
缺失值删除
删除缺失值的情形，一般是在不会影响分析结果、造成的影响无伤大雅，或者难以填补的时候采用。
在pandas中，可以直接用dropna函数进行删除所有含有缺失值的行，或者选择性删除含有缺失值到的行：
缺失值填补
在无法直接删除缺失值时，或者包含缺失值的行具有很多而无法选择性删除时，填补是最佳的选择，但填补的方式要根据数据来选择，否则填补的数据依然会影响分析的准确性。
在pandas中，可以使用fillna函数完成对缺失值的填补，例如对表中的体重列进行填补，填补方法为中位数：
或者用平均值填补：
也可以用pandas中的ffill函数对缺失值进行前向填补，但在前向填补时需要注意各个列数据的情况：
但可以看到，体重列的第一行未填补完成，而pandas中提供了bfill函数进行后向填补：
数据类型转换
数据类型关乎后面的数据处理和数据可视化，不同的数据类型处理和进行可视化的用法都不一样，因此，事先把数据的类型转换好，利于后面的相关步骤。
在pandas中，可以用info和dtypes方法进行查看数据类型:
常用的数据类型包括str（字符型）、float（浮点型）和int（整型）。当某列数据的类型出现错误时，可通过astype函数进行强制转换数据类型。例如下面通过astype函数对数值型列转换为字符型：
文本处理
在数据中，文本在某种程度上可以说是最‘脏’的数据，不管在录入的数据，还是爬取的数据，总会出现各种各样的‘脏’数据，处理难度非常高。在处理中，主要是切分字符串、值替换。
pandas提供了df.str.split.str()方法对字符串的切割，以下通过此方法获得地级市名称：
对于一些多数词，可以通过df.str.replace()方法进行增加、替换或者删除：
 （编辑：东莞站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐