isnull()判断缺失值（isnull判断缺失值代码）

4.坏数据处理(丢弃、填补)

II.通过布尔过滤，丢弃掉数据：III. drop_duplicates（） 方法更简单的完成去重（本例只希望根据one列判断重复项）：dropna（） 方法可以丢弃缺失值相关数据。丢弃所有列均为缺失值的行，并且替换原来的对象：isnull（） ：对Pandas对象中的所有数值进行逐一判断，返回一个同样大小的对象。

常用的数据清洗方法主要有以下四种：丢弃、处理和真值转换。让我们来看看这四种常见的数据清洗方法。丢弃部分数据 丢弃，即直接删除有缺失值的行记录或列字段，以减少趋势数据记录对整体数据的影响，从而提高数据的准确性。

均值插补。数据的属性分为定距型和非定距型。如果缺失值是定距型的，就以该属性存在值的平均值来插补缺失的值；如果缺失值是非定距型的，就根据统计学中的众数原理，用该属性的众数（即出现频率最高的值）来补齐缺失的值。利用同类均值插补。

这种方法简单易行，在对象有多个属性缺失值、被删除的含缺失值的对象与初始数据集的数据量相比非常小的情况下非常有效，类标号缺失时通常使用该方法。然而，这种方法却有很大的局限性。它以减少历史数据来换取信息的完备，会丢弃大量隐藏在这些对象中的信息。

单元无回答的缺失数据处理方法如下：K近邻填补法（KNN）根据欧式距离或相关分析来确定距离具有缺失数据个案最近的K个个案，将这K个值加权平均来估计出待填补的数据。KNN是一种建模预测的方法，将缺失的属性作为预测目标来预测。

t检验（罗马诺夫斯基准则）罗马诺夫斯基准则延续了狄克逊的思路，同样关注数据端点的异常。通过比较x（1）和x（n）与其余数据的差异，如果它们的偏差超出了特定阈值，就可能被剔除。在处理异常数据时，既要保证数据的准确性和可靠性，也要确保剔除过程的合理性。