做数据分析，最烦人的是，数据本身太脏。
如何处理数据，让脏数据变成好数据？
分享几个我在平时数据分析工作中常用的小技巧。

1.拿到一张表，第一件事不是算平均值，而是看缺失值。
如果一列数据里空值超过一半，直接删掉这列，别犹豫。如果空值只是零星几个，用同组的平均值填进去，或者干脆把那几行删了，别让空值干扰后续计算。
2.日期格式经常出问题。
系统导出来的日期可能是文本，也可能是带时间的字符串。统一转成标准日期格式，把时分秒去掉，只保留年月日。这样筛选数据的时候，才不会漏掉同一天的记录。
3.处理重复值。
Excel里用条件格式标红，Python里用drop_duplicates。重点看主键，比如订单号或者身份证号，如果主键重复，必须删掉，否则统计金额的时候会翻倍。
4.文本数据要清洗。
去掉前后的空格，把全角字符转成半角，英文统一转小写。很多人名或者地址对不上，就是因为多了个空格，或者大小写不一致。
5.分类汇总前，先给数据排序。
按时间排，能看出趋势；按金额排，能快速定位异常大值。排序能帮你发现很多一眼看不出来的逻辑错误。
6.处理大文件，别直接用Excel打开。
超过10万行，Excel就会卡顿甚至崩溃。用Power Query或者Python的Pandas库，或者更简单的FineDatalink，不仅处理速度快，还不占内存。
7.记得备份原始数据。
不管你用什么工具，动手清洗前，先复制一份原始文件。一旦清洗逻辑错了，还能回滚，不用再去系统里重新导数据。

总而言之，数据处理的技巧，核心就是先清洗再计算，先备份再动手。