數據清洗是一項復雜且繁瑣的工作,同時也是整個數據分析過程中最為重要的環節。
在python中空值被顯示為NaN。首先,我們要構造一個包含NaN的DataFrame對象。
>>> import numpy as np>>> import pandas as pd>>> from pandas import Series,DataFrame>>> from numpy import nan as NaN>>> data = DataFrame([[12,'man','13865626962'],[19,'woman',NaN],[17,NaN,NaN],[NaN,NaN,NaN]],columns=['age','sex','phone'])>>> data age sex phone0 12.0 man 138656269621 19.0 woman NaN2 17.0 NaN NaN3 NaN NaN NaN
刪除NaN
刪除NaN所在的行
刪除表中全部為NaN的行
>>> data.dropna(axis=0, how='all') age sex phone0 12.0 man 138656269621 19.0 woman NaN2 17.0 NaN NaN
刪除表中任何含有NaN的行
>>> data.dropna(axis=0, how='any') age sex phone0 12.0 man 13865626962
刪除NaN所在的列
刪除表中全部為NaN的列
>>> data.dropna(axis=1, how='all') age sex phone0 12.0 man 138656269621 19.0 woman NaN2 17.0 NaN NaN3 NaN NaN NaN
刪除表中任何含有NaN的列
>>> data.dropna(axis=1, how='any')Empty DataFrameColumns: []Index: [0, 1, 2, 3]
注意:axis 就是”軸,數軸“的意思,對應多維數組里的”維“。此處作者的例子是二維數組,所以,axis的值對應表示:0軸(行),1軸(列)。
填充NaN
如果不想過濾(去除)數據,我們可以選擇使用fillna()方法填充NaN,這里,作者使用數值'0'替代NaN,來填充DataFrame。
>>> data.fillna(0) age sex phone0 12.0 man 138656269621 19.0 woman 02 17.0 0 03 0.0 0 0
我們還可以通過字典來填充,以實現對不同的列填充不同的值。
>>> data.fillna({'sex':233,'phone':666}) age sex phone0 12.0 man 138656269621 19.0 woman 6662 17.0 233 6663 NaN 233 666
以上這篇數據清洗--DataFrame中的空值處理方法就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持武林站長站。
新聞熱點
疑難解答