[preprocess] NaN 값 없애기_Python

데이터를 처리하다 보면 아래처럼 값이 아예 비워져 있는 경우가 종종 있다. 

저렇게 되어버린경우, 종종 Pandas나, numpy를 돌리면 에러가 발생한다.

그렇다고 수천, 수만줄이 되는 모든 데이터를 일일히 확인할 수 없다. 

import pandas as pd

data = pd.read_csv('./all_data_modify.csv')

colums = data.columns

for i in colums : 
    data[i] = data[i].fillna(method='ffill')

f_data = pd.DataFrame(data)
f_data.to_csv('data_preprocess.csv', index=False)

7줄정도만 되는 python 코드로 엑셀 불러오기, 데이터 채우고 새로운 파일 생성하기를 한번에 끝낼수 있다.

fillna 함수에서 method를 'ffill'로 할 경우 결측값을 바로 위 값과 동일하게 변경한다.

아래값과 동일하게 수정하고 싶다면 'bfill' 을 사용하면 된다

 

역시 파이썬이 최고다 ㅎㅎ