Extreme Studentized Deviation(ESD) 이용한 이상치 발견
데이터가 정규분포를 따른다고 가정할 때, 평균에서 표준편차의 3배 이상 떨어진 값
모든 데이터가 정규 분포를 따르지 않을 수 있기 때문에 다음 상황에서는 제한됨
IQR(Inter Quantile Range)를 이용한 이상치 발견
ESD와 동일하게 데이터가 비대칭적이거나 샘플사이즈가 작은 경우 제한됨
Box plot: 데이터의 사분위 수를 포함하여 분포를 보여주는 시각화 그래프, 상자-수염 그림이라고도 함
이상치가 분포에 크게 어긋나는 특이한 데이터라면, 결측치(Missing Value)는 존재하지 않는 데이터이다.
수치형 데이터
평균 값 대치: 대표적인 대치 방법
중앙값 대치: 데이터에 이상치가 많아 평균 값이 대표성이 없다면 중앙 값을 이용
Ex) 이상치는 평균 값을 흔들리게 함
범주형 데이터
최빈값 대치
사용 함수
df.dropna(axis = 0): 행 삭제
df.dropna(axis = 1): 열 삭제
Boolean Indexing
df.fillna(value): 특정 값으로 대치(평균, 중앙, 최빈값)
알고리즘을 이용
sklearn.impute.SimpleImputer:평균, 중앙, 최빈값으로 대치
SimpleImputer.statistics_ : 대치한 값 확인 가능
sklearn.impute.IterativeImputer: 다변량대치(회귀 대치)
sklearn.impute.KNNImputer: KNN 알고리즘을 이용한 대치