단순선형회귀
하나의 독립 변수(X)와 하나의 종속 변수(Y) 간의 관계를 직선으로 모델링하는 방법.
☑️ 회귀식
Y = β0 + β1X, 여기서 β0는 절편, β1는 기울기
중학교 때 배웠던 1차함수를 생각하면 이해하기 쉬움!
☑️ 특징
독립 변수의 변화에 따라 종속 변수가 어떻게 변화하는지 설명하고 예측.
데이터가 직선적 경향을 따를 때 사용합니다.
간단하고 해석이 용이합니다.
데이터가 선형적이지 않을 경우 적합하지 않습니다.
단순선형회귀는 어떨 때 사용할까?
☑️ 하나의 독립변수와 종속변수와의 관계를 분석 및 예측
광고비(X)와 매출(Y) 간의 관계 분석.
현재의 광고비를 바탕으로 예상되는 매출을 예측 가능.
다중선형회귀
두 개 이상의 독립 변수(X1, X2, ..., Xn)와 하나의 종속 변수(Y) 간의 관계를 모델링.
☑️ 회귀식
Y = β0 + β1X1 + β2X2 + ... + βnXn
☑️ 특징
여러 독립 변수의 변화를 고려하여 종속 변수를 설명하고 예측
종속변수에 영향을 미치는 여러 독립변수가 있을 때 사용합니다.
여러 변수의 영향을 동시에 분석할 수 있습니다.
변수들 간의 다중공선성 문제가 발생할 수 있습니다.
다중공선성(Multicollinearity)은 회귀분석에서 독립 변수들 간에 높은 상관관계가 있는 경우를 말합니다.
이는 회귀분석 모델의 성능과 해석에 여러 가지 문제를 일으킬 수 있습니다.
독립 변수들이 서로 강하게 상관되어 있으면, 각 변수의 개별적인 효과를 분리해내기 어려워져 회귀의 해석을 어렵게 만듭니다.
다중공선성으로 인해 실제로 중요한 변수가 통계적으로 유의하지 않게 나타날 수 있습니다.
가장 간단한 방법으로는 상관계수를 계산하여 상관계수가 높은(약 0.7) 변수들이 있는지 확인해볼 수 있습니다.
더 정확한 방법으로는 분산 팽창 계수 (VIF)를 계산하여 VIF값이 10이 높은지 확인하는 방법으로 다중공선성이 높다고 판단할 수 있습니다.
다중공선성 해결 방법
가장 간단한 방법으로는 높은 계수를 가진 변수 중 하나를 제거하는 것입니다.
혹은 주성분 분석(PCA)과 같은 변수들을 효과적으로 줄이는 차원 분석 방법을 적용하여 해결할 수도 있습니다.
다중선형회귀는 어떨 때 사용할까?
다양한 광고비(TV, Radio, Newspaper)과 매출 간의 관계 분석.
현재의 광고비(TV, Radio, Newspaper)를 바탕으로 예상되는 매출을 예측 가능.
범주형 변수 종류
예를 들어 성별(남, 여), 지역(도시, 시골) 등이 있으며, 더미 변수로 변환하여 회귀 분석에 사용.
옷의 사이즈 (L, M, …), 수능 등급 (1등급, 2등급, ….)과 같이 범주형 변수라도 순서가 있는 변수에 해당한다
이런 경우 각 문자를 임의의 숫자로 변환해도 문제가 없다 (순서가 잘 반영될 수 있게 숫자로 변환)
ex) XL → 3, L → 2, M → 1, S → 0
성별 (남,여), 지역 (부산, 대구, 대전, …) 과 같이 순서가 없는 변수에 해당한다
2개 밖에 없는 경우 임의의 숫자로 바로 변환해도 문제가 없지만
3개 이상인 경우에는 무조건 원-핫 인코딩(하나만 1이고 나머지는 0인 벡터)변환을 해주어야 한다 → pandas의 get_dummies를 활용하여 쉽게 구현 가능
ex) 부산 = [1,0,0,0], 대전 = [0,1,0,0], 대구 = [0,0,1,0], 광주 = [0,0,0,1]
범주형 변수는 어떻게 사용할까?
성별, 근무 경력과 연봉 간의 관계.
성별과 근무 경력이라는 요인변수 중 성별이 범주형 요인변수에 해당
해당 변수를 더미 변수로 변환
회귀 수행
다항회귀
독립 변수와 종속 변수 간의 관계가 선형이 아닐 때 사용. 독립 변수의 다항식을 사용하여 종속 변수를 예측.
데이터가 곡선적 경향을 따를 때 사용합니다.
비선형 관계를 모델링할 수 있습니다.
고차 다항식의 경우 과적합(overfitting) 위험이 있습니다.
다항회귀는 어떨 때 사용할까?
독립변수와 종속변수의 관계가 비선형 관계일 때 사용
주택 가격 예측(면적과 가격 간의 비선형 관계)
스플라인 회귀
독립 변수의 구간별로 다른 회귀식을 적용하여 복잡한 관계를 모델링
구간마다 다른 다항식을 사용하여 전체적으로 매끄러운 곡선을 생성합니다.
데이터가 국부적으로 다른 패턴을 보일 때 사용합니다.
복잡한 비선형 관계를 유연하게 모델링할 수 있습니다.
적절한 매듭점(knots)의 선택이 중요합니다.