ideas30180 님의 블로그

QAQC본캠프 36일차

ideas30180 — Thu, 2 Jul 2026 20:53:16 +0900

오늘은 기존의 단순선형회귀에서 한 단계 확장해, 실제 데이터에 더 잘 대응하기 위한 회귀 모델 확장 방법을 학습했다.

단순선형회귀는 하나의 X 변수로 Y를 예측하는 방식이다.

y = b0 + b1x

하지만 실제 데이터는 단순한 직선 관계로 설명되지 않는 경우가 많다.
그래서 입력 변수를 추가하거나, 기존 변수를 변형해서 모델이 더 복잡한 패턴을 학습할 수 있게 만든다.

2. 단순선형회귀와 다항회귀 차이

단순선형회귀는 데이터의 흐름을 직선으로 설명한다.

반면, 다항회귀는 x² 같은 항을 추가해서 데이터의 흐름을 곡선으로 설명할 수 있다.

단순선형회귀:
y = b0 + b1x

다항회귀:
y = b0 + b1x + b2x²

즉, 데이터가 직선 형태가 아니라 휘어진 형태를 보이면 단순선형회귀보다 다항회귀가 더 적합할 수 있다.

3. 수치형 데이터와 범주형 데이터

데이터는 크게 수치형 데이터와 범주형 데이터로 나눌 수 있다.

수치형 데이터

수치형 데이터는 숫자로 표현되는 데이터다.

구분설명예시

연속형 데이터	값 사이가 무한히 나눠질 수 있음	키, 몸무게
이산형 데이터	값 사이가 유한하게 나눠짐	주사위 눈, 나이

범주형 데이터

범주형 데이터는 특정 그룹이나 종류를 나타내는 데이터다.

구분설명예시

순서형 자료	순서 의미가 있음	학점, 등급
명목형 자료	순서 의미가 없음	혈액형, 성별

4. 범주형 데이터 인코딩

머신러닝 모델은 기본적으로 숫자를 기반으로 학습한다.
따라서 성별, 혈액형, 날짜처럼 문자나 범주로 표현된 데이터는 그대로 사용할 수 없다.

이런 데이터를 숫자로 바꾸는 과정을 인코딩(Encoding) 이라고 한다.

예를 들어 성별 데이터가 있다면 다음처럼 바꿀 수 있다.

남성 → 0
여성 → 1

하지만 명목형 데이터는 순서 의미가 없기 때문에 단순히 숫자를 부여할 때 주의해야 한다.
모델이 1이 0보다 크다는 식으로 잘못 해석할 수 있기 때문이다.

5. 오늘의 실습 흐름

오늘 실습의 흐름은 다음과 같다.

범주형 데이터 확인
범주형 데이터를 숫자로 인코딩
회귀 모델 훈련
모델 학습
예측 결과 평가

핵심은 모델에 넣기 전 데이터 형태를 맞춰야 한다는 것이다.
좋은 모델을 쓰는 것도 중요하지만, 그 전에 데이터를 모델이 이해할 수 있는 형태로 바꾸는 전처리가 중요하다는 점을 다시 확인했다.

6. 오늘의 핵심 인사이트

오늘 학습하면서 가장 중요하게 느낀 점은 다음이다.

회귀 모델의 성능은 단순히 모델 자체보다도
어떤 변수를 넣고, 데이터를 어떻게 변환하느냐에 크게 영향을 받는다.

단순선형회귀로 설명이 부족한 데이터는 변수 추가나 다항식 변환을 통해 더 잘 설명할 수 있다.
또한 범주형 데이터는 인코딩을 거쳐야 머신러닝 모델에 사용할 수 있다.

즉, 머신러닝에서 중요한 것은 단순히 알고리즘을 실행하는 것이 아니라,
데이터의 특성을 이해하고 모델이 학습 가능한 형태로 설계하는 과정이다.

QAQC본캠프 35일차

ideas30180 — Wed, 1 Jul 2026 20:16:28 +0900

오늘은 tips 데이터를 활용해서 선형회귀 모델을 적용하는 실습을 했다.
이번 실습의 핵심은 total_bill을 독립변수 X로 두고, tip을 종속변수 Y로 설정하여 전체 지불금액이 팁 금액에 어떤 영향을 주는지 확인하는 것이었다. 자료에서도 total_bill은 전체 지불금액, tip은 팁 금액으로 설명되어 있다.

핵심 개념

선형회귀는 독립변수와 종속변수 사이의 선형 관계를 학습하는 모델이다.

이번 실습에서는 다음과 같은 구조로 분석을 진행했다.

X = tips_df[['total_bill']]
y = tips_df['tip']

즉,

전체 지불금액 total_bill → 팁 금액 tip 예측

이라는 관계를 모델로 학습하는 것이다.

실습 흐름

from sklearn.linear_model import LinearRegression

X = tips_df[['total_bill']]
y = tips_df['tip']

model = LinearRegression()
model.fit(X, y)

print(model.coef_)
print(model.intercept_)
print(model.score(X, y))

LinearRegression() : 선형회귀 모델 생성
fit(X, y) : 데이터 학습
coef_ : 회귀계수
intercept_ : 절편
score(X, y) : 결정계수 R² 확인
predict() : 새로운 데이터에 대한 예측

이해한 점

total_bill과 tip은 모두 연속형 변수이기 때문에 선형회귀 분석에 사용할 수 있다.
회귀계수가 양수라면 전체 지불금액이 증가할수록 팁 금액도 증가하는 경향이 있다고 해석할 수 있다.

또한 결정계수 R²를 통해 total_bill이 tip을 얼마나 잘 설명하는지도 확인할 수 있다.
R² 값이 높을수록 모델이 데이터를 잘 설명한다고 볼 수 있지만, 팁 금액은 지불금액 외에도 성별, 흡연 여부, 요일, 식사 시간, 식사 인원 등의 영향을 받을 수 있기 때문에 단일 변수만으로 완벽하게 예측하기는 어렵다.

헷갈렸던 점

처음에는 coef_와 intercept_가 조금 헷갈렸다.

coef_는 X가 1 증가할 때 Y가 얼마나 변하는지를 의미한다.
intercept_는 X가 0일 때의 기본 예측값이다.

또한 X를 만들 때는 tips_df['total_bill']처럼 Series로 넣는 것이 아니라, tips_df[['total_bill']]처럼 2차원 DataFrame 형태로 넣어야 한다는 점이 중요했다.

느낀 점

선형회귀는 단순히 예측만 하는 모델이 아니라, 변수 간 관계를 식으로 해석할 수 있다는 점이 좋았다.
특히 total_bill과 tip처럼 현실적으로도 관계가 예상되는 데이터를 사용하니 회귀분석의 의미가 더 잘 이해되었다.

다음에는 total_bill 하나만 사용하는 단순 선형회귀뿐 아니라, size, day, time 같은 다른 변수도 함께 사용해서 다중 선형회귀로 확장해보고 싶다.

QAQC본캠프 34일차

ideas30180 — Tue, 30 Jun 2026 20:05:40 +0900

오늘은 scikit-learn을 활용해서 선형회귀 모델을 생성하고, 학습하고, 평가하는 기본 흐름을 학습했다.
특히 LinearRegression() 모델을 만들고, fit()으로 학습한 뒤, coef_, intercept_를 통해 회귀식을 해석하는 방법을 익혔다.

또한 회귀 모델의 성능을 평가할 때 사용하는 MSE, RMSE, MAE, R² 개념도 함께 정리했다. 학습 자료에서는 MSE를 실제값과 예측값의 차이를 제곱한 뒤 평균낸 지표로 설명하고, RMSE는 MSE에 루트를 씌워 단위를 맞춘 지표, MAE는 절댓값 기반 오차 지표로 설명한다. R²는 회귀선이 전체 데이터를 얼마나 설명할 수 있는지를 나타내는 지표이다.

1. LinearRegression import

처음에는 아래처럼 잘못 import하려고 했다.

import scikit-learn as sklearn

하지만 파이썬에서 사용할 때는 패키지명을 그대로 쓰는 것이 아니라 sklearn으로 import해야 한다.

from sklearn.linear_model import LinearRegression

model_lr = LinearRegression()

scikit-learn은 설치 이름이고, 코드에서 불러올 때는 sklearn을 사용한다는 점을 확실히 알게 되었다.

2. 모델 학습 흐름

선형회귀 모델의 기본 흐름은 다음과 같다.

from sklearn.linear_model import LinearRegression

model_lr = LinearRegression()

X = tips_df[["total_bill"]]
y = tips_df["tip"]

model_lr.fit(X, y)

여기서 중요한 점은 X는 2차원 데이터로 넣어야 한다는 것이다.

X = tips_df[["total_bill"]]

반면 아래처럼 쓰면 1차원 Series가 되기 때문에 머신러닝 모델 입력값으로 적절하지 않을 수 있다.

X = tips_df["total_bill"]

3. 회귀계수와 절편 확인

학습된 모델에서는 coef_와 intercept_를 통해 회귀식을 확인할 수 있다.

w1 = model_lr.coef_[0]
w0 = model_lr.intercept_

print(f"y = {w1:.2f}x + {w0:.2f}")

의미는 다음과 같다.

코드의미

model_lr.coef_	기울기, 회귀계수
model_lr.intercept_	절편
y = w1*x + w0	선형회귀식

coef_가 array 형태로 나오는 이유는 입력 변수가 여러 개일 수도 있기 때문이다.
입력 변수가 1개라면 model_lr.coef_[0]으로 숫자만 꺼낼 수 있다.

4. 회귀 평가 지표

회귀 모델은 예측값과 실제값의 차이를 기준으로 평가한다.

MSE

from sklearn.metrics import mean_squared_error

mse = mean_squared_error(y_true, y_pred)

MSE는 오차를 제곱한 뒤 평균낸 값이다.

MSE가 작을수록 예측값이 실제값에 가깝다.

오늘 실습 중에는 함수명을 잘못 입력해서 에러가 났다.

mean_spuared_error(y_true, y_pred2)

올바른 함수명은 다음과 같다.

mean_squared_error(y_true, y_pred2)

즉, spuared가 아니라 squared이다.

RMSE

RMSE는 MSE에 루트를 씌운 값이다.

RMSE = √MSE

MSE는 오차를 제곱하기 때문에 단위가 달라질 수 있는데, RMSE는 루트를 씌워 원래 단위에 더 가깝게 해석할 수 있다.

MAE

MAE는 오차의 절댓값을 평균낸 값이다.

MAE = |실제값 - 예측값|의 평균

제곱을 하지 않기 때문에 MSE보다 이상치의 영향을 덜 받는다.

R²

R²는 회귀선이 데이터를 얼마나 잘 설명하는지를 나타내는 지표이다.

R²가 1에 가까울수록 설명력이 높다.
R²가 0에 가까울수록 평균값으로 예측하는 것과 큰 차이가 없다.

즉, 선형회귀에서는 단순히 오차만 보는 것이 아니라, 모델이 전체 데이터의 변동성을 얼마나 설명하는지도 함께 확인해야 한다.

5. Seaborn 시각화 에러 해결

산점도를 그리다가 아래와 같은 에러가 발생했다.

sns.scatterplot(data=tips_df, X="total_bill", y="tip")

에러 원인은 X를 대문자로 쓴 것이었다.
Seaborn에서는 x, y를 소문자로 써야 한다.

sns.scatterplot(data=tips_df, x="total_bill", y="tip")

회귀선까지 함께 보고 싶다면 regplot()을 사용할 수 있다.

sns.regplot(data=tips_df, x="total_bill", y="tip")

오늘 발생한 에러 정리

에러원인해결

NameError: name 'x' is not defined	x 변수를 만들지 않음	X = df[["컬럼명"]] 생성
UnicodeDecodeError: cp949	주피터가 sklearn 객체를 HTML로 표시하다 인코딩 충돌	set_config(display="text")
NameError: mean_spuared_error	함수명 오타	mean_squared_error
unexpected keyword argument 'X'	scatterplot()에서 X 대문자 사용	x 소문자로 수정

최종 정리 코드

from sklearn import set_config
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error
import seaborn as sns
import matplotlib.pyplot as plt

set_config(display="text")

X = tips_df[["total_bill"]]
y = tips_df["tip"]

model_lr = LinearRegression()
model_lr.fit(X, y)

y_pred = model_lr.predict(X)

w1 = model_lr.coef_[0]
w0 = model_lr.intercept_

print(f"회귀식: y = {w1:.2f}x + {w0:.2f}")

mse = mean_squared_error(y, y_pred)
print("MSE:", mse)

sns.regplot(data=tips_df, x="total_bill", y="tip")
plt.show()

오늘의 회고

오늘은 선형회귀의 전체 흐름을 직접 실습하면서, 단순히 모델을 만드는 것보다 데이터 형태, 함수명, 매개변수 이름을 정확히 쓰는 것이 중요하다는 것을 느꼈다.

특히 X는 머신러닝 모델의 입력값이라 2차원 형태로 준비해야 하고, coef_, intercept_를 통해 모델이 만든 회귀식을 직접 해석할 수 있다는 점이 중요했다.

또한 MSE, RMSE, MAE, R²는 회귀 모델을 평가할 때 각각 다른 관점에서 모델 성능을 보여주기 때문에, 앞으로 회귀분석을 할 때는 단순히 예측만 하는 것이 아니라 모델이 얼마나 잘 맞는지 평가하는 과정까지 함께 진행해야겠다.

QAQC본캠프 33일차

ideas30180 — Mon, 29 Jun 2026 16:21:24 +0900

1. 선형회귀란?

선형회귀는 독립변수 X와 종속변수 Y 사이의 관계를 직선으로 표현하는 방법이다.

Y = wX + b

X: 독립변수 / 원인 변수 / 설명 변수
Y: 종속변수 / 결과 변수
w: 가중치, 기울기
b: 편향, 절편

즉, X값이 주어졌을 때 Y값을 예측하는 모델이다.

2. 좋은 직선을 찾는 기준

데이터 점들을 아무 직선으로 연결하는 것이 아니라, 실제값과 예측값의 차이가 가장 작은 직선을 찾아야 한다.

Error = 실제값 - 예측값

하지만 오차는 양수와 음수가 섞이기 때문에 그냥 더하면 서로 상쇄될 수 있다.

그래서 오차를 제곱해서 모두 양수로 만든다.

오차 제곱 = Error²

3. 에러를 줄이는 과정

선형회귀의 핵심은 결국 이것이다.

예측값과 실제값의 차이인 Error를 최소화하는 직선을 찾는 것

데이터가 많아지면 오차의 총합도 자연스럽게 커질 수 있기 때문에, 전체 오차를 데이터 개수로 나누어 평균적인 오차를 계산한다.

이 개념이 나중에 MSE, RMSE 같은 회귀 평가 지표로 연결된다.

예시 해석

자료에서는 몸무게와 키 데이터를 이용해 선형회귀식을 만들면 다음과 같은 식이 나온다고 설명했다.

y = 0.86x + 109.37

이 식은 다음처럼 해석할 수 있다.

몸무게가 1kg 증가할 때마다 키는 약 0.86cm 증가하는 경향이 있다.

여기서 중요한 점은 이 식이 모든 데이터를 완벽하게 맞추는 것이 아니라, 전체 데이터를 가장 잘 설명하는 직선이라는 것이다.

오늘의 인사이트

선형회귀는 단순히 직선을 긋는 것이 아니라, 오차를 최소화하는 방향으로 가장 적절한 관계식을 찾는 과정이다.

머신러닝 관점에서는 w와 b를 잘 찾는 것이 핵심이고, 이 가중치를 찾는 과정이 이후 머신러닝 학습의 중요한 원리로 이어진다.

한 줄 정리

선형회귀는 X와 Y의 관계를 직선으로 표현하고, 실제값과 예측값의 오차가 가장 작아지는 직선을 찾는 방법이다.

QAQC본캠프 32일차

ideas30180 — Fri, 26 Jun 2026 14:33:22 +0900

Extreme Studentized Deviation(ESD) 이용한 이상치 발견

데이터가 정규분포를 따른다고 가정할 때, 평균에서 표준편차의 3배 이상 떨어진 값
모든 데이터가 정규 분포를 따르지 않을 수 있기 때문에 다음 상황에서는 제한됨

IQR(Inter Quantile Range)를 이용한 이상치 발견

ESD와 동일하게 데이터가 비대칭적이거나 샘플사이즈가 작은 경우 제한됨

Box plot: 데이터의 사분위 수를 포함하여 분포를 보여주는 시각화 그래프, 상자-수염 그림이라고도 함

이상치가 분포에 크게 어긋나는 특이한 데이터라면, 결측치(Missing Value)는 존재하지 않는 데이터이다.

수치형 데이터

평균 값 대치: 대표적인 대치 방법
중앙값 대치: 데이터에 이상치가 많아 평균 값이 대표성이 없다면 중앙 값을 이용
Ex) 이상치는 평균 값을 흔들리게 함

범주형 데이터

최빈값 대치

사용 함수

df.dropna(axis = 0): 행 삭제
df.dropna(axis = 1): 열 삭제
Boolean Indexing
df.fillna(value): 특정 값으로 대치(평균, 중앙, 최빈값)
알고리즘을 이용
sklearn.impute.SimpleImputer:평균, 중앙, 최빈값으로 대치
SimpleImputer.statistics_ : 대치한 값 확인 가능
sklearn.impute.IterativeImputer: 다변량대치(회귀 대치)
sklearn.impute.KNNImputer: KNN 알고리즘을 이용한 대치

QAQC본캠프 31일차

ideas30180 — Thu, 25 Jun 2026 16:07:00 +0900

OLTP Database: OnLine Transaction Processing 은 온라인 뱅킹,쇼핑, 주문 입력 등 동시에 발생하는 다수의 트랜잭션(데이터베이스 작업의 단위) 처리 유형

Enterprise Applications: 회사 내 데이터 (ex 고객 관계 데이터, 제품 마케팅 세일즈)

Third - Party: Google Analytics와 같은 외부소스에서 수집되는 데이터

Web/Log: 사용자의 로그데이터

Data Lake: 원시 형태의 다양한 유형의 데이터를 저장
Data Warehouse: 보다 구조화된 형태로 정제된 데이터를 저장
Data Marts: 회사의 금융, 마케팅, 영업 부서와 같이 특정 조직의 목적을 위해 가공된 데이터
BI/Analytics: business Intelligence(BI)는 의사결정에 사용될 데이터를 수집하고 분석하는 프로세스

회사 내 데이터가 존재한다면

SQL 혹은 Python 을 통해 데이터 마트를 생성

회사 내 Data가 없다면 → 데이터 수집 필요

방법1: CSV, EXCEL 파일 다운로드
방법2: API를 이용한 데이터 수집
방법3: Data Crawling

countplot: 범주형 자료의 빈도 수 시각화

방법: 범주형의 데이터의 각 카테고리별 빈도수를 나타낼 때
Ex) 상점에서 판매되는 제품의 카테고리별 판매수 파악
x축: 범주형 자료
y축: 자료의 빈도수

barplot: 범주형 자료의 시각화

방법: 데이터의 분포, 중앙값, 사분위 수, 이상치 등을 한눈에 표현하고 싶을 때
Ex) 여러 그룹간 시험 점수 분포를 비교할 때
x: 수치형 or 범주형
y: 수치형 자료

histogram: 수치형 자료 빈도 시각화

방법: 연속형 분포를 나타내고 싶을 때, 데이터가 몰려있는 구간을 파악하기 쉬움
Ex)고객들의 연령 분포를 파악 할 때
x축: 수치형 자료
y축: 자료의 빈도수

scatterplot: 수치형끼리 자료의 시각화

방법: 두 연속형 변수간의 관계를 시각적으로 파악하고 싶을 때
Ex) 키와 몸무게 간의 관계를 나타낼 때
x축: 수치형 자료
y축: 수치형 자료

pairplot: 전체 변수에 대한 시각화

방법: 한 번에 여러 개의 변수를 동시에 시각화 하고 싶을 때
x축: 범주형 or 수치형 자료
y축: 범주형 or 수치형 자료
대각선: 히스토그램(분포)

QAQC본캠프 30일차

ideas30180 — Wed, 24 Jun 2026 19:10:32 +0900

재현 가능성

동일한 연구나 실험을 반복했을 때 일관된 결과가 나오는지 여부. 연구의 신뢰성을 높이는 중요한 요소
ex) 신약을 개발할 때 실험실에서만 효과가 있는 것이 아니라 실제 상황에서도 일관된 결과가 나온다고 믿을 수 있기 때문에 개발 가능한 것
최근 p값에 대한 논쟁이 두드러지고 있음

p값을 사용하지 않는 것이 좋다, 유의수준을 0.05에서 변경하는 것이 좋다.

가설검정 원리상의 문제나 가설검정의 잘못된 사용이 낮은 재현성으로 이어진다는 문제 발생
최근 논문을 다시 재현해서 실험을 해보는데 똑같은 결과가 않나오는 사례가 많은… 재현성 위기가 문제가 되고 있음

결과가 재현되지 않는다면 해당 가설의 신뢰도가 떨어짐

재현성 위기의 원인은 무엇인가~?

실험 조건을 동일하게 조성하기 어려움

완전 동일하게 다시 똑같은 실험을 수행하는 것이 쉽지 않음
또한 가설검정 자체도 100% 검정력을 가진 것이 아니기 때문에 오차가 나타날 수 있음

가설검정 사용방법에 있어서 잘못됨

p값이 0.05가 유도되게끔 조작하는 것이 가능 (p해킹)
실제로는 통계적으로 아무 의미가 없음에도 의미가 있다고 해버리는 1종 오류를 저지를 수 있음
0.05라는 것은 100번 중에 5번 즉, 20번 중에 1번은 귀무가설이 옳음에도 불구하고 기각될 수 있음
유의수준으로 통제하는 것이 중요, 하지만, 유의수준을 너무 낮추면 베타값이 커져버리는 문제 발생…
따라서, 어떤 논문에서는 유의수준을 0.005로 설정하면서 데이터 수를 70% 더 늘려서 베타 값도 컨트롤 하는 방향을 제안하기도 함
잘못된 가설을 세우더라도 우연히 0.05보다 낮아서 가설이 맞는것처럼 보일 수도 있음. 따라서 가능한 좋은 가설을 세우는게 중요

p-해킹

데이터 분석을 반복하여 p-값을 인위적으로 낮추는 행위
유의미한 결과를 얻기 위해 다양한 변수를 시도하거나, 데이터를 계속해서 분석하는 등의 방법을 포함

p-해킹은 데이터 분석 결과의 신뢰성을 저하시킬 수 있음

여러 가설 검정을 시도하여 유의미한 p-값을 얻을 때까지 반복 분석하는 것을 조심
p-해킹은 유의미한 결과를 얻기 위해 p-값이 0.05 이하인 결과만 선택적으로 보고하는 행위를 조심
데이터의 수를 늘리다보니 특정 데이터 수를 기록할때 잠깐 p값이 0.05 이하를 기록함으로 이를 바탕으로 대립가설 채택하는 것을 조심
즉, 결과를 보며 데이터 개수를 늘려서는 안됨
다양한 상황 중에서 p값이 유리하게 나오는 상황만 선별적으로 보고하는 것을 조심
다양한 변수를 건드리며 유리한 결과가 나올 때 다시 처음 부터 가설을 그 결과에 맞게 세우는 것
즉, 마음에 드는 상황만 골라서 보고해서도 안됨. 모든 결과를 다보고하거나 더 엄격한 추가실 험을 수행
가능한 가설을 미리 세우고 검증하는 가설검증형 방식으로 분석을 해야 하며 만약 탐색적으로 분석한 경우 가능한 모든 변수를 보고하고 본페로니 보정과 같은 방법을 사용해야 함

선택적 보고

유의미한 결과만을 보고하고, 유의미하지 않은 결과는 보고하지 않는 행위
이는 데이터 분석의 결과를 왜곡하고, 신뢰성을 저하시킴

선택적 보고는 언제 조심해야하는가?

다수의 데이터 분석 중 유의미한 결과가 나온 실험만을 보고서에 작성하여 발표

미리 가설과 실험 방법등에 대해서 설정을 한다음 연구를 수행하거나 연구하는 동안 얻어진 모든 변수와 결과에 대해서 공개하지 못할 때

데이터 탐색과 검증 분리

데이터 탐색을 통해 가설을 설정하고, 이를 검증하기 위해 별도의 독립된 데이터셋을 사용하는 것
이는 데이터 과적합을 방지하고 결과의 신뢰성을 높임

탐색 데이터와 검증 데이터를 히스토그램으로 나타냄
데이터 탐색과 검증을 분리하면 탐색 과정에서 발견된 패턴이 검증 데이터에서도 유효한지 확인 가능
검증 데이터는 철저하게 탐색 데이터와 구분되어져야 함

QAQC본캠프 29일차

ideas30180 — Tue, 23 Jun 2026 19:19:46 +0900

피어슨 상관계수

가장 왼쪽 그래프가 피어슨 상관계수 그래프!
첫 번째 그래프는 파란색 점들로 나타내었으며, X와 Y의 선형 관계를 보여줍니다.
그래프에서 점들이 직선적으로 퍼져 있으며, 상관계수는 0.99로 매우 강한 양의 선형 관계를 나타냅니다.

두 연속형 변수 간의 선형 관계를 측정하는 지표
-1에서 1 사이의 값을 가지며
1은 완전한 양의 선형 관계
-1은 완전한 음의 선형 관계
0은 선형 관계가 없음을 의미

피어슨 상관계수는 언제 사용할까?

선형적인 관계가 예상 될 때

공부 시간과 시험 점수 간의 상관관계 분석

비선형 관계에선 사용할 수 없음

비모수 상관계수

두 번째 그래프가 스피어만 상관계수 그림!

초록색 점들로 나타내었으며, X와 Y의 순위 관계를 보여줍니다.
스피어만 상관계수는 두 변수의 순위 간의 상관 관계를 측정합니다.
값은 -1에서 1 사이로 해석됩니다.

세 번째 그래프가 켄달의 타우 상관계수

빨간색 점들로 나타내었으며, X와 Y의 비선형 관계를 보여줍니다.
켄달의 타우는 두 변수 간의 순위 일관성을 측정합니다. 비선형 관계를 탐지하는 데 유용합니다.

데이터가 정규분포를 따르지 않거나 변수들이 순서형 데이터일 때 사용하는 상관계수
데이터의 분포에 대한 가정 없이 두 변수 간의 상관관계를 측정할 때 사용
대표적으로 스피어만 상관계수와 켄달의 타우 상관계수가 있음

가. 스피어만 상관계수

두 변수의 순위 간의 일관성을 측정
켄달의 타우 상관계수 보다 데이터 내 편차와 에러에 민감

나. 켄달의 타우 상관계수

순위 간의 일치 쌍 및 불일치 쌍의 비율을 바탕으로 계산
ex) 예를들어 사람의 키와 몸무게에 대해 상관계수를 알고자 할 때 키가 크고 몸무게도 더 나가면 일치 쌍에 해당, 키가 크지만 몸무게가 더 적으면 불일치 쌍에 해당 이들의 개수 비율로 상관계수를 결정

비모수 상관계수는 언제 사용할까?

데이터의 분포에 대한 가정을 하지 못할 때
순서형 데이터에서도 사용하고 싶을 때

QAQC본캠프 28일차

ideas30180 — Mon, 22 Jun 2026 19:23:45 +0900

단순선형회귀

하나의 독립 변수(X)와 하나의 종속 변수(Y) 간의 관계를 직선으로 모델링하는 방법.
☑️ 회귀식
Y = β0 + β1X, 여기서 β0는 절편, β1는 기울기
중학교 때 배웠던 1차함수를 생각하면 이해하기 쉬움!
☑️ 특징
독립 변수의 변화에 따라 종속 변수가 어떻게 변화하는지 설명하고 예측.
데이터가 직선적 경향을 따를 때 사용합니다.
간단하고 해석이 용이합니다.
데이터가 선형적이지 않을 경우 적합하지 않습니다.

단순선형회귀는 어떨 때 사용할까?
☑️ 하나의 독립변수와 종속변수와의 관계를 분석 및 예측
광고비(X)와 매출(Y) 간의 관계 분석.
현재의 광고비를 바탕으로 예상되는 매출을 예측 가능.

다중선형회귀

두 개 이상의 독립 변수(X1, X2, ..., Xn)와 하나의 종속 변수(Y) 간의 관계를 모델링.
☑️ 회귀식
Y = β0 + β1X1 + β2X2 + ... + βnXn
☑️ 특징
여러 독립 변수의 변화를 고려하여 종속 변수를 설명하고 예측
종속변수에 영향을 미치는 여러 독립변수가 있을 때 사용합니다.
여러 변수의 영향을 동시에 분석할 수 있습니다.
변수들 간의 다중공선성 문제가 발생할 수 있습니다.

다중공선성(Multicollinearity)은 회귀분석에서 독립 변수들 간에 높은 상관관계가 있는 경우를 말합니다.

이는 회귀분석 모델의 성능과 해석에 여러 가지 문제를 일으킬 수 있습니다.

독립 변수들이 서로 강하게 상관되어 있으면, 각 변수의 개별적인 효과를 분리해내기 어려워져 회귀의 해석을 어렵게 만듭니다.
다중공선성으로 인해 실제로 중요한 변수가 통계적으로 유의하지 않게 나타날 수 있습니다.

가장 간단한 방법으로는 상관계수를 계산하여 상관계수가 높은(약 0.7) 변수들이 있는지 확인해볼 수 있습니다.
더 정확한 방법으로는 분산 팽창 계수 (VIF)를 계산하여 VIF값이 10이 높은지 확인하는 방법으로 다중공선성이 높다고 판단할 수 있습니다.

다중공선성 해결 방법

가장 간단한 방법으로는 높은 계수를 가진 변수 중 하나를 제거하는 것입니다.
혹은 주성분 분석(PCA)과 같은 변수들을 효과적으로 줄이는 차원 분석 방법을 적용하여 해결할 수도 있습니다.

다중선형회귀는 어떨 때 사용할까?

다양한 광고비(TV, Radio, Newspaper)과 매출 간의 관계 분석.
현재의 광고비(TV, Radio, Newspaper)를 바탕으로 예상되는 매출을 예측 가능.

범주형 변수 종류

예를 들어 성별(남, 여), 지역(도시, 시골) 등이 있으며, 더미 변수로 변환하여 회귀 분석에 사용.

옷의 사이즈 (L, M, …), 수능 등급 (1등급, 2등급, ….)과 같이 범주형 변수라도 순서가 있는 변수에 해당한다
이런 경우 각 문자를 임의의 숫자로 변환해도 문제가 없다 (순서가 잘 반영될 수 있게 숫자로 변환)
ex) XL → 3, L → 2, M → 1, S → 0

성별 (남,여), 지역 (부산, 대구, 대전, …) 과 같이 순서가 없는 변수에 해당한다
2개 밖에 없는 경우 임의의 숫자로 바로 변환해도 문제가 없지만
3개 이상인 경우에는 무조건 원-핫 인코딩(하나만 1이고 나머지는 0인 벡터)변환을 해주어야 한다 → pandas의 get_dummies를 활용하여 쉽게 구현 가능
ex) 부산 = [1,0,0,0], 대전 = [0,1,0,0], 대구 = [0,0,1,0], 광주 = [0,0,0,1]

범주형 변수는 어떻게 사용할까?

성별, 근무 경력과 연봉 간의 관계.
성별과 근무 경력이라는 요인변수 중 성별이 범주형 요인변수에 해당
해당 변수를 더미 변수로 변환
회귀 수행

다항회귀

독립 변수와 종속 변수 간의 관계가 선형이 아닐 때 사용. 독립 변수의 다항식을 사용하여 종속 변수를 예측.
데이터가 곡선적 경향을 따를 때 사용합니다.
비선형 관계를 모델링할 수 있습니다.
고차 다항식의 경우 과적합(overfitting) 위험이 있습니다.

다항회귀는 어떨 때 사용할까?

독립변수와 종속변수의 관계가 비선형 관계일 때 사용

주택 가격 예측(면적과 가격 간의 비선형 관계)

스플라인 회귀

독립 변수의 구간별로 다른 회귀식을 적용하여 복잡한 관계를 모델링
구간마다 다른 다항식을 사용하여 전체적으로 매끄러운 곡선을 생성합니다.
데이터가 국부적으로 다른 패턴을 보일 때 사용합니다.
복잡한 비선형 관계를 유연하게 모델링할 수 있습니다.
적절한 매듭점(knots)의 선택이 중요합니다.

QAQC본캠프 27일차

ideas30180 — Fri, 19 Jun 2026 19:28:49 +0900

새로 생긴 놀이기구는 인기가 매우 많아 줄이 끊이질 않습니다. 이 놀이기구의 원래 이용료는 price원 인데, 놀이기구를 N 번 째 이용한다면 원래 이용료의 N배를 받기로 하였습니다. 즉, 처음 이용료가 100이었다면 2번째에는 200, 3번째에는 300으로 요금이 인상됩니다.
놀이기구를 count번 타게 되면 현재 자신이 가지고 있는 금액에서 얼마가 모자라는지를 return 하도록 solution 함수를 완성하세요.
단, 금액이 부족하지 않으면 0을 return 하세요.

def solution(price, money, count):
    total = price * count * (count + 1) // 2

    if total > money:
        return total - money
    else:
        return 0

A/B 테스트

A/B 검정은 두 버전(A와 B) 중 어느 것이 더 효과적인지 평가하기 위해 사용되는 검정 방법.
마케팅, 웹사이트 디자인 등에서 많이 사용됨.
사용자들을 두 그룹으로 나누고, 각 그룹에 다른 버전을 제공한 후, 반응을 비교.
일반적으로 전환율, 클릭률, 구매수, 방문 기간, 방문한 페이지 수, 특정 페이지 방문 여부, 매출 등의 지표를 비교.
두 그룹 간의 변화가 우연이 아니라 통계적으로 유의미한지를 확인.

가설검정

표본 데이터를 통해 모집단의 가설을 검증하는 과정
즉, 데이터가 특정 가설을 지지하는지 평가하는 과정
귀무가설(H0)과 대립가설(H1)을 설정하고, 귀무가설을 기각할지를 결정
데이터 분석시 두가지 전략을 취할 수 있음
확증적 자료분석
미리 가설들을 먼저 세운 다음 가설을 검증해 나가는 분석
탐색적 자료분석(EDA)
가설을 먼저 정하지 않고 데이터를 탐색해보면서 가설 후보들을 찾고 데이터의 특징을 찾는 것

다중검정

여러 가설을 동시에 검정할 때 발생하는 문제
각 검정마다 유의수준을 조정하지 않으면 1종 오류(귀무가설이 참인데 기각하는 오류) 발생 확률이 증가
1종 오류가 무엇인지랑 왜 다중검정시 발생확률이 증가하는지는 밑에서 다시 설명! 지금은, 어떤 오류가 발생할 수 있다는 정도로 이해!
보정 방법
본페로니 보정, 튜키 보정, 던넷 보정, 윌리엄스 보정 등이 있음
가장 대표적이고 기본적인게 본페로니 보정

카이제곱검정

범주형 데이터의 표본 분포가 모집단 분포와 일치하는지 검정(적합도 검정)하거나
두 범주형 변수 간의 독립성을 검정(독립성 검정)
적합도 검정
관찰된 분포와 기대된 분포가 일치하는지 검정
p값이 높으면 데이터가 귀무 가설에 잘 맞음. 즉, 관찰된 데이터와 귀무 가설이 적합
p값이 낮으면 데이터가 귀무 가설에 잘 맞지 않음. 즉, 관찰된 데이터와 귀무 가설이 부적합
독립성 검정
두 범주형 변수 간의 독립성을 검정
p값이 높으면 두 변수 간의 관계가 연관성이 없음 → 독립성이 있음
p값이 낮으면 두 변수 간의 관계가 연관성이 있음 → 독립성이 없음