ideas30180 님의 블로그

오늘은 기존의 단순선형회귀에서 한 단계 확장해, 실제 데이터에 더 잘 대응하기 위한 회귀 모델 확장 방법을 학습했다.단순선형회귀는 하나의 X 변수로 Y를 예측하는 방식이다.y = b0 + b1x 하지만 실제 데이터는 단순한 직선 관계로 설명되지 않는 경우가 많다.그래서 입력 변수를 추가하거나, 기존 변수를 변형해서 모델이 더 복잡한 패턴을 학습할 수 있게 만든다.2. 단순선형회귀와 다항회귀 차이단순선형회귀는 데이터의 흐름을 직선으로 설명한다.반면, 다항회귀는 x² 같은 항을 추가해서 데이터의 흐름을 곡선으로 설명할 수 있다.단순선형회귀:y = b0 + b1x다항회귀:y = b0 + b1x + b2x² 즉, 데이터가 직선 형태가 아니라 휘어진 형태를 보이면 단순선형회귀보다 다항회귀가 더 적합할 수 있다.3..

오늘은 tips 데이터를 활용해서 선형회귀 모델을 적용하는 실습을 했다.이번 실습의 핵심은 total_bill을 독립변수 X로 두고, tip을 종속변수 Y로 설정하여 전체 지불금액이 팁 금액에 어떤 영향을 주는지 확인하는 것이었다. 자료에서도 total_bill은 전체 지불금액, tip은 팁 금액으로 설명되어 있다.핵심 개념선형회귀는 독립변수와 종속변수 사이의 선형 관계를 학습하는 모델이다.이번 실습에서는 다음과 같은 구조로 분석을 진행했다. X = tips_df[['total_bill']]y = tips_df['tip'] 즉,전체 지불금액 total_bill → 팁 금액 tip 예측 이라는 관계를 모델로 학습하는 것이다.실습 흐름 from sklearn.linear_model import LinearR..

오늘은 scikit-learn을 활용해서 선형회귀 모델을 생성하고, 학습하고, 평가하는 기본 흐름을 학습했다.특히 LinearRegression() 모델을 만들고, fit()으로 학습한 뒤, coef_, intercept_를 통해 회귀식을 해석하는 방법을 익혔다.또한 회귀 모델의 성능을 평가할 때 사용하는 MSE, RMSE, MAE, R² 개념도 함께 정리했다. 학습 자료에서는 MSE를 실제값과 예측값의 차이를 제곱한 뒤 평균낸 지표로 설명하고, RMSE는 MSE에 루트를 씌워 단위를 맞춘 지표, MAE는 절댓값 기반 오차 지표로 설명한다. R²는 회귀선이 전체 데이터를 얼마나 설명할 수 있는지를 나타내는 지표이다.1. LinearRegression import처음에는 아래처럼 잘못 import하려고 했..

1. 선형회귀란?선형회귀는 독립변수 X와 종속변수 Y 사이의 관계를 직선으로 표현하는 방법이다.Y = wX + b X: 독립변수 / 원인 변수 / 설명 변수Y: 종속변수 / 결과 변수w: 가중치, 기울기b: 편향, 절편즉, X값이 주어졌을 때 Y값을 예측하는 모델이다.2. 좋은 직선을 찾는 기준데이터 점들을 아무 직선으로 연결하는 것이 아니라, 실제값과 예측값의 차이가 가장 작은 직선을 찾아야 한다.Error = 실제값 - 예측값 하지만 오차는 양수와 음수가 섞이기 때문에 그냥 더하면 서로 상쇄될 수 있다.그래서 오차를 제곱해서 모두 양수로 만든다.오차 제곱 = Error² 3. 에러를 줄이는 과정선형회귀의 핵심은 결국 이것이다.예측값과 실제값의 차이인 Error를 최소화하는 직선을 찾는 것 데이터가 많..

Extreme Studentized Deviation(ESD) 이용한 이상치 발견데이터가 정규분포를 따른다고 가정할 때, 평균에서 표준편차의 3배 이상 떨어진 값 모든 데이터가 정규 분포를 따르지 않을 수 있기 때문에 다음 상황에서는 제한됨IQR(Inter Quantile Range)를 이용한 이상치 발견ESD와 동일하게 데이터가 비대칭적이거나 샘플사이즈가 작은 경우 제한됨Box plot: 데이터의 사분위 수를 포함하여 분포를 보여주는 시각화 그래프, 상자-수염 그림이라고도 함이상치가 분포에 크게 어긋나는 특이한 데이터라면, 결측치(Missing Value)는 존재하지 않는 데이터이다.수치형 데이터평균 값 대치: 대표적인 대치 방법 중앙값 대치: 데이터에 이상치가 많아 평균 값이 대표성이 없다면 중앙 값..

OLTP Database: OnLine Transaction Processing 은 온라인 뱅킹,쇼핑, 주문 입력 등 동시에 발생하는 다수의 트랜잭션(데이터베이스 작업의 단위) 처리 유형Enterprise Applications: 회사 내 데이터 (ex 고객 관계 데이터, 제품 마케팅 세일즈)Third - Party: Google Analytics와 같은 외부소스에서 수집되는 데이터Web/Log: 사용자의 로그데이터Data Lake: 원시 형태의 다양한 유형의 데이터를 저장 Data Warehouse: 보다 구조화된 형태로 정제된 데이터를 저장 Data Marts: 회사의 금융, 마케팅, 영업 부서와 같이 특정 조직의 목적을 위해 가공된 데이터 BI/Analytics: business Intelligen..

재현 가능성동일한 연구나 실험을 반복했을 때 일관된 결과가 나오는지 여부. 연구의 신뢰성을 높이는 중요한 요소 ex) 신약을 개발할 때 실험실에서만 효과가 있는 것이 아니라 실제 상황에서도 일관된 결과가 나온다고 믿을 수 있기 때문에 개발 가능한 것 최근 p값에 대한 논쟁이 두드러지고 있음p값을 사용하지 않는 것이 좋다, 유의수준을 0.05에서 변경하는 것이 좋다.가설검정 원리상의 문제나 가설검정의 잘못된 사용이 낮은 재현성으로 이어진다는 문제 발생 최근 논문을 다시 재현해서 실험을 해보는데 똑같은 결과가 않나오는 사례가 많은… 재현성 위기가 문제가 되고 있음 결과가 재현되지 않는다면 해당 가설의 신뢰도가 떨어짐 재현성 위기의 원인은 무엇인가~?실험 조건을 동일하게 조성하기 어려움완전 동일하게 다시 똑같..

피어슨 상관계수가장 왼쪽 그래프가 피어슨 상관계수 그래프! 첫 번째 그래프는 파란색 점들로 나타내었으며, X와 Y의 선형 관계를 보여줍니다. 그래프에서 점들이 직선적으로 퍼져 있으며, 상관계수는 0.99로 매우 강한 양의 선형 관계를 나타냅니다.두 연속형 변수 간의 선형 관계를 측정하는 지표 -1에서 1 사이의 값을 가지며 1은 완전한 양의 선형 관계 -1은 완전한 음의 선형 관계 0은 선형 관계가 없음을 의미 피어슨 상관계수는 언제 사용할까?선형적인 관계가 예상 될 때공부 시간과 시험 점수 간의 상관관계 분석비선형 관계에선 사용할 수 없음비모수 상관계수두 번째 그래프가 스피어만 상관계수 그림!초록색 점들로 나타내었으며, X와 Y의 순위 관계를 보여줍니다. 스피어만 상관계수는 두 변수의 순위 간의 상관 ..

단순선형회귀하나의 독립 변수(X)와 하나의 종속 변수(Y) 간의 관계를 직선으로 모델링하는 방법.☑️ 회귀식 Y = β0 + β1X, 여기서 β0는 절편, β1는 기울기 중학교 때 배웠던 1차함수를 생각하면 이해하기 쉬움! ☑️ 특징 독립 변수의 변화에 따라 종속 변수가 어떻게 변화하는지 설명하고 예측. 데이터가 직선적 경향을 따를 때 사용합니다. 간단하고 해석이 용이합니다. 데이터가 선형적이지 않을 경우 적합하지 않습니다.단순선형회귀는 어떨 때 사용할까? ☑️ 하나의 독립변수와 종속변수와의 관계를 분석 및 예측 광고비(X)와 매출(Y) 간의 관계 분석. 현재의 광고비를 바탕으로 예상되는 매출을 예측 가능.다중선형회귀두 개 이상의 독립 변수(X1, X2, ..., Xn)와 하나의 종속 변수(Y) 간의 관..

새로 생긴 놀이기구는 인기가 매우 많아 줄이 끊이질 않습니다. 이 놀이기구의 원래 이용료는 price원 인데, 놀이기구를 N 번 째 이용한다면 원래 이용료의 N배를 받기로 하였습니다. 즉, 처음 이용료가 100이었다면 2번째에는 200, 3번째에는 300으로 요금이 인상됩니다. 놀이기구를 count번 타게 되면 현재 자신이 가지고 있는 금액에서 얼마가 모자라는지를 return 하도록 solution 함수를 완성하세요. 단, 금액이 부족하지 않으면 0을 return 하세요. def solution(price, money, count): total = price * count * (count + 1) // 2 if total > money: return total - money..