스터디노트 (Regression)

📌 학습의 종류

🔻지도 학습에는 분류와 회귀가 있다

출처 : 제로베이스 데이터 스쿨

🔻비지도 학습의 종류

출처 : 제로베이스 데이터 스쿨

📌 선형 회귀에 대해서 알아보자

출처 : 제로베이스 데이터 스쿨

🔻OLS

- Ordinary Linear Least Square의 기본 개념 정리

출처 : 제로베이스 데이터 스쿨

- 

출처 : 제로베이스 데이터 스쿨

🔻OLS 실습하기 (Code로 쉽게 할 수 있다!)

import pandas as pd

data = {'x':[1,2,3,4,5], 'y':[1,3,4,6,5]}
df = pd.DataFrame(data)

df

import statsmodels.formula.api as smf
lm_model = smf.ols(formula='y ~ x', data=df).fit() # y=ax+b <- ('y ~ x')
lm_model.params
>>>>
Intercept    0.5
x            1.1
dtype: float64

🔻lmplot 사용하여 직선을 그려보자

import matplotlib.pyplot as plt
import seaborn as sns
plt.figure(figsize=(10, 7))
sns.lmplot(x='x', y='y', data=df)
plt.xlim([0, 5])
plt.show()

🔻잔차 평가

- 잔차는 평균이 0인 정규분포를 따르는 것이어야 한다

- 잔차 평가는 잔차의 평균이 0이고, 정규분포를 따르는지 확인해야한다.

# 앞 전에 OLS 확인했던 model로 각자의 잔차를 확인
resid = lm_model.resid
resid
>>>>
0   -0.6
1    0.3
2    0.2
3    1.1
4   -1.0
dtype: float64

🔻결정계수 R-Squared

출처 : 제로베이스 데이터 스쿨

import numpy as np
mu = np.mean(df['y'])
y= df['y']
y_hat = lm_model.predict()
np.sum((y_hat - mu)**2 / np.sum((y-mu)**2))
>>>>
0.8175675675675673

lm_model.rsquared
>>>>
0.8175675675675673

🔻잔차의 분포도 확인

sns.distplot(resid, color='black')