M100-01 단순선형회귀모형

단순선형회귀모형

$$Y=f(X,\beta_0,\beta_1)=\beta_0+\beta_1 X$$

 

$$Y_i=\beta_0+\beta_1 X_i+\epsilon_i$$

 

여기서,  $i=1,2,\cdots,n$

$n$은 표본크기

 

 

$$\hat{Y}_i=\hat{\beta_0}+\hat{\beta_1}X_i$$

 

여기서,  $i=1,2,\cdots,n$

$n$은 표본크기

M100-02 잔차

잔차

$$e_i=Y_i-\hat{Y}_i$$

 

여기서,  $i=1,2,\cdots,n$

$n$은 표본크기

M100-03 최소제곱법 - 잔차제곱합

최소제곱법 – 잔차제곱합

$$\sum_{i=1}^{n}{\epsilon_i}^2=\sum_{i=1}^{n}(Y_i-\beta_0-\beta_{1} X_i)^2$$

M100-04 최소제곱법 - 표본기울기

최소제곱법 – 표본기울기

최소제곱법으로 구한 표본기울기 추정량

 

$$\hat{\beta_1}=\dfrac{\sum\limits_{i=1}^{n}(X_i-\bar{X})(Y_i-\bar{Y})}{\sum\limits_{i=1}^{n}(X_i-\bar{X})^2}$$

 

$$\hat{\beta_0}=\bar{Y}-\hat{\beta_1}\bar{X}$$

 

$$\eqalign{\hat{\beta_1}&=\dfrac{S_{XY}}{S_X^2}\cr&=\dfrac{r{S_X}{S_Y}}{S_X^2}\cr&=r\dfrac{S_Y}{S_X}}$$

 

여기서,  $r$은 표본상관계수(피어슨상관계수)

$S_{XY}$는 확률변수 $X$와 $Y$의 표본공분산

$S_X^2$는 확률변수 $X$의 표본분산

$S_X$는 확률변수 $X$의 표본표준편차

$S_Y$는 확률변수 $Y$의 표본표준편차

M100-05 정규방정식

정규방정식(normal equation)

$$a\cdot n+b\sum_{i=1}^{n}X_i=\sum_{i=1}^{n}Y_i$$
$$a\sum_{i=1}^{n}X_i+\sum_{i=1}^{n}{X_i}^2=\sum_{i=1}^{n}X_iY_i$$

M100-06 표본내분산

표본내분산

$$S_{Y}^2=\dfrac{\sum\limits_{i=1}^{n}(Y_i-\hat{Y}_i)^2}{n-1}$$

 

여기서, $n$은 표본크기

M100-07 단순선형회귀모형 - 모절편 추론

단순선형회귀모형 – 모절편 추론

모기울기$(\beta_1)$ 점추정량

$$\hat{\beta_1} =\dfrac{\sum\limits_{i=1}^{n}(X_i-\bar{X})(Y_i-\bar{Y})}{\sum\limits_{i=1}^{n}(X_i-\bar{X})^2}$$

 

모절편$(\beta_0)$ 점추정량

 

$${\bar Y}-{\bar X}\hat{\beta_1}$$

$${\bar Y}-\hat{\beta_1} =\dfrac{\sum\limits_{i=1}^{n}(X_i-\bar{X})(Y_i-\bar{Y})}{\sum\limits_{i=1}^{n}(X_i-\bar{X})^2}$$

 

표본절편$(\hat{\beta_0})$의 표집의 확률분포는 정규분포

 

$$\hat{\beta_0}\sim N\left(\beta_0, \dfrac{\sigma_{Res}^2}{\sum\limits_{i=1}^{n}(X_i-\bar{X})^2}\right)$$

 

표본절편$(\hat{\beta_0})$의 표준오차

 

$$\mathrm{SE}(\hat{\beta_0})=\dfrac{S_{Res}}{\sqrt{\sum\limits_{i=1}^{n}(X_i-\bar{X})^2}}$$

 

모절편$(\beta_0)$ 신뢰구간

 

$$\beta_0=\hat{\beta_0}\pm t_{n-2;\frac{\alpha}{2}}\cdot \mathrm{SE}(\hat{\beta_0})$$

 

모절편$(\beta_0)$ $t$검정

 

귀무가설

 

$$H_0\ :\ \beta_0=\beta_{0,0}$$

 

검정통계량

 

$$t=\dfrac{\hat{\beta_0}-\beta_0}{\mathrm{SE}(\hat{\beta_0})}$$

 

귀무가설 기각역

 

대립가설이 $H_1: \beta_0\lt\hat{\beta_0}$ 이면 $t\lt -t_{n-2;\alpha}$

 

대립가설이 $H_1: \beta_0\gt\hat{\beta_0}$ 이면 $t\gt t_{n-2;\alpha}$

 

대립가설이 $H_1: \beta_0\ne\hat{\beta_0}$ 이면 $\left|t_o\right|\gt t_{n-2;\frac{\alpha}{2}}$

 

단순선형회귀모형 모절편$(\beta_0)$ $t$검정표

귀무가설$(H_0)$ 검정통계량의 값 대립가설$(H_1)$  귀무가설 기각역
$ \beta_0=\hat{\beta_0}$ $t=\dfrac{\hat{\beta_0}-\beta_0}{\mathrm{SE}(\hat{\beta_0})}$ $\hat{\beta_0}<\beta_{0,0}$ $t<-t_{n-2;\alpha}$
$\hat{\beta_0}>\beta_{0,0}$ $t>t_{n-2;\alpha}$
$\hat{\beta_0}\ne\beta_{0,0}$ $\left|t\right|\gt t_{n-2;\frac{\alpha}{2}}$

M100-08 단순선형회귀모형 - 모기울기 추론

단순선형회귀모형 – 모기울기 추론

모기울기($\beta_1$) 점추정량

 

$${\beta_1}\sim N\left(\hat{\beta_1},\left(\dfrac{1}{n}+\dfrac{\bar{X}^2}{\sum\limits_{i=1}^{n}(X_i-\bar{X})^2}\right)\sigma_{Res}^2\right)$$

 

여기서, $\sigma_{Res}^2$은 잔차(Residual)의 모분산

 

$t$확률분포에서의 표본기울기$(\hat{\beta_1})$의 표준오차

 

$$\mathrm{SE}(\hat{\beta_1})=S_{Res}\sqrt{\dfrac{1}{n}+\dfrac{\bar{X}^2}{\sum\limits_{i=1}^{n}(X_i-\bar{X})^2}}$$

 

여기서, $S_{Res}$는 잔차(Residual)의 표본표준편차

 

모기울기$(\beta_1)$ 신뢰구간

 

$$\beta_1=\hat{\beta_1}\pm t_{n-2;\frac{\alpha}{2}}\cdot \mathrm{SE}(\hat{\beta_1})$$

 

모기울기$(\beta_1)$ $t$검정

 

귀무가설

 

$$H_0\ :\ \beta_1=\beta_{1,0}$$

 

검정통계량

 

$$t=\dfrac{\hat{\beta_1}-\beta_{1,0}}{\mathrm{SE}(\hat{\beta_1})}$$

 

귀무가설 기각역

 

대립가설이 $H_1: \alpha\lt\alpha_0$ 이면 $t\lt-t_{n-2;\alpha}$

 

대립가설이 $H_1: \alpha\gt\alpha_0$ 이면 $t\gt t_{n-2;\alpha}$

 

대립가설이 $H_1: \alpha\ne\alpha_0$ 이면 $\left|t_o\right|\gt t_{n-2;\frac{\alpha}{2}}$

 

단순선형회귀모형 모기울기$(\beta_1)$ $t$검정표

귀무가설$(H_0)$ 검정통계량의 값 대립가설$(H_1)$ 귀무가설 기각역
$$\beta_1=\hat{\beta_1}=\beta_{1,0}$$ $$t=\dfrac{\hat{\beta_1}-\beta_{1,0}}{\mathrm{SE}(\hat{\beta_1})}$$ $ \alpha\lt\alpha_0$ $t\lt-t_{n-2;\alpha}$
$ \alpha\gt\alpha_0$ $t\gt t_{n-2;\alpha}$
$ \alpha\ne\alpha_0$ $\left|t\right|\gt t_{n-2;\frac{\alpha}{2}}$

M100-09 단순선형회귀모형 - 평균값 추론

단순선형회귀모형 – 평균값 추론

평균값

 

$$\mu_{Y|X}=\beta_0+{\beta_1}X_0$$

 

여기서,  $X_0$는 $X$의 평균값

 

평균값의 점추정량

 

$$Y_0=\beta_0+{\beta_1} X_0$$

 

표본평균값$(\hat{Y}_0)$의 표준오차

 

$$\mathrm{SE}(\hat{Y}_0)=S_{Res}\sqrt{\dfrac{1}{n}+\dfrac{\bar{X}^2}{\sum\limits_{i=1}^{n}(X_i-\bar{X})^2}}$$

 

평균값의 신뢰구간

 

$$\mu_{Y|X}=\hat{Y}_0\pm t_{n-2;\frac{\alpha}{2}}\mathrm{SE}(\hat{Y}_0)$$

M100-10 중선형회귀모형

중선형회귀모형

중선형회귀모형

 

$$Y_i=\beta_o+\beta_1 X_{i1}+\cdots+\beta_k X_{ik}+\epsilon_i$$

 

여기서,  $n$은 표본크기

 

$$Y=X\beta+\epsilon$$

 

$$
Y=
\begin{bmatrix}
Y_1 \\
Y_2 \\
\vdots \\
Y_n
\end{bmatrix},
X=
\begin{bmatrix}
1 & X_{11} & X_{12} & \cdots & X_{1k} \\
1 & X_{21} & X_{22} & \cdots & X_{2k} \\
\vdots & \vdots & \vdots & \ddots & \vdots \\
1 & X_{n1} & X_{n2} & \cdots & X_{nk}
\end{bmatrix},
\beta=
\begin{bmatrix}
\beta_0 \\
\beta_1 \\
\vdots \\
\beta_k
\end{bmatrix},
\epsilon=
\begin{bmatrix}
\varepsilon_1 \\
\varepsilon_2 \\
\vdots \\
\epsilon_n
\end{bmatrix}
$$

M100-11 중선형회귀분석 - 잔차

중선형회귀분석 – 잔차

중선형회귀분석 – 잔차

 

$$e_i=Y_i-\hat{Y}_i=Y_i-(b_0+b_1 X_{i1}+\cdots +b_k X_{ik})$$

M100-12 중선형회귀분석 - 잔차제곱합

중선형회귀분석 – 잔차제곱합

 중선형회귀분석 – 잔차제곱합

 

$$SS_{Res}=\sum\limits_{i=1}^{n}{\epsilon_i}^2=\epsilon^{\prime}\epsilon=(Y-X\beta)^{\prime}(Y-X\beta)$$

 

여기서,  $n$은 표본크기

M100-13 중선형회귀분석 - 잔차벡터

중선형회귀분석 – 잔차벡터

중선형회귀분석 – 잔차벡터

 

$$\bf{e}=\bf{Y}-\bf{X{\beta_1}}$$

M100-14 중선형회귀분석 - 잔차표준오차

중선형회귀분석 – 잔차표준오차

중선형회귀분석 – 잔차표준오차

 

$$\mathrm{SE}(Residual)=\sqrt{\dfrac{1}{n-p-1}\sum\limits_{i=1}^{n}(Y_i-\hat{Y}_i)^2}$$

 

여기서,  $p$는 원인변수의 수

$n$은 표본크기

M100-15 중선형회귀분석 - 제곱합과 자유도의 분할

중선형회귀분석 – 제곱합과 자유도의 분할

중선형회귀분석 – 제곱합과 자유도의 분할

 

제곱합

 

$$SS_T=SS_{Reg}+SS_{Res}$$

 

자유도

 

$$n-1=p+(n-p-1)$$

 

여기서, $n$은 표본크기

$p$는 원인변수 개수

M100-16 중선형회귀분석 - 중선형회귀분석표

선형회귀분석 – 중선형회귀분석표

중선형회귀분석 – 중선형회귀분석표

 

$$\hat{\beta_i}\sim\mathrm{N}(\beta_i,c_{ii}\cdot \sigma^2)$$

 

여기서,  $i=0,1,\cdots,p$

 

  제곱합
(sum of squared)		 자유도
(degrees of freedom)		 제곱평균
(mean of squared)		 검정통계량
(test statistic)
회귀
(Regression)		 $SS_{Reg}$ $p$ ${MS}_{Reg}=\dfrac{SS_{Reg}}{p}$ $F=\dfrac{MS_{Reg}}{MS_{Res}}$
잔차
(Residual)		 $SS_{Res}$ $n-p-1$ $MS_{Res}=\dfrac{SS_{Res}}{n-p-1}$
총
(Total)		 $SS_T$ $n-1$ $MS_T=\dfrac{SS_T}{n-1}$

M100-17 중선형회귀모형 - 회귀계수 추론

중선형회귀모형 – 회귀계수 추론

중선형회귀모형 – 회귀계수 추론

 

모회귀계수($\bf{\beta_i}$)

 

모회귀계수 점추정량

 

$$\bf{\hat{\beta_i}}$$

 

표본회귀계수의 표준오차

 

$$\mathrm{SE}(\bf{\hat{\beta_i}})=\sqrt{c_{ii}}\cdot S$$

 

모회귀계수 신뢰구간

 

$$\bf{\beta_i}=\bf{\hat{\beta_i}}\pm t_{n-k-1;\frac{\alpha}{2}} \mathrm{SE}(\bf{\hat{\beta_i}})$$

 

모회귀계수 $t$검정

 

귀무가설

 

$$H_0: \bf{\beta_i}=\bf{\beta_{i,0}}$$

 

검정통계량

 

$$t=\dfrac{\bf{\hat{\beta_i}}-\bf{\beta_{i,0}}}{\mathrm{SE}(\bf{\hat{\beta_i}})}$$

 

귀무가설 기각역

 

대립가설이 $H_1: \beta_i\lt\beta_{i0}$ 이면 $t\lt -t_{n-k-1;\alpha}$

 

대립가설이 $H_1: \beta_i\gt\beta_{i0}$ 이면 $t\gt t_{n-k-1;\alpha}$

 

대립가설이 $H_1: \beta_i\ne\beta_{i0}$ 이면 $\left|t\right|\gt t_{n-k-1;\frac{\alpha}{2}}$

 

중선형회귀모형 $t$검정표

귀무가설$(H_0)$ 검정통계량의 값 대립가설$(H_1)$ 귀무가설 기각역
$ \beta_i=\beta_{i0}$ $t=\dfrac{\hat{\beta_i}-\beta_{i0}}{\mathrm{SE}(\hat{\beta_i})}$ $ \beta_i\lt\beta_{i0}$ $t\lt -t_{n-k-1;\alpha}$
$ \beta_i\gt\beta_{i0}$ $t\gt t_{n-k-1;\alpha}$
$ \beta_i\ne\beta_{i0}$ $\left|t\right|\gt t_{n-k-1;\frac{\alpha}{2}}$