단순선형회귀모형

$$Y=f(X,\beta_0,\beta_1)=\beta_0+\beta_1 X$$

 

$$Y_i=\beta_0+\beta_1 X_i+\epsilon_i$$

 

여기서,  $i=1,2,\cdots,n$

$n$은 표본크기

 

 

$$\hat{Y}_i=\hat{\beta_0}+\hat{\beta_1}X_i$$

 

여기서,  $i=1,2,\cdots,n$

$n$은 표본크기

잔차

$$e_i=Y_i-\hat{Y}_i$$

 

여기서,  $i=1,2,\cdots,n$

$n$은 표본크기

최소제곱법 – 잔차제곱합

$$\sum_{i=1}^{n}{\epsilon_i}^2=\sum_{i=1}^{n}(Y_i-\beta_0-\beta_{1} X_i)^2$$

최소제곱법 – 표본기울기

최소제곱법으로 구한 표본기울기 추정량

 

$$\hat{\beta_1}=\dfrac{\sum\limits_{i=1}^{n}(X_i-\bar{X})(Y_i-\bar{Y})}{\sum\limits_{i=1}^{n}(X_i-\bar{X})^2}$$

 

$$\hat{\beta_0}=\bar{Y}-\hat{\beta_1}\bar{X}$$

 

$$\eqalign{\hat{\beta_1}&=\dfrac{S_{XY}}{S_X^2}\cr&=\dfrac{r{S_X}{S_Y}}{S_X^2}\cr&=r\dfrac{S_Y}{S_X}}$$

 

여기서,  $r$은 표본상관계수(피어슨상관계수)

$S_{XY}$는 확률변수 $X$와 $Y$의 표본공분산

$S_X^2$는 확률변수 $X$의 표본분산

$S_X$는 확률변수 $X$의 표본표준편차

$S_Y$는 확률변수 $Y$의 표본표준편차

정규방정식(normal equation)

$$a\cdot n+b\sum_{i=1}^{n}X_i=\sum_{i=1}^{n}Y_i$$
$$a\sum_{i=1}^{n}X_i+\sum_{i=1}^{n}{X_i}^2=\sum_{i=1}^{n}X_iY_i$$

표본내분산

$$S_{Y}^2=\dfrac{\sum\limits_{i=1}^{n}(Y_i-\hat{Y}_i)^2}{n-1}$$

 

여기서, $n$은 표본크기

단순선형회귀모형 – 모절편 추론

모기울기$(\beta_1)$ 점추정량

$$\hat{\beta_1} =\dfrac{\sum\limits_{i=1}^{n}(X_i-\bar{X})(Y_i-\bar{Y})}{\sum\limits_{i=1}^{n}(X_i-\bar{X})^2}$$

 

모절편$(\beta_0)$ 점추정량

 

$${\bar Y}-{\bar X}\hat{\beta_1}$$

$${\bar Y}-\hat{\beta_1} =\dfrac{\sum\limits_{i=1}^{n}(X_i-\bar{X})(Y_i-\bar{Y})}{\sum\limits_{i=1}^{n}(X_i-\bar{X})^2}$$

 

표본절편$(\hat{\beta_0})$의 표집의 확률분포는 정규분포

 

$$\hat{\beta_0}\sim N\left(\beta_0, \dfrac{\sigma_{Res}^2}{\sum\limits_{i=1}^{n}(X_i-\bar{X})^2}\right)$$

 

표본절편$(\hat{\beta_0})$의 표준오차

 

$$\mathrm{SE}(\hat{\beta_0})=\dfrac{S_{Res}}{\sqrt{\sum\limits_{i=1}^{n}(X_i-\bar{X})^2}}$$

 

모절편$(\beta_0)$ 신뢰구간

 

$$\beta_0=\hat{\beta_0}\pm t_{n-2;\frac{\alpha}{2}}\cdot \mathrm{SE}(\hat{\beta_0})$$

 

모절편$(\beta_0)$ $t$검정

 

귀무가설

 

$$H_0\ :\ \beta_0=\beta_{0,0}$$

 

검정통계량

 

$$t=\dfrac{\hat{\beta_0}-\beta_0}{\mathrm{SE}(\hat{\beta_0})}$$

 

귀무가설 기각역

 

대립가설이 $H_1: \beta_0\lt\hat{\beta_0}$ 이면 $t\lt -t_{n-2;\alpha}$

 

대립가설이 $H_1: \beta_0\gt\hat{\beta_0}$ 이면 $t\gt t_{n-2;\alpha}$

 

대립가설이 $H_1: \beta_0\ne\hat{\beta_0}$ 이면 $\left|t_o\right|\gt t_{n-2;\frac{\alpha}{2}}$

 

단순선형회귀모형 모절편$(\beta_0)$ $t$검정표

귀무가설$(H_0)$	검정통계량의 값	대립가설$(H_1)$	귀무가설 기각역
$\beta_0=\hat{\beta_0}$	$t=\dfrac{\hat{\beta_0}-\beta_0}{\mathrm{SE}(\hat{\beta_0})}$	$\hat{\beta_0}<\beta_{0,0}$	$t<-t_{n-2;\alpha}$
		$\hat{\beta_0}>\beta_{0,0}$	$t>t_{n-2;\alpha}$
		$\hat{\beta_0}\ne\beta_{0,0}$	$\left|t\right|\gt t_{n-2;\frac{\alpha}{2}}$

단순선형회귀모형 – 모기울기 추론

모기울기($\beta_1$) 점추정량

 

$${\beta_1}\sim N\left(\hat{\beta_1},\left(\dfrac{1}{n}+\dfrac{\bar{X}^2}{\sum\limits_{i=1}^{n}(X_i-\bar{X})^2}\right)\sigma_{Res}^2\right)$$

 

여기서, $\sigma_{Res}^2$은 잔차(Residual)의 모분산

 

$t$확률분포에서의 표본기울기$(\hat{\beta_1})$의 표준오차

 

$$\mathrm{SE}(\hat{\beta_1})=S_{Res}\sqrt{\dfrac{1}{n}+\dfrac{\bar{X}^2}{\sum\limits_{i=1}^{n}(X_i-\bar{X})^2}}$$

 

여기서, $S_{Res}$는 잔차(Residual)의 표본표준편차

 

모기울기$(\beta_1)$ 신뢰구간

 

$$\beta_1=\hat{\beta_1}\pm t_{n-2;\frac{\alpha}{2}}\cdot \mathrm{SE}(\hat{\beta_1})$$

 

모기울기$(\beta_1)$ $t$검정

 

귀무가설

 

$$H_0\ :\ \beta_1=\beta_{1,0}$$

 

검정통계량

 

$$t=\dfrac{\hat{\beta_1}-\beta_{1,0}}{\mathrm{SE}(\hat{\beta_1})}$$

 

귀무가설 기각역

 

대립가설이 $H_1: \alpha\lt\alpha_0$ 이면 $t\lt-t_{n-2;\alpha}$

 

대립가설이 $H_1: \alpha\gt\alpha_0$ 이면 $t\gt t_{n-2;\alpha}$

 

대립가설이 $H_1: \alpha\ne\alpha_0$ 이면 $\left|t_o\right|\gt t_{n-2;\frac{\alpha}{2}}$

 

단순선형회귀모형 모기울기$(\beta_1)$ $t$검정표

귀무가설$(H_0)$	검정통계량의 값	대립가설$(H_1)$	귀무가설 기각역
$$\beta_1=\hat{\beta_1}=\beta_{1,0}$$	$$t=\dfrac{\hat{\beta_1}-\beta_{1,0}}{\mathrm{SE}(\hat{\beta_1})}$$	$\alpha\lt\alpha_0$	$t\lt-t_{n-2;\alpha}$
		$\alpha\gt\alpha_0$	$t\gt t_{n-2;\alpha}$
		$\alpha\ne\alpha_0$	$\left|t\right|\gt t_{n-2;\frac{\alpha}{2}}$

단순선형회귀모형 – 평균값 추론

평균값

 

$$\mu_{Y|X}=\beta_0+{\beta_1}X_0$$

 

여기서,  $X_0$는 $X$의 평균값

 

평균값의 점추정량

 

$$Y_0=\beta_0+{\beta_1} X_0$$

 

표본평균값$(\hat{Y}_0)$의 표준오차

 

$$\mathrm{SE}(\hat{Y}_0)=S_{Res}\sqrt{\dfrac{1}{n}+\dfrac{\bar{X}^2}{\sum\limits_{i=1}^{n}(X_i-\bar{X})^2}}$$

 

평균값의 신뢰구간

 

$$\mu_{Y|X}=\hat{Y}_0\pm t_{n-2;\frac{\alpha}{2}}\mathrm{SE}(\hat{Y}_0)$$

중선형회귀모형

중선형회귀모형

 

$$Y_i=\beta_o+\beta_1 X_{i1}+\cdots+\beta_k X_{ik}+\epsilon_i$$

 

여기서,  $n$은 표본크기

 

$$Y=X\beta+\epsilon$$

 

$$Y= \begin{bmatrix} Y_1 \\ Y_2 \\ \vdots \\ Y_n \end{bmatrix}, X= \begin{bmatrix} 1 & X_{11} & X_{12} & \cdots & X_{1k} \\ 1 & X_{21} & X_{22} & \cdots & X_{2k} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 1 & X_{n1} & X_{n2} & \cdots & X_{nk} \end{bmatrix}, \beta= \begin{bmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_k \end{bmatrix}, \epsilon= \begin{bmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \vdots \\ \epsilon_n \end{bmatrix}$$

중선형회귀분석 – 잔차

중선형회귀분석 – 잔차

 

$$e_i=Y_i-\hat{Y}_i=Y_i-(b_0+b_1 X_{i1}+\cdots +b_k X_{ik})$$

중선형회귀분석 – 잔차제곱합

 중선형회귀분석 – 잔차제곱합

 

$$SS_{Res}=\sum\limits_{i=1}^{n}{\epsilon_i}^2=\epsilon^{\prime}\epsilon=(Y-X\beta)^{\prime}(Y-X\beta)$$

 

여기서,  $n$은 표본크기

중선형회귀분석 – 잔차벡터

중선형회귀분석 – 잔차벡터

 

$$\bf{e}=\bf{Y}-\bf{X{\beta_1}}$$

중선형회귀분석 – 잔차표준오차

중선형회귀분석 – 잔차표준오차

 

$$\mathrm{SE}(Residual)=\sqrt{\dfrac{1}{n-p-1}\sum\limits_{i=1}^{n}(Y_i-\hat{Y}_i)^2}$$

 

여기서,  $p$는 원인변수의 수

$n$은 표본크기

중선형회귀분석 – 제곱합과 자유도의 분할

중선형회귀분석 – 제곱합과 자유도의 분할

 

제곱합

 

$$SS_T=SS_{Reg}+SS_{Res}$$

 

자유도

 

$$n-1=p+(n-p-1)$$

 

여기서, $n$은 표본크기

$p$는 원인변수 개수

선형회귀분석 – 중선형회귀분석표

중선형회귀분석 – 중선형회귀분석표

 

$$\hat{\beta_i}\sim\mathrm{N}(\beta_i,c_{ii}\cdot \sigma^2)$$

 

여기서,  $i=0,1,\cdots,p$

 

	제곱합 (sum of squared)	자유도 (degrees of freedom)	제곱평균 (mean of squared)	검정통계량 (test statistic)
회귀 (Regression)	$SS_{Reg}$	$p$	${MS}_{Reg}=\dfrac{SS_{Reg}}{p}$	$F=\dfrac{MS_{Reg}}{MS_{Res}}$
잔차 (Residual)	$SS_{Res}$	$n-p-1$	$MS_{Res}=\dfrac{SS_{Res}}{n-p-1}$
총 (Total)	$SS_T$	$n-1$	$MS_T=\dfrac{SS_T}{n-1}$

중선형회귀모형 – 회귀계수 추론

중선형회귀모형 – 회귀계수 추론

 

모회귀계수($\bf{\beta_i}$)

 

모회귀계수 점추정량

 

$$\bf{\hat{\beta_i}}$$

 

표본회귀계수의 표준오차

 

$$\mathrm{SE}(\bf{\hat{\beta_i}})=\sqrt{c_{ii}}\cdot S$$

 

모회귀계수 신뢰구간

 

$$\bf{\beta_i}=\bf{\hat{\beta_i}}\pm t_{n-k-1;\frac{\alpha}{2}} \mathrm{SE}(\bf{\hat{\beta_i}})$$

 

모회귀계수 $t$검정

 

귀무가설

 

$$H_0: \bf{\beta_i}=\bf{\beta_{i,0}}$$

 

검정통계량

 

$$t=\dfrac{\bf{\hat{\beta_i}}-\bf{\beta_{i,0}}}{\mathrm{SE}(\bf{\hat{\beta_i}})}$$

 

귀무가설 기각역

 

대립가설이 $H_1: \beta_i\lt\beta_{i0}$ 이면 $t\lt -t_{n-k-1;\alpha}$

 

대립가설이 $H_1: \beta_i\gt\beta_{i0}$ 이면 $t\gt t_{n-k-1;\alpha}$

 

대립가설이 $H_1: \beta_i\ne\beta_{i0}$ 이면 $\left|t\right|\gt t_{n-k-1;\frac{\alpha}{2}}$

 

중선형회귀모형 $t$검정표

귀무가설$(H_0)$	검정통계량의 값	대립가설$(H_1)$	귀무가설 기각역
$\beta_i=\beta_{i0}$	$t=\dfrac{\hat{\beta_i}-\beta_{i0}}{\mathrm{SE}(\hat{\beta_i})}$	$\beta_i\lt\beta_{i0}$	$t\lt -t_{n-k-1;\alpha}$
		$\beta_i\gt\beta_{i0}$	$t\gt t_{n-k-1;\alpha}$
		$\beta_i\ne\beta_{i0}$	$\left|t\right|\gt t_{n-k-1;\frac{\alpha}{2}}$