Repaso de MCG

class: center, middle, inverse, title-slide

.title[
# Repaso de MCG
]
.author[
### Gustavo A. García <a href="mailto:ggarci24@eafit.edu.co" class="email">ggarci24@eafit.edu.co</a> 
]
.date[
### Econometría II Programa de Economía Universidad EAFIT
]

---

body {
text-align: justify;
}

h1{
      margin-top: -1px;
      margin-bottom: -3px;
}

.small-code pre{
  margin-bottom: -10px;
  
}

.medium-code pre{
 margin-bottom: 2px;
 
} 
</style>

Link slides en formato [html](https://gusgarciacruz.github.io/EconometriaII/MCG/MCG.html)

Link slides en formato [PDF](https://gusgarciacruz.github.io/EconometriaII/MCG/MCG.pdf)
---
# En este tema

- [Introducción](#introduccion)

- [Consecuencias sobre los estimadores por MCO](#consecuencias)

- [El estimador MCG](#MCG)

- [Ejercicio aplicado en R: heteroscedasticidad](#r)

---
# Lecturas
- Wooldridge, J. (2013). *Introducción a la econometría*. 5a edición, Cengage Learning. Cap 8

- Gujarati, D. y Porter, D. (2010). *Econometría*. 5a edición, Mc Graw Hill. Cap 11

---
name: introduccion
# Introducción

- Se extenderá el modelo de regresión múltiple para permitir que las perturbaciones no cumplan el supuesto de perturbaciones esféricas: heteroscedasticidad y autocorrelación

- El modelo de regresión lineal generalizado es

`$$\textbf{Y}=\textbf{XB} + \textbf{u}$$`
`$$E(\textbf{u})=0$$`
`$$Cov(\textbf{u})=E(\textbf{u}\textbf{u}')=\sigma_{u}^2\boldsymbol\Omega=\boldsymbol\Sigma$$` donde `$\boldsymbol\Omega$` es una matriz definida positiva

- Los dos casos con los que se inclumple el supuesto de perturbaciones esféricas son heteroscedasticidad y autocorrelación

---
# Introducción

Perturbaciones heteroscedásticas: diferente varianza

- La heteroscedasticidad normalmente aparece datos de sección cruzada (datos microeconómicos) y series de tiempo muy volátiles de alta frecuencia (datos diarios del mercado financiero)

- Las perturbaciones se asumen aún incorrelacionadas entre observaciones, por tanto `$\sigma_{u}^2\boldsymbol\Omega$` sería

`$$\sigma_{u}^2\boldsymbol\Omega = \left[ \begin{array}{cccc}
w_{1} & 0     & \ldots & 0\\
0     & w_{2} & \ldots & 0\\
\vdots& \vdots& \vdots & \vdots\\
0             & 0      & \ldots & w_{n}\\\end{array} \right] = 
\left[ \begin{array}{cccc}
\sigma_{u_{1}}^2 & 0     & \ldots & 0\\
0     & \sigma_{u_{2}}^2 & \ldots & 0\\
\vdots& \vdots & \vdots& \vdots\\
0             & 0      & \ldots & \sigma_{u_{n}}^2\\\end{array} \right]$$`

---
# Introducción

Perturbaciones autocorrelacionadas: correlacionadas entre unas y otras

- La autocorrelación normalmente se encuentra en datos de series de tiempo. Las series de tiempo económicas frecuentemente presentan una memoria puesto que la variación alrededor de la función de regresión no es independiente entre un período y el siguiente

- Se asume homocedasticidad, por lo que `$\sigma_{u}^2\boldsymbol\Omega$` sería

`$$\sigma_{u}^2\boldsymbol\Omega = \left[ \begin{array}{cccc}
1         & \rho_{1}  & \ldots & \rho_{n-1}\\
\rho_{1}  & 1         & \ldots & \rho_{n-2}\\
\vdots    & \vdots    & \vdots & \vdots\\
\rho_{n-1}& \rho_{n-2}& \ldots & 1\\\end{array} \right]$$`

---
name: consecuencias
# Consecuencias sobre los estimadores por MCO

- Los resultados esenciales para el modelo clásico con perturbaciones esféricas

`$$E(\textbf{u})=0$$`
`$$Cov(\textbf{u})=E(\textbf{u}\textbf{u}')=\sigma_{u}^2 \textbf{I}$$`
- El estimado MCO

`$$\hat{\textbf{B}}=(\textbf{X}'\textbf{X})^{-1}\textbf{X}'\textbf{Y}$$`

`$$\hat{\textbf{B}}=\textbf{B} + (\textbf{X}'\textbf{X})^{-1}\textbf{X}'\textbf{u}$$`

es el mejor estimador lineal insesgado, consistente y distribuido asintóticamente como una normal (CAN)

- Los estimadores MCO mantienen sólo algunas de las propiedades deseables en este modelo. Los estimadores MCO permanecen insesgados, consistentes, y con distribución asintótica normal. No serán eficientes y los procedimientos normales de inferencia no son ya apropiados

---
# Consecuencias sobre los estimadores por MCO

**Propiedades en muestras finitas de los MCO**

- Insesgadez

`$$E(\hat{\textbf{B}})=\textbf{B} + E((\textbf{X}'\textbf{X})^{-1}\textbf{X}'\textbf{u}) = \textbf{B}$$`

- Matriz de covarianzas de `$\hat{\textbf{B}}$`

$$
`\begin{aligned}
Cov(\hat{\textbf{B}}) & = E[(\hat{\textbf{B}}-E(\hat{\textbf{B}}))(\hat{\textbf{B}}-E(\hat{\textbf{B}}))'] \\
                      & = E[(\hat{\textbf{B}}-\textbf{B})(\hat{\textbf{B}}-\textbf{B})']\\
                      & = (\textbf{X}'\textbf{X})^{-1}\textbf{X}'E(\textbf{u}\textbf{u}')\textbf{X}(\textbf{X}'\textbf{X})^{-1}\\
                      & =\sigma_{u}^2(\textbf{X}'\textbf{X})^{-1}\textbf{X}'\boldsymbol\Omega\textbf{X}(\textbf{X}'\textbf{X})^{-1}\\
                      & = \frac{\sigma_{u}^2}{n}(\frac{1}{n}\textbf{X}'\textbf{X})^{-1}(\frac{1}{n}\textbf{X}'\boldsymbol\Omega\textbf{X})(\frac{1}{n}\textbf{X}'\textbf{X})^{-1} \neq \sigma_{u}^2(\textbf{X}'\textbf{X})^{-1}
\end{aligned}`
$$

- Dado que la varianza del estimador MCO no es `$\sigma_{u}^2(\textbf{X}'\textbf{X})^{-1}$`, cualquier inferencia basada `$\hat{\sigma}_{u}^2(\textbf{X}'\textbf{X})^{-1}$` llevará probablemente a conclusiones erróneas

- No solamente ésta es la matriz errónea, sino que `$\hat{\sigma}_{u}^2$` puede ser un estimador sesgado de `$\sigma_{u}^2$`

- Normalmente no hay forma de conocer si `$\sigma_{u}^2$` es mayor o menor que la verdadera varianza de `$\hat{\textbf{B}}$` por lo que incluso con un buen estimador de `$\sigma_{u}^2$`, el estimador convencional de `$Cov(\hat{\textbf{B}})$` puede no ser particularmente útil

- Dado que hemos prescindido de supuesto fundamental subyacente, los procedimientos de inferencia habituales basados en las distribuciones F y t no serán ahora apropiados

---
name: MCG
# El estimador MCG

La idea es transformar el modelo (los datos y la perturbación aleatoria) de tal forma que la perturbación aleatoria del modelo transformado, tenga esfericidad y se puedan aplicar MCO a los datos del modelo transformado

`$$\textbf{Y} = \textbf{XB} + \textbf{u}$$`
`$$E(\textbf{u})=\textbf{0}$$`
`$$E(\textbf{X}'\textbf{u})=\textbf{0}$$`
`$$Cov(\textbf{u})=E(\textbf{u}\textbf{u}')=\sigma_{u}^2\boldsymbol\Omega$$`

Siendo `$\boldsymbol\Omega$` una matriz definida positiva, pues se trata de varianzas

Las matrices definidas positivas pueden descomponerse como:

`$$\boldsymbol\Omega = \textbf{PP}'$$`

Siendo `$\textbf{P}$` una matriz no singular ( `$\textbf{P}^{-1}$` existe). En el mundo matricial, dadas las propiedades de la inversión de matrices, se da que:

`$$\boldsymbol\Omega^{-1} = (\textbf{PP}')^{-1} = \textbf{P}'^{-1}\textbf{P}^{-1} = \textbf{P}^{-1'}\textbf{P}^{-1}$$`

La propuesta de los MCG es premultiplicar todo el modelo por `$\textbf{P}^{-1}$`

`$$\textbf{P}^{-1}\textbf{Y} = \textbf{P}^{-1}\textbf{XB} + \textbf{P}^{-1}\textbf{u}$$`
`$$\textbf{Y}^* = \textbf{X}^*\textbf{B} + \textbf{u}^*$$`
---
# El estimador MCG

Si la perturbación `$\textbf{u}^*$` es esférica se puede aplicar MCO al modelo con base en `$\textbf{Y}^*$` y `$\textbf{X}^*$`. Hay que ver los supuestos para `$\textbf{u}^*$`

`$$E(\textbf{u}^*) = E(\textbf{P}^{-1}\textbf{u}) = \textbf{P}^{-1}E(\textbf{u})=\textbf{0}$$`

$$
`\begin{aligned}
Cov(\textbf{u}^*)     & = E((\textbf{u}^* - E(\textbf{u}^*))((\textbf{u}^* - E(\textbf{u}^*))')= E(\textbf{u}^*\textbf{u}^*{'})\\
                      & = E(\textbf{P}^{-1}\textbf{u}\textbf{u}{'}\textbf{P}^{-1}{'}) = \textbf{P}^{-1}E(\textbf{u}\textbf{u}{'})\textbf{P}^{-1}{'}\\
                      & = \sigma_{u}^2 \textbf{P}^{-1}\boldsymbol\Omega\textbf{P}^{-1}{'}\\
                      & = \sigma_{u}^2 \textbf{P}^{-1}\textbf{P}\textbf{P}{'}\textbf{P}^{-1}{'}\\
                      & =\sigma_{u}^2\textbf{I}
\end{aligned}`
$$

Por lo tanto, en le modelo `$\textbf{Y}^* = \textbf{X}^*\textbf{B} + \textbf{u}^*$` se cumple la hipótesis de perturbaciones esféricas y se puede aplicar MCO al modelo transformado, dando como resultado `$\widehat{\textbf{B}}_{MCG}$`

$$
`\begin{aligned}
\widehat{\textbf{B}}_{MCG} & = (\textbf{X}^*{'}\textbf{X}^*)^{-1}\textbf{X}^*{'}\textbf{Y}^* \\
                           & = ((\textbf{P}^{-1}\textbf{X}){'}(\textbf{P}^{-1}\textbf{X}))^{-1}(\textbf{P}^{-1}\textbf{X}){'}\textbf{P}^{-1}\textbf{Y}\\
                           & = (\textbf{X}{'}\textbf{P}^{-1}{'}\textbf{P}^{-1}\textbf{X})^{-1}\textbf{X}{'}\textbf{P}^{-1}{'}\textbf{P}^{-1}\textbf{Y}\\
                           & = (\textbf{X}'\boldsymbol\Omega^{-1}\textbf{X})^{-1}\textbf{X}'\boldsymbol\Omega^{-1}\textbf{Y}
\end{aligned}`
$$

`$\widehat{\textbf{B}}_{MCO}$` son un caso particular cuando `$\boldsymbol\Omega=\textbf{I}$`

Es inmediato plantear que en el modelo transformado

`$$Cov(\widehat{\textbf{B}}_{MCG}) = \sigma_{u}^2(\textbf{X}'\boldsymbol\Omega^{-1}\textbf{X})^{-1}$$`
Para obtener `$\boldsymbol\Omega$` hay que modelar el tipo de situación específica que se quiere resolver: heteroscedasticidad y/o autocorrelación

---
name: r
# Ejercicio aplicado en R: heteroscedasticidad

Cuando `$\boldsymbol\Omega$` es una matriz diagonal de varianzas de error no iguales, estamos ante problemas de heteroscedasticidad, así que `$\widehat{\textbf{B}}_{MCG}$` será el estimador de *mínimos cuadrados ponderados* (MCP)

```r
library(foreign); library(lmtest); library(sandwich)
data <- read.dta("https://stats.idre.ucla.edu/stat/stata/webbooks/reg/elemapi2.dta")

ols <- lm(api00 ~ meals + ell + emer, data=data, subset = data$meals>0) 
```

Probando la existencia de heteroscedasticidad a partir del test de Breuch-Pagan `$(H_0: \text{ homoscedasticidad})$`

```r
bptest(ols)
```

```

studentized Breusch-Pagan test

data:  ols
BP = 8.442, df = 3, p-value = 0.03771
```

Ausumiendo que la variable `$meals$` es la cuausante de la heteroscedasticidad y que la estructura de la heteroscedasticidad es `$Var(u) = \sigma^2meals$`, el modelo corregido por MCP será

```r
mcp <- lm(api00 ~ meals + ell + emer, weight = 1/meals, data=data, subset = data$meals>0)
summary(mcp)
```

```

Call:
lm(formula = api00 ~ meals + ell + emer, data = data, subset = data$meals > 
    0, weights = 1/meals)

Weighted Residuals:
    Min      1Q  Median      3Q     Max 
-36.769  -5.402  -0.483   5.576  29.636

Coefficients:
 Estimate Std. Error t value Pr(>|t|) 
(Intercept) 884.4189 2.9546 299.336 < 2e-16 ***
meals -3.1962 0.1467 -21.787 < 2e-16 ***
ell -0.8705 0.2304 -3.778 0.000183 ***
emer -1.3257 0.3383 -3.918 0.000105 ***
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 9.226 on 395 degrees of freedom
Multiple R-squared: 0.8693,	Adjusted R-squared: 0.8683 
F-statistic: 875.8 on 3 and 395 DF, p-value: < 2.2e-16
```

---
# Ejercicio aplicado en R: heteroscedasticidad

En las aplicaciones reales la matriz de covarianzas `$\boldsymbol\Omega$` es desconocida, y debe ser estimada de los datos en conjunto con los coeficientes de regresión `$\boldsymbol\beta$`. Sin embargo, `$\boldsymbol\Omega$` tiene hasta `$n(n+1)/2$` elementos libres, así que el modelo puede tener más parámetros que datos. Es por esto que se requieren restricciones sobre los elementos de `$\boldsymbol\Omega$`

Otra forma de corregir el problema de heteroscedasticidad son el calculo de errores estándar robustos a la heteroscedasticidad o corrección HC (o HAC para heteroscedasticidad y autocorrelación) (*Heteroskedasticity consistent (HC) and heteroskedasticity and autocorrelation consistent (HAC) covariance matrix estimators*)

**El estimador HC**

Se asume que `$\boldsymbol\Omega$` es una matriz diagonal (no autocorrelación). Un estimador complementario para `$Var(\widehat{\textbf{B}}|\textbf{X})$` podría usar `$\widehat{\boldsymbol\Omega} = diag(w_1,...,w_n)$` con:

$$
`\begin{aligned}
\text{const:} & & w_i & = \widehat{\sigma}^2 & \text{estimador estándar para errores homoscedásticos}\\
\text{HC0:}  & & w_i & = \widehat{u}_i^2 & \text{estimador básico Eicker-Huber-White}\\
\text{HC1:}  & & w_i & = \frac{n}{n-k}\widehat{u}_i^2 & \text{mejoras en muestras pequeñas}\\
\text{HC2:}  & & w_i & = \frac{\widehat{u}_i^2}{1-h_{ii}} & \text{mejoras en muestras pequeñas}\\
\text{HC3:}  & & w_i & = \frac{\widehat{u}_i^2}{(1-h_{ii})^2} & \text{mejoras en muestras pequeñas}\\
\text{HC4:}  & & w_i & = \frac{\widehat{u}_i^2}{(1-h_{ii})^{\delta_i}} & \text{mejoras en muestras pequeñas, en el caso de outiers}\\
\end{aligned}`
$$
donde `$h_{ii}$` son los valores estimados, `$\delta_i = min\{4,h_{ii}/\bar{h}\}$`

---
# Ejercicio aplicado en R: heteroscedasticidad

```r
hc_const <- coeftest(ols, vcov = vcovHC(ols, "const"))
hc_const
```

```

t test of coefficients:

Estimate Std. Error t value Pr(>|t|) 
(Intercept) 886.04379 6.29806 140.6852 < 2.2e-16 ***
meals -3.14890 0.15014 -20.9736 < 2.2e-16 ***
ell -0.91383 0.18471 -4.9474 1.115e-06 ***
emer -1.57162 0.29315 -5.3612 1.409e-07 ***
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
```

```r
hc0 <- coeftest(ols, vcov = vcovHC(ols, "HC0"))
hc0
```

```

t test of coefficients:

Estimate Std. Error t value Pr(>|t|) 
(Intercept) 886.04379 5.11156 173.3413 < 2.2e-16 ***
meals -3.14890 0.13953 -22.5679 < 2.2e-16 ***
ell -0.91383 0.18072 -5.0566 6.547e-07 ***
emer -1.57162 0.32857 -4.7833 2.439e-06 ***
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
```

```r
hc1 <- coeftest(ols, vcov = vcovHC(ols, "HC1"))
hc1
```

```

t test of coefficients:

Estimate Std. Error t value Pr(>|t|) 
(Intercept) 886.04379 5.13737 172.4702 < 2.2e-16 ***
meals -3.14890 0.14023 -22.4545 < 2.2e-16 ***
ell -0.91383 0.18163 -5.0312 7.417e-07 ***
emer -1.57162 0.33022 -4.7593 2.731e-06 ***
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
```