Capítulo 18 Multicolinealidad: práctica

← Volver a la teoría

18.1 Objetivos de la práctica

Al finalizar esta práctica podrás:

  1. Estimar un modelo con regresores altamente correlacionados.
  2. Calcular correlaciones, regresiones auxiliares y VIF.
  3. Comparar errores estándar entre un modelo con y sin regresores colineales.
  4. Reproducir el diagnóstico en R, Stata y Python.

18.2 Pregunta aplicada

Queremos explicar un puntaje académico con educación, horas de estudio e índice educativo de los padres. La pregunta aplicada es:

¿Qué ocurre con la precisión de los coeficientes cuando dos regresores contienen información muy parecida?

Estimaremos:

\[ \text{puntaje}_i =\beta_0+\beta_1\text{educacion}_i+\beta_2\text{indice\_padres}_i+\beta_3\text{horas\_estudio}_i+\epsilon_i. \]

18.3 Datos

La base se crea con una regla determinística. El índice educativo de los padres está construido para estar muy relacionado con educación, pero no de manera exacta.

i_multico <- 1:60
datos_multi <- data.frame(
  i = i_multico,
  educacion = 9 + (i_multico %% 10) + 0.03 * i_multico,
  horas_estudio = 2 + (i_multico %% 7) + 0.2 * sin(i_multico / 2)
)

datos_multi$indice_padres <- 0.92 * datos_multi$educacion +
  0.35 * sin(i_multico / 3)

datos_multi$ajuste <- 0.8 * sin(1.1 * i_multico) -
  0.25 * cos(i_multico / 4)

datos_multi$puntaje <- 38 +
  1.15 * datos_multi$educacion +
  0.55 * datos_multi$horas_estudio +
  datos_multi$ajuste

kable(head(datos_multi, 12), digits = 3, caption = "Primeras observaciones de la base para diagnosticar multicolinealidad")
Tabla 18.1: Primeras observaciones de la base para diagnosticar multicolinealidad
i educacion horas_estudio indice_padres ajuste puntaje
1 10.03 3.096 9.342 0.471 51.708
2 11.06 4.168 10.392 0.427 53.439
3 12.09 5.199 11.417 -0.309 54.454
4 13.12 6.182 12.411 -0.896 55.592
5 14.15 7.120 13.366 -0.643 57.545
6 15.18 8.028 14.284 0.232 60.104
7 16.21 1.930 15.166 0.835 58.538
8 17.24 2.849 16.021 0.572 59.965
9 18.27 3.804 16.858 -0.209 60.894
10 9.30 4.808 8.489 -0.600 50.740
11 10.33 5.859 9.328 -0.129 52.973
12 11.36 6.944 10.186 0.721 55.604
ggplot(datos_multi, aes(x = educacion, y = indice_padres)) +
  geom_point(color = "#2f4858", size = 2.5) +
  geom_smooth(method = "lm", se = FALSE, color = "#C0562F", linewidth = 1) +
  labs(x = "Educación", y = "Índice educativo de los padres") +
  theme_minimal()
Relación entre educación e índice educativo de los padres

Figura 18.1: Relación entre educación e índice educativo de los padres

18.4 Estimación en R

Estimamos un modelo con los regresores colineales y calculamos diagnósticos.

modelo_multi <- lm(puntaje ~ educacion + indice_padres + horas_estudio, data = datos_multi)
modelo_multi_simple <- lm(puntaje ~ educacion + horas_estudio, data = datos_multi)

tabla_multi <- coef(summary(modelo_multi))
tabla_simple_multi <- coef(summary(modelo_multi_simple))

beta0_multi <- unname(coef(modelo_multi)[["(Intercept)"]])
beta_educ_multi <- unname(coef(modelo_multi)[["educacion"]])
beta_padres_multi <- unname(coef(modelo_multi)[["indice_padres"]])
beta_horas_multi <- unname(coef(modelo_multi)[["horas_estudio"]])
se0_multi <- tabla_multi["(Intercept)", "Std. Error"]
se_educ_multi <- tabla_multi["educacion", "Std. Error"]
se_padres_multi <- tabla_multi["indice_padres", "Std. Error"]
se_horas_multi <- tabla_multi["horas_estudio", "Std. Error"]
r2_multi <- summary(modelo_multi)$r.squared

se_educ_simple_multi <- tabla_simple_multi["educacion", "Std. Error"]
cor_educ_padres <- cor(datos_multi$educacion, datos_multi$indice_padres)

calcular_vif <- function(modelo) {
  X <- as.data.frame(model.matrix(modelo)[, -1, drop = FALSE])
  sapply(names(X), function(nombre) {
    otros <- setdiff(names(X), nombre)
    r2_aux <- summary(lm(X[[nombre]] ~ ., data = X[otros]))$r.squared
    1 / (1 - r2_aux)
  })
}

vif_multi <- calcular_vif(modelo_multi)
vif_educ_multi <- unname(vif_multi["educacion"])
vif_padres_multi <- unname(vif_multi["indice_padres"])
vif_horas_multi <- unname(vif_multi["horas_estudio"])

kable(
  data.frame(
    termino = rownames(tabla_multi),
    estimacion = tabla_multi[, "Estimate"],
    error_estandar = tabla_multi[, "Std. Error"],
    t = tabla_multi[, "t value"],
    p_valor = tabla_multi[, "Pr(>|t|)"],
    row.names = NULL
  ),
  digits = 4,
  caption = "Modelo con regresores colineales en R"
)
Tabla 18.2: Modelo con regresores colineales en R
termino estimacion error_estandar t p_valor
(Intercept) 37.7674 0.4544 83.1129 0.0000
educacion 1.2332 0.2952 4.1779 0.0001
indice_padres -0.0767 0.3188 -0.2406 0.8107
horas_estudio 0.5634 0.0401 14.0587 0.0000
kable(
  data.frame(
    regresor = names(vif_multi),
    VIF = as.numeric(vif_multi),
    row.names = NULL
  ),
  digits = 3,
  caption = "Factores de inflación de varianza calculados en R"
)
Tabla 18.3: Factores de inflación de varianza calculados en R
regresor VIF
educacion 123.303
indice_padres 123.301
horas_estudio 1.007
datos_vif <- data.frame(
  regresor = names(vif_multi),
  VIF = as.numeric(vif_multi)
)

ggplot(datos_vif, aes(x = regresor, y = VIF)) +
  geom_col(fill = "#C0562F", width = 0.55) +
  geom_hline(yintercept = 5, color = "grey50", linewidth = 0.7) +
  labs(x = NULL, y = "VIF") +
  theme_minimal()
Factores de inflación de varianza por regresor

Figura 18.2: Factores de inflación de varianza por regresor

Comparamos el error estándar de educación cuando incluimos y cuando excluimos el índice educativo de los padres.

kable(
  data.frame(
    modelo = c("Con índice de padres", "Sin índice de padres"),
    coeficiente_educacion = c(beta_educ_multi, unname(coef(modelo_multi_simple)[["educacion"]])),
    error_estandar_educacion = c(se_educ_multi, se_educ_simple_multi)
  ),
  digits = 4,
  caption = "Comparación del coeficiente de educación entre especificaciones"
)
Tabla 18.4: Comparación del coeficiente de educación entre especificaciones
modelo coeficiente_educacion error_estandar_educacion
Con índice de padres 1.2332 0.2952
Sin índice de padres 1.1624 0.0265

18.5 Interpretación

La correlación entre educación e índice educativo de los padres es 0.996. El VIF de educación es 123.30 y el VIF del índice de padres es 123.30.

El coeficiente de educación en el modelo completo es 1.233 y su error estándar es 0.295. En el modelo sin índice de padres, el error estándar de educación es 0.026.

La caída del error estándar al retirar un regresor no significa automáticamente que esa sea la especificación correcta. Si el índice de padres es relevante para la pregunta económica, eliminarlo puede cambiar la interpretación del coeficiente de educación.

18.6 Estimación en Stata

El mismo diagnóstico puede reproducirse en Stata:

clear
set obs 60
gen i = _n
gen educacion = 9 + mod(i, 10) + 0.03 * i
gen horas_estudio = 2 + mod(i, 7) + 0.2 * sin(i / 2)
gen indice_padres = 0.92 * educacion + 0.35 * sin(i / 3)
gen ajuste = 0.8 * sin(1.1 * i) - 0.25 * cos(i / 4)
gen puntaje = 38 + 1.15 * educacion + 0.55 * horas_estudio + ajuste

reg puntaje educacion indice_padres horas_estudio
estat vif
corr educacion indice_padres horas_estudio

reg puntaje educacion horas_estudio

Los resultados esperados son los mismos coeficientes que Stata debe reproducir si usa la misma base y especificación:

Término Estimación aproximada Error estándar aproximado
Constante 37.767 0.454
Educación 1.233 0.295
Índice de padres -0.077 0.319
Horas de estudio 0.563 0.040
\(R^2\) 0.973

18.7 Estimación en Python y Google Colab

Para correr esta práctica en Google Colab, abre un cuaderno nuevo y ejecuta:

!pip -q install pandas numpy statsmodels matplotlib seaborn

Luego reproduce la base, el modelo y los VIF:

import numpy as np
import pandas as pd
import statsmodels.api as sm
from statsmodels.stats.outliers_influence import variance_inflation_factor

i = np.arange(1, 61)
datos_multi = pd.DataFrame({"i": i})
datos_multi["educacion"] = 9 + (i % 10) + 0.03 * i
datos_multi["horas_estudio"] = 2 + (i % 7) + 0.2 * np.sin(i / 2)
datos_multi["indice_padres"] = 0.92 * datos_multi["educacion"] + 0.35 * np.sin(i / 3)
datos_multi["ajuste"] = 0.8 * np.sin(1.1 * i) - 0.25 * np.cos(i / 4)
datos_multi["puntaje"] = (
    38 + 1.15 * datos_multi["educacion"] +
    0.55 * datos_multi["horas_estudio"] +
    datos_multi["ajuste"]
)

X = sm.add_constant(datos_multi[["educacion", "indice_padres", "horas_estudio"]])
y = datos_multi["puntaje"]
modelo = sm.OLS(y, X).fit()
print(modelo.summary())

X_sin_constante = datos_multi[["educacion", "indice_padres", "horas_estudio"]]
X_vif = sm.add_constant(X_sin_constante)
vif = pd.Series(
    [variance_inflation_factor(X_vif.values, j)
     for j in range(1, X_vif.shape[1])],
    index=X_sin_constante.columns
)
print(vif)
print(datos_multi[["educacion", "indice_padres", "horas_estudio"]].corr())

Los resultados esperados son los mismos coeficientes que Python debe reproducir si usa la misma base y especificación:

Término Estimación aproximada Error estándar aproximado
Constante 37.767 0.454
Educación 1.233 0.295
Índice de padres -0.077 0.319
Horas de estudio 0.563 0.040
\(R^2\) 0.973

18.8 Comparación R, Stata y Python

Los tres programas estiman el mismo modelo y ofrecen diagnósticos equivalentes. R calcula el VIF con regresiones auxiliares, Stata lo obtiene con estat vif, y Python lo calcula con variance_inflation_factor.

Tarea R Stata Python
Estimar modelo lm() reg sm.OLS()
Correlaciones cor() corr .corr()
VIF regresiones auxiliares estat vif variance_inflation_factor()
Comparar especificaciones varios objetos lm() varias llamadas a reg varios modelos OLS

18.9 Errores frecuentes en la práctica

  • Eliminar variables solo para bajar el VIF. La decisión debe responder a la pregunta económica.
  • Leer el VIF como prueba causal. El VIF mide dependencia entre regresores, no validez de identificación.
  • Diagnosticar solo con correlaciones bivariadas. Las regresiones auxiliares capturan combinaciones de varios regresores.
  • Confundir multicolinealidad con endogeneidad. La endogeneidad se estudia más adelante y afecta sesgo; la multicolinealidad afecta precisión.

18.10 Ejercicios computacionales

  1. Reduce el término 0.35 * sin(i / 3) en indice_padres. ¿Qué ocurre con los VIF?
  2. Aumenta el tamaño de la muestra a 120 observaciones manteniendo la misma regla. ¿Cambian los errores estándar?
  3. Calcula manualmente el \(R^2\) auxiliar de educación sobre los demás regresores y verifica el VIF.
  4. Estima el modelo sin indice_padres. ¿Cómo cambia la interpretación del coeficiente de educación?
  5. Reproduce el diagnóstico en Python y compara la tabla de VIF con R.