Capítulo 25 Modelos con variable dependiente binaria

En muchos problemas económicos la variable de interés no es continua sino binaria: el individuo habla inglés o no, está afiliado al sindicato o no, fue vacunado o no, sobrevivió al COVID o no. En estos casos \(Y\) toma valor 1 si ocurre el evento y 0 en caso contrario, y la pregunta empírica natural es modelar la probabilidad de que ocurra el evento condicional a un vector de covariables \(X\):

\[P(Y_i = 1 \mid X_i) = E(Y_i \mid X_i)\]

¿De dónde sale esta igualdad? Porque \(Y_i\) es Bernoulli: \(E(Y_i) = 1 \cdot p + 0 \cdot (1-p) = p\). La esperanza condicional es la probabilidad. Te lo advertí: la matemática no son números, son letras.

Tres modelos compiten para estimar esa probabilidad: el Modelo Lineal de Probabilidad (MPL), el Probit y el Logit.

La pregunta motivadora: quien habla ingles

Imaginemos datos ficticios donde \(Y = 1\) si el individuo habla inglés y \(X\) = ingreso de los padres. La variable explicada es binaria: solo toma los valores 0 y 1. Si graficamos los puntos contra el ingreso, vemos lo siguiente:

  • En ingresos bajos, casi todos los puntos caen en \(Y=0\).
  • En ingresos altos, casi todos caen en \(Y=1\).
  • En ingresos medios, hay mezcla.

Dos modelos compiten por ajustar estos datos:

  1. Una recta (MPL): \(\widehat{P}(Y=1\mid X) = \widehat{\beta}_0 + \widehat{\beta}_1 X\).
  2. Una curva sigmoidal (Logit o Probit): acotada en el intervalo de 0 a 1, con forma de S.

A primera vista la curva gana — parece ajustar mejor en los extremos. Pero como veremos, cuando la relación entre \(X\) y \(Y\) es difusa (situación común en ciencias sociales), la recta y la curva se parecen mucho en todo el rango, y la diferencia práctica entre los dos modelos se vuelve pequeña.

El Modelo Lineal de Probabilidad (MPL)

El MPL aplica directamente MCO a una regresión donde la variable dependiente es binaria:

\[Y_i = \beta_0 + \beta_1 X_{1i} + \cdots + \beta_k X_{ki} + \varepsilon_i\]

Como \(E(Y_i \mid X_i) = P(Y_i = 1 \mid X_i)\):

\[P(Y_i = 1 \mid X_i) = X_i\beta\]

Interpretación directa de los coeficientes. En el MPL cada \(\beta_j\) es el efecto marginal sobre la probabilidad:

\[\frac{\Delta P(Y_i = 1 \mid X_i)}{\Delta X_{ji}} = \beta_j\]

Si \(X_j\) aumenta en una unidad, la probabilidad de que \(Y_i=1\) cambia en \(\beta_j\). Multiplicando por 100 se expresa en puntos porcentuales.

Problema 1: predicciones fuera del intervalo admisible. El lado derecho \(X_i\beta\) es lineal e ilimitado. Para valores extremos de \(X\), el modelo predice probabilidades negativas o mayores que uno. ¡Horror! ¡Horror! ¡Policía! Una probabilidad debe estar contenida entre 0 y 1.

Problema 2: heterocedasticidad por construcción. Como \(Y_i\) es Bernoulli con probabilidad \(p_i = X_i\beta\):

\[Var(\varepsilon_i \mid X_i) = p_i(1-p_i) = (X_i\beta)(1 - X_i\beta)\]

La varianza del error depende de \(X_i\) — el supuesto de homocedasticidad falla por construcción. Consecuencia: los errores estándar de MCO son inconsistentes. Solución obligatoria: errores estándar robustos.

Problema 3: errores no normales. \(\varepsilon_i\) solo toma dos valores: \(1 - X_i\beta\) cuando \(Y_i=1\) y \(-X_i\beta\) cuando \(Y_i=0\). La distribución es discreta, no normal.

Problema 4: efectos parciales constantes. El MPL impone que llevar a alguien con probabilidad 0.05 a 0.15 es lo mismo que llevarlo de 0.50 a 0.60.

Defensa del MPL — Angrist y Pischke. A pesar de estos problemas, Angrist y Pischke defienden el MPL enfáticamente: poco para perder, mucho para ganar. En la práctica, cuando la relación entre \(Y\) y \(X\) es difusa, la recta rara vez se va del intervalo observado, y su pendiente se parece mucho a la de la curva logit/probit en casi todo el soporte. Además, el MPL se estima por MCO y hereda toda la tecnología disponible: variables instrumentales, paneles, efectos fijos, diferencias en diferencias.

El enfoque de variable latente

Pensar en una variable latente \(Y_i^*\) no observada:

\[Y_i^* = X_i\beta + u_i, \quad Y_i = 1 \text{ si } Y_i^* > 0, \quad Y_i = 0 \text{ si no.}\]

Entonces:

\[P(Y_i = 1 \mid X_i) = P(Y_i^* > 0 \mid X_i) = P(u_i > -X_i\beta \mid X_i)\]

Si la distribución de \(u_i\) es simétrica:

\[P(Y_i = 1 \mid X_i) = G(X_i\beta)\]

donde \(G(\cdot)\) es la CDF de \(u_i\). La elección de \(G\) define el modelo: Probit usa \(\Phi\) (CDF normal); Logit usa \(\Lambda(e) = \exp(e)/(1+\exp(e))\).

El modelo Probit

En Probit suponemos \(u_i \sim N(0,1)\):

\[g(X_i\beta) = \frac{1}{\sqrt{2\pi}}\exp\left(-\frac{1}{2}(X_i\beta)^2\right)\]

\[G(X_i\beta) = \Phi(X_i\beta) = \int_{-\infty}^{X_i\beta} \frac{1}{\sqrt{2\pi}} \exp\left(-\frac{1}{2}t^2\right) dt\]

El modelo Logit

En Logit suponemos que \(u_i\) sigue una distribución logística estándar:

\[g(X_i\beta) = \lambda(X_i\beta) = \frac{\exp(X_i\beta)}{(1+\exp(X_i\beta))^2}\]

\[G(X_i\beta) = \Lambda(X_i\beta) = \frac{\exp(X_i\beta)}{1+\exp(X_i\beta)}\]

Interpretación por log-odds. El Logit tiene una propiedad muy útil. Definamos los odds (razón de probabilidades):

\[\frac{P(Y_i=1\mid X_i)}{P(Y_i=0\mid X_i)} = \exp(X_i\beta)\]

Tomando logaritmos, el log-odds es lineal en \(X_i\beta\). Un aumento de una unidad en \(X_j\) multiplica los odds por \(\exp(\beta_j)\) (el odds-ratio).

Estimación por máxima verosimilitud

Para Probit y Logit no hay solución cerrada. Se estima por máxima verosimilitud. La log-verosimilitud:

\[\ln L(\beta) = \sum_{i=1}^n \left\{ Y_i \ln G(X_i\beta) + (1-Y_i)\ln[1-G(X_i\beta)] \right\}\]

Las condiciones de primer orden:

\[\sum_{i=1}^n \frac{Y_i - G(X_i\beta)}{G(X_i\beta)\,[1-G(X_i\beta)]} \, g(X_i\beta) \, X_{ji} = 0\]

Este sistema no tiene solución cerrada. Se resuelve numéricamente con Newton-Raphson. Bajo regularidad, \(\hat{\beta}^{ML}\) es consistente, asintóticamente normal y eficiente.

Efectos marginales

En Probit y Logit, \(\beta_j\) no es el efecto marginal. Hay que aplicar la regla de la cadena.

Caso 1: variable continua. Sea \(P(Y_i=1\mid X_i) = G(\beta_0 + \beta_1 X_{1i} + \beta_2 X_{2i})\). El efecto marginal de \(X_1\):

\[\frac{\partial P(Y_i=1\mid X_i)}{\partial X_{1i}} = g(X_i\beta) \cdot \beta_1\]

Como \(g(\cdot) > 0\) siempre, el efecto marginal tiene el mismo signo que \(\beta_1\). El promedio en la muestra (APE) en Stata se obtiene con margins, dydx(x1).

Caso 2: variable binaria. Para una variable binaria \(X_1\), se calcula la diferencia:

\[\frac{\Delta P(Y_i=1\mid X_i)}{\Delta X_{1i}} = G(\beta_0 + \beta_1 + \beta_2 X_{2i}) - G(\beta_0 + \beta_2 X_{2i})\]

evaluada típicamente en \(\bar{X}_2\).

Ejemplo aplicado: mortalidad por COVID-19

Sea \(Y = 1\) si el paciente murió de COVID-19. Las covariables:

  • \(X_1\) = Edad (continua), \(\bar{X}_1 = 55\) años.
  • \(X_2\) = Vacuna (binaria), \(\bar{X}_2 = 0.41\) (41% vacunados).

Estimaciones:

  • Probit: \(\hat{\beta}_0 = -3.80\), \(\hat{\beta}_1 = 0.06\), \(\hat{\beta}_2 = 2.00\).
  • Logit: \(\hat{\beta}_0 = -6.70\), \(\hat{\beta}_1 = 0.11\), \(\hat{\beta}_2 = 3.44\).

Efecto marginal de la edad (continua) en Probit:

\[X\hat{\beta} = -3.80 + 0.06 \cdot 55 + 2.00 \cdot 0.41 = 0.32\]

\[\phi(0.32) \approx 0.379 \quad\Rightarrow\quad \text{Efecto marginal} = 0.379 \cdot 0.06 \approx 0.023 \approx 2.3 \text{ pp por año}\]

Efecto marginal de la edad en Logit:

\[X\hat{\beta} = -6.70 + 0.11 \cdot 55 + 3.44 \cdot 0.41 = 0.76\]

\[\lambda(0.76) \approx 0.218 \quad\Rightarrow\quad \text{Efecto marginal} = 0.218 \cdot 0.11 \approx 0.024 \approx 2.4 \text{ pp por año}\]

Los dos modelos dan efectos marginales muy parecidos (2.3 pp vs 2.4 pp) aunque los \(\hat{\beta}\) son distintos.

Términos de interacción y cuadráticos

Interacción \(X_1 \times X_2\). Si \(P(Y=1\mid X) = G(\beta_0 + \beta_1 X_1 + \beta_2 X_2 + \beta_3 X_1 X_2)\), el efecto marginal cruzado no es simplemente \(\beta_3\): depende del nivel de las otras variables y de la densidad \(g(\cdot)\) evaluada en el punto correspondiente.

Término cuadrático. Si \(P(Y=1\mid X) = G(\beta_0 + \beta_1 X_1 + \beta_2 X_1^2)\):

\[\frac{\partial P(Y=1\mid X)}{\partial X_1} = g(\beta_0 + \beta_1 X_1 + \beta_2 X_1^2)(\beta_1 + 2\beta_2 X_1)\]

Comparación de los tres modelos

Las magnitudes de los coeficientes no son comparables. Como referencia aproximada:

\[\beta_{Logit} \approx 1.6 \cdot \beta_{Probit} \approx 4 \cdot \beta_{MPL}\]

Pero los efectos parciales promedio suelen ser muy similares. La elección entre Probit y Logit rara vez cambia las conclusiones; la diferencia importante es entre MPL y los modelos no lineales.

Inferencia: prueba de razón de verosimilitudes (LR)

El estadístico:

\[LR = 2(\ln L_{ur} - \ln L_r) \sim \chi^2_q\]

donde \(q\) es el número de restricciones bajo \(H_0\).

Ejemplo en Stata: probit union south grade. Estimamos un Probit para afiliación sindical (union = 1 si afiliado) en función de región sur y años de educación, \(N = 26.200\).

Modelo no restringido: \(\ln L_{ur} = -13580.409\), Pseudo \(R^2 = 0.0205\), coeficientes south \(= -0.383\) (\(p<0.001\)), grade \(= 0.031\) (\(p<0.001\)).

Modelo restringido (sin grade): \(\ln L_{r} = -13616.76\).

\[LR = 2(-13580.409 - (-13616.76)) = 2 \cdot 36.351 = 72.70\]

Bajo \(H_0: \beta_{grade} = 0\), \(LR \sim \chi^2_1\) — el valor crítico al 5% es 3.84, así que rechazamos con holgura. El test grade de Stata (test de Wald) da 72.46, casi idéntico al LR a mano: en muestras grandes los dos tests convergen.

Bondad de ajuste

El \(R^2\) tradicional no aplica en Probit y Logit. Las alternativas estándar:

McFadden \(R^2\) (Pseudo-\(R^2\) de Stata):

\[R^2_{McF} = 1 - \frac{\ln L_{ur}}{\ln L_{0}}\]

donde \(\ln L_0\) es la log-verosimilitud del modelo solo con intercepto. En el ejemplo anterior, Stata reporta Pseudo \(R^2 = 0.0205\) — el modelo explica apenas 2% de la verosimilitud frente al modelo nulo. Es bajo pero típico en datos micro.

Tabla de clasificación. Clasificamos \(\hat{Y}_i = 1\) si \(\hat{P}(Y_i=1) > 0.5\) y comparamos con el \(Y_i\) observado. La tasa de error con modelo se compara con la regla ingenua (predecir todo según la moda) para obtener un \(R^2\) predictivo. En Stata se obtiene con estat classification.

Heterocedasticidad en modelos no lineales

En MCO, la heterocedasticidad afecta la eficiencia del estimador pero no el sesgo. En Probit y Logit la cosa es muy distinta: la heterocedasticidad cambia la forma funcional del modelo.

Considere el modelo de variable latente con error heterocedástico:

\[y_i^* = \psi_0 + \psi_1 x_{i1} + u_i, \quad u_i \sim N(0, x_{i1}^2)\]

Estandarizando \(u_i = x_{i1} e_i\) con \(e_i \sim N(0,1)\), después de algunos pasos:

\[P(y_i=1\mid x_{i1}) = \Phi\left(\psi_0 \frac{1}{x_{i1}} + \psi_1\right)\]

La forma funcional ha cambiado completamente. Si usted escribe \(P(y_i=1\mid x_i) = \Phi(\psi_0 + \psi_1 x_{i1})\) ignorando la heterocedasticidad, estaría especificando mal el modelo. Conclusión práctica: en Probit y Logit, ignorar la heterocedasticidad no es solo un problema de errores estándar — produce estimadores inconsistentes. Si hay sospecha, hay que modelarla explícitamente con hetprobit en Stata.

Implementación en Stata

* Cargar datos
use empleo.dta, clear

* MPL con errores robustos OBLIGATORIOS
reg trabaja edad educ hijos, robust

* Probit
probit trabaja edad educ hijos
margins, dydx(*)            // efectos marginales promedio (APE)
margins, dydx(*) atmeans    // efectos marginales en la media (PEA)
estat classification        // tabla de clasificacion

* Prueba LR
probit trabaja edad educ hijos
estimates store no_restringido
probit trabaja edad
estimates store restringido
lrtest no_restringido restringido

* Logit
logit trabaja edad educ hijos
margins, dydx(*)
logit trabaja edad educ hijos, or   // odds ratios

* Heteroskedasticity-Probit
hetprobit trabaja edad educ hijos, het(edad)

Resumen de la clase

  • El MPL es MCO sobre una \(Y\) binaria. Simple e interpretable, pero predice fuera del rango admisible, genera heterocedasticidad por construcción e impone efectos parciales constantes. Use errores robustos siempre.
  • Probit y Logit modelan \(P(Y=1\mid X) = G(X\beta)\) con \(G\) una CDF acotada. Probit usa \(\Phi\); Logit usa \(\Lambda\). Estimación por máxima verosimilitud, resuelta por Newton-Raphson.
  • Los coeficientes \(\beta_j\) no son los efectos marginales. Use margins, dydx(*). El signo de \(\beta_j\) sí corresponde al signo del efecto marginal.
  • Para variables continuas, el efecto marginal es \(g(X\beta)\cdot\beta_j\). Para binarias, es la diferencia entre \(G(\cdot)\) con \(X_j=1\) y con \(X_j=0\).
  • La prueba LR compara log-verosimilitudes: \(LR = 2(\ln L_{ur} - \ln L_r) \sim \chi^2_q\).
  • El pseudo-\(R^2\) de McFadden reemplaza al \(R^2\) tradicional.
  • En Probit y Logit, la heterocedasticidad cambia la forma funcional del modelo y genera inconsistencia.
  • Cuando la relación entre \(Y\) y \(X\) es difusa, MPL, Probit y Logit dan efectos marginales muy similares.

Para practicar MPL, logit, probit, verosimilitud y efectos marginales, resuelva las partes A, B, C y D del Problem Set 5: Variable dependiente binaria y series de tiempo.