Capítulo 9 Frisch-Waugh-Lovell: teoría
9.1 Objetivos de aprendizaje
Al finalizar esta página podrás:
- Definir las matrices de proyección y aniquilación.
- Explicar la intuición geométrica de una regresión múltiple.
- Enunciar y derivar el teorema de Frisch-Waugh-Lovell.
- Interpretar un coeficiente parcial como una relación entre residuos.
- Calcular el vector \(\hat{\beta}\) y reconocer que \(My\) es el vector de residuos de una regresión.
- Escribir \(P\) y \(M\) con números cuando los controles son variables indicadoras.
9.2 Intuición y motivación
En una regresión múltiple, el coeficiente de una variable no compara observaciones “en bruto”. Compara la parte de la variable dependiente que queda después de remover los controles con la parte de la variable de interés que también queda después de remover esos controles.
El teorema de Frisch-Waugh-Lovell dice que controlar por variables equivale a limpiar tanto \(y\) como la variable de interés \(X_r\), y luego estimar una regresión entre esas dos partes limpias.
9.3 Las dos nubes
Antes de la primera matriz conviene ver qué es lo que se va a limpiar. La pregunta: ¿ganan más las personas altas?
Estimamos tres cosas: la regresión cruda, la múltiple, y la regresión entre residuos.
m_simple <- lm(salario ~ altura, data = nubes)
m_mult <- lm(salario ~ altura + hombre, data = nubes)
nubes$r_altura <- resid(lm(altura ~ hombre, data = nubes))
nubes$r_salario <- resid(lm(salario ~ hombre, data = nubes))
m_fwl <- lm(r_salario ~ r_altura, data = nubes)La misma limpieza, escrita como matriz
Seis personas ordenadas por grupo: tres mujeres y tres hombres. Haz clic en una fila para ver qué hace con los datos.
Los hombres están a la derecha (más altos) y arriba (mejor pagados). La línea punteada atraviesa dos grupos distintos: su pendiente no mide altura, mide una mezcla de altura y sexo. Al restarle a cada persona el promedio de su propio sexo —en las dos variables— cada nube se desliza hasta el origen.
Cada nube se deslizó hasta que su centro cayó en el origen, pero su forma interna no cambió: restar una constante mueve la nube, no la deforma. Las dos rectas paralelas terminaron encima una de la otra, y esa recta única es el coeficiente que buscábamos.
| Estimación | Pendiente sobre altura |
|---|---|
| Regresión cruda | 0.062285 |
| Regresión múltiple | 0.025322 |
| FWL: residuo contra residuo | 0.025322 |
Cuando el único control es una variable indicadora, “limpiar” es literalmente restarle a cada observación el promedio de su grupo. Todo el resto del capítulo es escribir esa frase con matrices, para que funcione con cualquier conjunto de controles.
9.4 Desarrollo teórico
Partimos del modelo:
\[ y=X_r\beta_r+X_s\beta_s+\epsilon, \]
donde \(X_r\) es la variable de interés y \(X_s\) contiene los controles. La matriz de regresores completa es \(X=[X_r \; X_s]\).
9.4.1 El vector de coeficientes, y de dónde sale \(M\)
Antes de proyectar sobre los controles, conviene ver de dónde sale cualquier matriz de proyección. Estimamos por MCO la regresión de \(y\) sobre toda la matriz de regresores \(X\):
\[ \hat{\beta}=(X'X)^{-1}X'y. \]
Los valores ajustados se obtienen multiplicando esos coeficientes por los datos:
\[ \hat{y}=X\hat{\beta}=X(X'X)^{-1}X'y=P_X\,y, \qquad P_X=X(X'X)^{-1}X'. \]
Y el vector de residuos es lo que sobra:
\[ \hat{e}=y-\hat{y}=(I-P_X)\,y=M_X\,y, \qquad M_X=I-P_X. \]
Esta es la bisagra de todo el capítulo: \(M_X y\) no es notación nueva, es el vector de residuos de la regresión de \(y\) sobre \(X\). Decir “corro la regresión y guardo los residuos” y escribir \(M_X y\) son la misma operación. \(P_X\) se queda con la parte explicada, \(M_X\) con lo que sobra, y entre las dos reconstruyen el dato:
\[ y=P_X\,y+M_X\,y=\hat{y}+\hat{e}. \]
Las dos son ortogonales, y por eso “limpiar” mueve la nube sin deformarla.
Todo lo anterior vale para cualquier matriz de regresores. En FWL lo aplicamos a un subconjunto: solo los controles \(X_s\). La matriz de proyección sobre el espacio columna de \(X_s\) es:
\[ P_s=X_s(X_s'X_s)^{-1}X_s'. \]
La matriz que remueve la parte explicada por \(X_s\) es:
\[ M_s=I-P_s. \]
Las matrices \(P_s\) y \(M_s\) son simétricas e idempotentes:
\[ P_s'=P_s, \quad P_s^2=P_s, \]
\[ M_s'=M_s, \quad M_s^2=M_s. \]
9.4.2 Con números: seis personas
Nada de esto es abstracto si uno lo escribe con datos. Tomemos seis trabajadores —tres mujeres y tres hombres— con su salario y su altura, y usemos como único control el sexo.
y <- c(1.8, 2.0, 2.2, 2.9, 3.1, 3.3) # salario, en millones
x <- c(158, 162, 166, 170, 174, 178) # altura, en cm
d <- c(0, 0, 0, 1, 1, 1) # 1 = hombre
Xs <- cbind(constante = 1, hombre = d)Los datos y la matriz de controles \(X_s=[\iota \; d]\):
\[ y = \begin{bmatrix}1.8 \\ 2.0 \\ 2.2 \\ 2.9 \\ 3.1 \\ 3.3\end{bmatrix}\qquad x = \begin{bmatrix}158 \\ 162 \\ 166 \\ 170 \\ 174 \\ 178\end{bmatrix}\qquad X_s = \begin{bmatrix}1 & 0 \\ 1 & 0 \\ 1 & 0 \\ 1 & 1 \\ 1 & 1 \\ 1 & 1\end{bmatrix} \]
9.4.2.1 El vector de coeficientes
Las tres piezas de \(\hat{\beta}=(X_s'X_s)^{-1}X_s'y\):
\[ X_s'X_s = \begin{bmatrix}6 & 3 \\ 3 & 3\end{bmatrix}\qquad (X_s'X_s)^{-1} = \begin{bmatrix}\tfrac{1}{3} & -\tfrac{1}{3} \\ -\tfrac{1}{3} & \tfrac{2}{3}\end{bmatrix}\qquad X_s'y = \begin{bmatrix}15.3 \\ 9.3\end{bmatrix} \] \[ \hat{\beta} = \underset{(X_s'X_s)^{-1}}{\begin{bmatrix}\tfrac{1}{3} & -\tfrac{1}{3} \\ -\tfrac{1}{3} & \tfrac{2}{3}\end{bmatrix}}\underset{X_s'y}{\begin{bmatrix}15.3 \\ 9.3\end{bmatrix}} = \begin{bmatrix}2.00 \\ 1.10\end{bmatrix} \]
Los dos números tienen nombre: \(\hat{\beta}_0=2.0\) es el salario promedio de las mujeres y \(\hat{\beta}_1=1.1\) es cuánto más ganan los hombres. Regresar contra un juego completo de indicadoras es sacar promedios de grupo, nada más.
9.4.2.2 Las dos matrices
\[ P_s = \begin{bmatrix}\tfrac{1}{3} & \tfrac{1}{3} & \tfrac{1}{3} & 0 & 0 & 0 \\ \tfrac{1}{3} & \tfrac{1}{3} & \tfrac{1}{3} & 0 & 0 & 0 \\ \tfrac{1}{3} & \tfrac{1}{3} & \tfrac{1}{3} & 0 & 0 & 0 \\ 0 & 0 & 0 & \tfrac{1}{3} & \tfrac{1}{3} & \tfrac{1}{3} \\ 0 & 0 & 0 & \tfrac{1}{3} & \tfrac{1}{3} & \tfrac{1}{3} \\ 0 & 0 & 0 & \tfrac{1}{3} & \tfrac{1}{3} & \tfrac{1}{3}\end{bmatrix} \] \[ M_s = I - P_s = \begin{bmatrix}\tfrac{2}{3} & -\tfrac{1}{3} & -\tfrac{1}{3} & 0 & 0 & 0 \\ -\tfrac{1}{3} & \tfrac{2}{3} & -\tfrac{1}{3} & 0 & 0 & 0 \\ -\tfrac{1}{3} & -\tfrac{1}{3} & \tfrac{2}{3} & 0 & 0 & 0 \\ 0 & 0 & 0 & \tfrac{2}{3} & -\tfrac{1}{3} & -\tfrac{1}{3} \\ 0 & 0 & 0 & -\tfrac{1}{3} & \tfrac{2}{3} & -\tfrac{1}{3} \\ 0 & 0 & 0 & -\tfrac{1}{3} & -\tfrac{1}{3} & \tfrac{2}{3}\end{bmatrix} \]
Mírenlas antes de seguir. Las dos están hechas de bloques: los ceros dicen que ninguna mujer entra en el cálculo de ningún hombre. Dentro del bloque, la fila de \(P_s\) son puros \(\tfrac{1}{3}\), que es la receta de un promedio. Y cada fila de \(M_s\) suma cero, así que no puede detectar niveles, solo desviaciones.
9.4.2.3 La descomposición
Aquí está la igualdad que motiva el capítulo: \(M_s y\) es \(y-\hat{y}\) de la regresión de \(y\) contra la constante y el sexo.
\[ \underset{y}{\begin{bmatrix}1.8 \\ 2.0 \\ 2.2 \\ 2.9 \\ 3.1 \\ 3.3\end{bmatrix}} = \underset{\hat{y}\,=\,P_s y}{\begin{bmatrix}2.0 \\ 2.0 \\ 2.0 \\ 3.1 \\ 3.1 \\ 3.1\end{bmatrix}} + \underset{\hat{e}\,=\,M_s y}{\begin{bmatrix}-0.20 \\ 0.00 \\ 0.20 \\ -0.20 \\ 0.00 \\ 0.20\end{bmatrix}} \]
Los ajustados solo toman dos valores —uno por grupo— porque es todo lo que el sexo puede predecir.
Ana gana 1.8 millones y sus compañeras ganan 2.0 en promedio, así que su residuo es \(-0.2\). Léanlo en la fila 1 de \(M_s\): \(\tfrac{2}{3}(1.8)-\tfrac{1}{3}(2.0)-\tfrac{1}{3}(2.2)=-0.2\). La matriz no está haciendo magia: está restando el promedio del grupo.
Ese \(-0.2\) no es un salario de menos doscientos mil pesos. Un residuo no es un salario: es la distancia entre el salario de alguien y el promedio de su grupo, y por eso se lee “Ana gana 200 mil menos que el promedio de las mujeres”. El signo dice de qué lado del promedio está, nada más.
De hecho, los residuos tienen que ser negativos la mitad del tiempo: por construcción suman cero dentro de cada grupo. Si todos fueran positivos, no serían desviaciones respecto a un promedio. Lo mismo vale para la altura residual: \(-4\) cm significa “cuatro centímetros más bajo que el promedio de su grupo”, no que alguien mida menos que nada.
9.4.3 Los mismos seis, hasta el final
Falta la otra mitad: la altura se limpia con la misma matriz, porque los controles son los mismos.
\[ \hat{\beta}_{\text{altura}} = (X_s'X_s)^{-1}X_s'x = \begin{bmatrix}162 \\ 12\end{bmatrix} \] \[ \underset{x}{\begin{bmatrix}158 \\ 162 \\ 166 \\ 170 \\ 174 \\ 178\end{bmatrix}} = \underset{P_s x}{\begin{bmatrix}162 \\ 162 \\ 162 \\ 174 \\ 174 \\ 174\end{bmatrix}} + \underset{\tilde{x}\,=\,M_s x}{\begin{bmatrix}-4 \\ 0 \\ 4 \\ -4 \\ 0 \\ 4\end{bmatrix}} \]
La constante es la altura promedio de las mujeres (162 cm) y el coeficiente es cuánto más miden los hombres (12 cm). Y fíjense en el vector limpio: dentro de cada grupo las alturas quedan en \(-4,\,0,\,4\), y los salarios en \(-0.2,\,0,\,0.2\). Los dos grupos quedaron superpuestos, que es exactamente el deslizamiento de la figura.
Y ahora el teorema, que con dos vectores centrados es una división:
\[ \hat{\beta}_{FWL} = \frac{\tilde{x}'\tilde{y}}{\tilde{x}'\tilde{x}} = \frac{3.2}{64} = 0.05 \]
Cada centímetro extra son cincuenta mil pesos. Solo falta comprobar que ese número es el de la regresión múltiple, y que la cruda dice otra cosa:
c(fwl = sum(x_lim * y_lim) / sum(x_lim^2),
multiple = unname(coef(lm(y ~ x + d))["x"]),
cruda = unname(coef(lm(y ~ x))["x"]))#> fwl multiple cruda
#> 0.05000000 0.05000000 0.08214286
#> [1] TRUE
La cruda da casi el doble porque le cobra a la altura una parte de la diferencia entre hombres y mujeres. Todo con seis datos que caben en el tablero.
9.4.4 La misma cuenta en las 90 personas
Con seis observaciones se puede imprimir \(M\) completa. Con noventa no, pero nada cambia: son las mismas líneas sobre los datos de la figura del comienzo.
X90 <- cbind(constante = 1, hombre = nubes$hombre)
XtXi90 <- solve(t(X90) %*% X90)
betas <- cbind(XtXi90 %*% t(X90) %*% nubes$salario,
XtXi90 %*% t(X90) %*% nubes$altura)
colnames(betas) <- c("salario", "altura") # cbind no pisa los dimnames del vector
round(betas, 4)#> salario altura
#> constante 1.9405 160.7049
#> hombre 1.1660 12.4413
Otra vez cuatro promedios: el salario y la estatura media de las mujeres, y las dos brechas. Construimos \(M\) y comprobamos la igualdad en las dos variables:
M90 <- diag(90) - X90 %*% XtXi90 %*% t(X90)
y_limpio90 <- as.vector(M90 %*% nubes$salario)
x_limpio90 <- as.vector(M90 %*% nubes$altura)
all.equal(y_limpio90, unname(resid(lm(salario ~ hombre, data = nubes))))#> [1] TRUE
#> [1] TRUE
Y el mismo último paso:
c(
fwl = sum(x_limpio90 * y_limpio90) / sum(x_limpio90^2),
multiple = unname(coef(lm(salario ~ altura + hombre, data = nubes))["altura"]),
cruda = unname(coef(lm(salario ~ altura, data = nubes))["altura"])
)#> fwl multiple cruda
#> 0.02532153 0.02532153 0.06228507
El coeficiente de FWL y el de la regresión múltiple coinciden hasta el último decimal, y los dos son una fracción del coeficiente crudo. La diferencia entre el crudo y el parcial es el sesgo por variable omitida: lo que la regresión simple le atribuía a la altura y en realidad era diferencia entre hombres y mujeres.
9.4.5 Paso 1: limpiar \(y\)
Regresamos \(y\) sobre los controles \(X_s\) y guardamos los residuos:
\[ y^\perp=M_s y. \]
9.4.6 Paso 2: limpiar \(X_r\)
Regresamos \(X_r\) sobre los mismos controles y guardamos los residuos:
\[ X_r^\perp=M_s X_r. \]
9.4.7 Paso 3: regresar residuos contra residuos
Estimamos:
\[ y^\perp=X_r^\perp\gamma+u. \]
El estimador de \(\gamma\) es:
\[ \hat{\gamma} = ((X_r^\perp)'X_r^\perp)^{-1}(X_r^\perp)'y^\perp = (X_r'M_sX_r)^{-1}X_r'M_s y. \]
El teorema de Frisch-Waugh-Lovell establece que:
\[ \hat{\gamma}=\hat{\beta}_r, \]
donde \(\hat{\beta}_r\) es el coeficiente de \(X_r\) en la regresión completa de \(y\) sobre \(X_r\) y \(X_s\).
Si \(y\) es salario, \(X_r\) es educación y \(X_s\) contiene experiencia, FWL dice que el coeficiente de educación se puede obtener estimando la relación entre salario residualizado por experiencia y educación residualizada por experiencia.
9.5 Supuestos y propiedades
FWL es un resultado algebraico. Para que el coeficiente tenga la interpretación econométrica usual, se requieren los supuestos del modelo lineal.
| Condición | Papel |
|---|---|
| Rango completo | Asegura que las matrices relevantes sean invertibles. |
| Misma muestra | Las tres regresiones parciales deben usar exactamente las mismas observaciones. |
| Exogeneidad | Permite interpretar el coeficiente como parámetro poblacional bajo los supuestos del modelo. |
| Especificación común | Los controles que se remueven de \(y\) y de \(X_r\) deben ser los mismos. |
FWL no cambia el estimador. Cambia la forma de verlo: una regresión múltiple puede entenderse como una regresión simple entre componentes ortogonales a los controles.
9.6 Errores comunes y cuidados
No uses muestras diferentes en las regresiones auxiliares. Si una variable tiene valores faltantes y cambia el conjunto de observaciones, la igualdad de FWL puede romperse en la práctica.
El intercepto debe tratarse de manera consistente. Si la regresión completa incluye constante, las regresiones auxiliares también deben incluirla.
Lo que no puede quedar sin limpiar es \(X_r\). De las tres regresiones posibles, dos devuelven el coeficiente correcto y una no:
| Regresión | ¿Da \(\hat{\beta}_r\)? | Por qué |
|---|---|---|
| \(y^\perp\) sobre \(X_r^\perp\) | Sí | el enunciado del teorema |
| \(y\) sobre \(X_r^\perp\) | Sí | \((X_r^\perp)'y^\perp=X_r'M_s'M_sy=X_r'M_sy=(X_r^\perp)'y\) |
| \(y^\perp\) sobre \(X_r\) | No | el denominador \((X_r'X_r)^{-1}\) quedó sin limpiar |
El error típico es residualizar solo \(y\) y regresarlo contra la variable de interés en bruto. Que las dos primeras coincidan se debe a que \(M_s\) es simétrica e idempotente.
FWL no resuelve por sí mismo problemas de endogeneidad. Si \(\mathbb{E}[\epsilon\mid X]\neq 0\), residualizar controles no convierte automáticamente el coeficiente en causal.
9.7 Resumen
- \(\hat{\beta}=(X'X)^{-1}X'y\), \(\hat{y}=P_Xy\) y \(\hat{e}=M_Xy\): multiplicar por \(M\) es guardar los residuos de una regresión.
- \(P_s\) proyecta sobre el espacio generado por los controles.
- \(M_s=I-P_s\) remueve la parte explicada por los controles.
- FWL estima el coeficiente parcial regresando \(y^\perp=M_sy\) sobre \(X_r^\perp=M_sX_r\).
- El coeficiente obtenido es igual al coeficiente de \(X_r\) en la regresión múltiple completa.
- La igualdad es algebraica, pero la interpretación depende de los supuestos econométricos.
- Si los controles son indicadoras, \(P_s\) saca el promedio de cada grupo y \(M_s\) se lo resta: FWL solo usa la variación dentro del grupo.
9.8 Ejercicios conceptuales
- Explica con tus palabras qué significa “limpiar” una variable de los controles.
- Demuestra que \(M_sX_s=0\).
- ¿Por qué \(M_s\) se llama matriz de aniquilación?
- Da un ejemplo en el que el coeficiente simple de educación difiera del coeficiente controlando por experiencia.
- Explica por qué FWL exige usar la misma muestra en todas las regresiones.
- Con los seis datos de la sección numérica, calcula \(\hat{\beta}\) a mano y verifica que \(\hat{\beta}_0\) y \(\hat{\beta}_0+\hat{\beta}_1\) son los dos promedios de grupo.
- Escribe la fila de \(M_s\) que le corresponde a una persona de un grupo con \(n_g\) observaciones. ¿Cuánto suma esa fila y por qué?
- Suponga que en un grupo todas las observaciones tienen el mismo valor de \(X_r\). ¿Cuánto aportan al numerador y al denominador de \(\hat{\beta}_r\)?
- Para practicar FWL en un taller integrador, resuelve la parte A del Problem Set 2: FWL, propiedades e inferencia.
9.9 Referencias
- Frisch, Ragnar y Frederick Waugh. “Partial Time Regressions as Compared with Individual Trends”, Econometrica, 1933.
- Lovell, Michael. “Seasonal Adjustment of Economic Time Series and Multiple Regression Analysis”, Journal of the American Statistical Association, 1963.
- Wooldridge, Jeffrey. Introductory Econometrics: A Modern Approach, capítulo 3.