Capítulo 11 Aspectos algebraicos y propiedades de MCO: teoría
11.1 Objetivos de aprendizaje
Al finalizar esta página podrás:
- Derivar las propiedades algebraicas de residuos y valores ajustados.
- Distinguir las descomposiciones centrada y no centrada y construir el \(R^2\).
- Obtener el error muestral de \(\hat\beta\).
- Demostrar el insesgamiento condicional de MCO bajo exogeneidad.
- Obtener la varianza clásica de \(\hat\beta\).
- Demostrar el insesgamiento del estimador clásico de \(\sigma^2\).
- Definir la clase de estimadores lineales insesgados y demostrar Gauss-Markov.
11.2 Intuición y motivación
Después de estimar una regresión múltiple y entender con FWL de dónde proviene la variación que identifica cada coeficiente, podemos estudiar ordenadamente dos grupos de resultados. Primero, las identidades algebraicas que MCO cumple en la muestra. Segundo, las propiedades estadísticas de \(\hat\beta\) en muestras repetidas, manteniendo fijo el tamaño muestral.
Un estimador puede cambiar de una muestra a otra. Las propiedades de MCO responden tres preguntas: si acierta en promedio, qué tanto varía y si usa la información de manera eficiente dentro de la clase de estimadores lineales insesgados.
11.3 Parte I: Aspectos algebraicos de la solución de MCO
Los resultados de esta sección son propiedades algebraicas de la regresión estimada. Se cumplen por la forma en que MCO minimiza la SRC; todavía no requieren exogeneidad, homocedasticidad ni normalidad.
11.3.1 Residuos y ecuaciones normales
Partimos de las ecuaciones normales:
\[ X'X\hat{\beta}=X'y. \]
Reorganizando:
\[ X'(y-X\hat{\beta})=0. \]
Como \(\hat{\epsilon}=y-X\hat{\beta}\), obtenemos:
\[ \boxed{X'\hat{\epsilon}=0}. \]
Cada columna de \(X\) es ortogonal al vector de residuos. En notación de sumas, para cada regresor \(x_j\),
\[ \sum_{i=1}^{n}x_{ij}\hat{\epsilon}_i=0. \]
Si \(X\) contiene una constante, una de sus columnas es un vector de unos. En ese caso:
\[ \sum_{i=1}^{n}\hat{\epsilon}_i=0 \quad\Longrightarrow\quad \bar{\hat{\epsilon}}=0. \]
La ortogonalidad \(X'\hat{\epsilon}=0\) es una propiedad de los residuos estimados y se cumple en la muestra. No es lo mismo que el supuesto poblacional \(\mathbb{E}[\epsilon\mid X]=0\), que se refiere al error no observado y sostiene el insesgamiento.
11.3.2 Valores ajustados y ortogonalidad
El vector de valores ajustados es:
\[ \hat y=X\hat{\beta}. \]
Por tanto:
\[ y=\hat y+\hat{\epsilon}. \]
Como \(\hat y\) es una combinación lineal de las columnas de \(X\), también es ortogonal a los residuos:
\[ \hat y'\hat{\epsilon} =(X\hat{\beta})'\hat{\epsilon} =\hat{\beta}'X'\hat{\epsilon} =0. \]
Geométricamente, MCO descompone \(y\) en dos vectores perpendiculares: la proyección \(\hat y\), que pertenece al espacio generado por \(X\), y el residuo \(\hat\epsilon\), que queda fuera de ese espacio.
11.3.3 Descomposición no centrada
Usando \(y=\hat y+\hat\epsilon\):
\[ \begin{aligned} y'y &=(\hat y+\hat\epsilon)'(\hat y+\hat\epsilon)\ &=\hat y'\hat y+2\hat y'\hat\epsilon+\hat\epsilon'\hat\epsilon\ &=\hat y'\hat y+\hat\epsilon'\hat\epsilon. \end{aligned} \]
Así:
\[ \boxed{y'y=\hat y'\hat y+\hat\epsilon'\hat\epsilon}. \]
Esta identidad compara los vectores con respecto al origen y produce el coeficiente de determinación no centrado:
\[ R^2_{nc} =1-\frac{\hat\epsilon'\hat\epsilon}{y'y} =\frac{\hat y'\hat y}{y'y}. \]
11.3.4 Descomposición centrada y \(R^2\)
Cuando el modelo incluye constante, \(\bar{\hat\epsilon}=0\) y \(\bar{\hat y}=\bar y\). Entonces la variación total de \(y\) alrededor de su media se descompone como:
\[ \underbrace{\sum_{i=1}^{n}(y_i-\bar y)^2}_{\text{STC}} = \underbrace{\sum_{i=1}^{n}(\hat y_i-\bar y)^2}_{\text{SEC}} + \underbrace{\sum_{i=1}^{n}\hat\epsilon_i^2}_{\text{SRC}}. \]
De aquí obtenemos el \(R^2\) centrado:
\[ R^2 =\frac{\text{SEC}}{\text{STC}} =1-\frac{\text{SRC}}{\text{STC}}. \]
El \(R^2\) centrado pregunta qué proporción de la variación de \(y\) alrededor de su media explica el modelo. Esta interpretación depende de que la regresión incluya constante.
En una regresión sin constante, la descomposición centrada puede fallar y la fórmula usual puede producir un \(R^2\) negativo. En ese caso debe reportarse e interpretarse el \(R^2\) no centrado.
11.3.5 SRC, varianza residual y error estándar de la regresión
La suma de residuos al cuadrado evaluada en la solución de MCO es:
\[ \text{SRC}=\hat\epsilon'\hat\epsilon. \]
Como se estiman \(K\) parámetros, quedan \(n-K\) grados de libertad para estimar la varianza del error:
\[ \hat\sigma^2 =\frac{\text{SRC}}{n-K} =\frac{\hat\epsilon'\hat\epsilon}{n-K}. \]
El error estándar de la regresión es:
\[ \hat\sigma =\sqrt{\hat\sigma^2} =\sqrt{\frac{\hat\epsilon'\hat\epsilon}{n-K}}. \]
La división por \(n-K\), en lugar de \(n\), corrige los grados de libertad utilizados al estimar \(\beta\). En el capítulo de propiedades mostraremos que, bajo los supuestos clásicos, \(\hat\sigma^2\) es insesgado para \(\sigma^2\).
11.3.6 Error muestral de \(\hat\beta\)
El puente entre el álgebra de la estimación y sus propiedades estadísticas es la diferencia entre el estimador y el parámetro poblacional. Sustituyendo \(y=X\beta+\epsilon\) en la fórmula de MCO:
\[ \begin{aligned} \hat\beta-\beta &=(X'X)^{-1}X'y-\beta\ &=(X'X)^{-1}X'(X\beta+\epsilon)-\beta\ &=\beta+(X'X)^{-1}X'\epsilon-\beta\ &=\boxed{(X'X)^{-1}X'\epsilon}. \end{aligned} \]
Esta expresión muestra exactamente de dónde proviene la variación muestral de \(\hat\beta\): de la proyección del error poblacional sobre las columnas de \(X\). Más adelante la usaremos para estudiar insesgamiento y varianza.
11.4 Parte II: Propiedades del estimador de MCO en muestras finitas
Partimos del modelo:
\[ y=X\beta+\epsilon. \]
El estimador de MCO es:
\[ \hat{\beta}=(X'X)^{-1}X'y. \]
Sustituyendo el modelo poblacional:
\[ \begin{aligned} \hat{\beta} &=(X'X)^{-1}X'(X\beta+\epsilon)\\ &=\beta+(X'X)^{-1}X'\epsilon. \end{aligned} \]
Por tanto, el error muestral es:
\[ \hat{\beta}-\beta=(X'X)^{-1}X'\epsilon. \]
Esta identidad, derivada en el capítulo de estimación, permite estudiar la distribución muestral de \(\hat\beta\) manteniendo fija la matriz observada \(X\). A diferencia de las propiedades algebraicas de los residuos, los resultados de este capítulo sí dependen de supuestos sobre el error poblacional \(\epsilon\).
11.4.1 Insesgamiento
Si se cumple exogeneidad estricta:
\[ \mathbb{E}[\epsilon\mid X]=0, \]
entonces:
\[ \begin{aligned} \mathbb{E}[\hat{\beta}\mid X] &=\mathbb{E}\left[\beta+(X'X)^{-1}X'\epsilon\mid X\right]\\ &=\beta+(X'X)^{-1}X'\mathbb{E}[\epsilon\mid X]\\ &=\beta. \end{aligned} \]
MCO es insesgado condicional a \(X\). Esto no significa que cada estimación sea igual a \(\beta\), sino que el promedio de las estimaciones en muestras repetidas se centra en \(\beta\).
Por la ley de expectativas iteradas, el insesgamiento condicional implica también insesgamiento incondicional:
\[ \mathbb{E}[\hat\beta] =\mathbb{E}\!\left[\mathbb{E}[\hat\beta\mid X]\right] =\mathbb{E}[\beta] =\beta. \]
En la presentación clásica con regresores no estocásticos, \(X\) se trata como fija desde el principio. La misma demostración se escribe como:
\[ \mathbb{E}[\hat\beta] =\beta+(X'X)^{-1}X'\mathbb{E}[\epsilon] =\beta. \]
La formulación condicional es más general y más natural cuando los regresores provienen de una muestra aleatoria.
11.4.2 Varianza
Bajo perturbaciones esféricas:
\[ \text{Var}(\epsilon\mid X)=\sigma^2I, \]
la varianza condicional de \(\hat{\beta}\) es:
\[ \begin{aligned} \text{Var}(\hat{\beta}\mid X) &=\text{Var}\left((X'X)^{-1}X'\epsilon\mid X\right)\\ &=(X'X)^{-1}X'\text{Var}(\epsilon\mid X)X(X'X)^{-1}\\ &=(X'X)^{-1}X'\sigma^2IX(X'X)^{-1}\\ &=\sigma^2(X'X)^{-1}. \end{aligned} \]
En la práctica reemplazamos \(\sigma^2\) por:
\[ \hat{\sigma}^2=\frac{\hat{\epsilon}'\hat{\epsilon}}{n-K} =\frac{\text{SRC}}{n-K}. \]
11.4.3 Insesgamiento de \(\hat\sigma^2\)
La división por \(n-K\) no es una convención arbitraria. Corrige los \(K\) grados de libertad utilizados al estimar \(\beta\).
Definamos la matriz de proyección y la matriz de residuos asociadas a todos los regresores:
\[ P_X=X(X'X)^{-1}X', \qquad M_X=I-P_X. \]
Como \(M_XX=0\), los residuos estimados pueden escribirse como:
\[ \hat\epsilon =M_Xy =M_X(X\beta+\epsilon) =M_X\epsilon. \]
Por simetría e idempotencia de \(M_X\):
\[ \hat\epsilon'\hat\epsilon =\epsilon'M_X'M_X\epsilon =\epsilon'M_X\epsilon. \]
Usamos la identidad \(\mathbb{E}[z'Az\mid X]=\operatorname{tr}\!\left(A\operatorname{Var}(z\mid X)\right)\) cuando \(\mathbb{E}[z\mid X]=0\). Bajo perturbaciones esféricas:
\[ \begin{aligned} \mathbb{E}[\hat\epsilon'\hat\epsilon\mid X] &=\mathbb{E}[\epsilon'M_X\epsilon\mid X]\\ &=\operatorname{tr}\!\left(M_X\operatorname{Var}(\epsilon\mid X)\right)\\ &=\operatorname{tr}(M_X\sigma^2I)\\ &=\sigma^2\operatorname{tr}(M_X). \end{aligned} \]
La matriz \(P_X\) proyecta sobre un espacio de dimensión \(K\), de modo que \(\operatorname{tr}(P_X)=K\). Por tanto:
\[ \operatorname{tr}(M_X) =\operatorname{tr}(I-P_X) =n-K. \]
En consecuencia:
\[ \mathbb{E}[\hat\epsilon'\hat\epsilon\mid X]=(n-K)\sigma^2, \]
y
\[ \boxed{ \mathbb{E}[\hat\sigma^2\mid X] =\mathbb{E}\!\left[\frac{\hat\epsilon'\hat\epsilon}{n-K}\middle|X\right] =\sigma^2.} \]
MCO utiliza \(K\) direcciones de la muestra para ajustar los coeficientes. Los residuos solo conservan variación en las \(n-K\) direcciones restantes; por eso la SRC debe dividirse por \(n-K\).
11.4.4 Linealidad, insesgamiento y eficiencia
Antes de enunciar Gauss-Markov, debemos precisar la clase de comparación. Un estimador \(\tilde\beta\) es:
- Lineal en \(y\) si puede escribirse como \(\tilde\beta=Cy\), donde \(C\) puede depender de \(X\), pero no de \(y\).
- Insesgado si \(\mathbb{E}[\tilde\beta\mid X]=\beta\).
- Eficiente dentro de esa clase si ningún otro estimador lineal e insesgado tiene una matriz de varianza menor.
“Menor” para matrices significa que la diferencia entre las matrices de varianza es semidefinida positiva. Equivale a decir que ninguna combinación lineal de los coeficientes tiene menor varianza con el estimador alternativo.
11.4.5 Teorema de Gauss-Markov
El teorema de Gauss-Markov afirma que, bajo los supuestos clásicos, MCO es el mejor estimador lineal insesgado, o MELI. Es decir, entre todos los estimadores lineales e insesgados, \(\hat{\beta}\) tiene la menor varianza.
Si dos estimadores son insesgados, ambos aciertan en promedio. Gauss-Markov dice que MCO, además, es el que se dispersa menos dentro de la clase de estimadores lineales insesgados.
11.4.5.1 Demostración
Sea un estimador lineal alternativo:
\[ \tilde\beta=Cy. \]
El estimador de MCO también es lineal en \(y\). Definamos:
\[ A=(X'X)^{-1}X', \qquad \hat\beta=Ay. \]
Escribimos la matriz del estimador alternativo como:
\[ C=A+D, \]
donde \(D=C-A\). Entonces:
\[ \tilde\beta =(A+D)y =\hat\beta+Dy. \]
Para que \(\tilde\beta\) sea insesgado para todo \(\beta\):
\[ \begin{aligned} \mathbb{E}[\tilde\beta\mid X] &=C\mathbb{E}[y\mid X]\\ &=CX\beta\\ &=(A+D)X\beta\\ &=(I_K+DX)\beta. \end{aligned} \]
Por tanto, la condición de insesgamiento es:
\[ \boxed{DX=0}. \]
Bajo \(\operatorname{Var}(\epsilon\mid X)=\sigma^2I\), la varianza del estimador alternativo es:
\[ \begin{aligned} \operatorname{Var}(\tilde\beta\mid X) &=C\operatorname{Var}(y\mid X)C'\\ &=\sigma^2(A+D)(A'+D')\\ &=\sigma^2(AA'+AD'+DA'+DD'). \end{aligned} \]
Los términos cruzados son cero. En efecto:
\[ DA' =DX(X'X)^{-1} =0, \]
y, por transposición, \(AD'=0\). Además:
\[ AA' =(X'X)^{-1}X'X(X'X)^{-1} =(X'X)^{-1}. \]
Así:
\[ \operatorname{Var}(\tilde\beta\mid X) =\sigma^2(X'X)^{-1}+\sigma^2DD'. \]
Como \(DD'\) es semidefinida positiva:
\[ \boxed{ \operatorname{Var}(\tilde\beta\mid X) -\operatorname{Var}(\hat\beta\mid X) =\sigma^2DD'\succeq0.} \]
Por tanto, ningún estimador lineal e insesgado tiene menor varianza que MCO. Esto demuestra que \(\hat\beta\) es MELI.
Gauss-Markov no afirma que MCO sea mejor que cualquier estimador imaginable. La comparación se limita a estimadores lineales en \(y\) e insesgados. Tampoco requiere normalidad.
11.5 Supuestos y propiedades
| Propiedad | Supuesto clave | Resultado |
|---|---|---|
| Insesgamiento | \(\mathbb{E}[\epsilon\mid X]=0\) | \(\mathbb{E}[\hat{\beta}\mid X]=\beta\). |
| Varianza clásica | \(\text{Var}(\epsilon\mid X)=\sigma^2I\) | \(\text{Var}(\hat{\beta}\mid X)=\sigma^2(X'X)^{-1}\). |
| Varianza residual | Exogeneidad y perturbaciones esféricas | \(\mathbb{E}[\hat\sigma^2\mid X]=\sigma^2\). |
| MELI | Supuestos clásicos de Gauss-Markov | MCO tiene mínima varianza entre estimadores lineales insesgados. |
| Inferencia exacta | Normalidad adicional | Se estudia al discutir pruebas de hipótesis. |
La normalidad no es necesaria para Gauss-Markov. Es útil para inferencia exacta en muestras pequeñas, tema que se trabaja con más detalle en capítulos posteriores.
11.6 Errores comunes y cuidados
Insesgado no significa correcto en cada muestra. Significa correcto en promedio, bajo el proceso de muestreo y los supuestos del modelo.
MELI no significa “mejor entre todos los estimadores posibles”. Significa mejor dentro de la clase de estimadores lineales e insesgados.
Si fallan las perturbaciones esféricas, MCO puede seguir siendo insesgado bajo exogeneidad, pero la fórmula clásica de varianza deja de ser adecuada. Ese tema se estudia en detalle más adelante.
11.7 Resumen
- Por construcción, \(X'\hat\epsilon=0\), \(\hat y'\hat\epsilon=0\) y \(y=\hat y+\hat\epsilon\).
- Con constante, \(\text{STC}=\text{SEC}+\text{SRC}\) y \(R^2=1-\text{SRC}/\text{STC}\).
- El error muestral de MCO es \(\hat{\beta}-\beta=(X'X)^{-1}X'\epsilon\).
- Bajo \(\mathbb{E}[\epsilon\mid X]=0\), MCO es insesgado.
- Bajo \(\text{Var}(\epsilon\mid X)=\sigma^2I\), \(\text{Var}(\hat{\beta}\mid X)=\sigma^2(X'X)^{-1}\).
- Bajo los mismos supuestos, \(\hat\sigma^2=\hat\epsilon'\hat\epsilon/(n-K)\) es insesgado.
- Gauss-Markov establece que MCO es MELI: el mejor estimador lineal insesgado.
- Las propiedades dependen de los supuestos; no se derivan solo de correr una regresión.
11.8 Ejercicios conceptuales
- Demuestra que \(\hat y'\hat\epsilon=0\) y obtén la descomposición no centrada.
- Explica por qué la descomposición centrada del \(R^2\) requiere una constante.
- Demuestra que \(\hat{\beta}-\beta=(X'X)^{-1}X'\epsilon\).
- Explica por qué \(\mathbb{E}[\epsilon\mid X]=0\) implica insesgamiento condicional.
- Deriva \(\text{Var}(\hat{\beta}\mid X)\) bajo \(\sigma^2I\).
- Demuestra que \(\hat\epsilon=M_X\epsilon\).
- Usa trazas para demostrar que \(\mathbb{E}[\hat\epsilon'\hat\epsilon\mid X]=(n-K)\sigma^2\).
- Explica qué significa que MCO sea “lineal” como estimador.
- En la demostración de Gauss-Markov, muestra por qué \(DX=0\) implica \(DA'=0\).
- Explica la diferencia entre una desigualdad escalar y la relación \(\succeq0\) entre matrices.
- Da un ejemplo de un estimador insesgado que podría tener mayor varianza que MCO.
- Para conectar propiedades, residuos y simulación, resuelve las partes B y D del Problem Set 2: FWL, propiedades e inferencia.