Conceptos básicos de Inferencia Estadística

Teoría de Regresión Lineal

Interpretación geométrica del modelo.

Considérense los siguientes vectores del espacio n-dimensional Rⁿ

 = ^t vector de la variable respuesta

 = ^t vector de 1

 = ^t vector de la variable regresora

= ^t vector de los errores aleatorios

 = ^t vector de las predicciones

 = ^t =  - vector de los residuos

Dado el modelo de regresión lineal

el método de estimación por mínimos cuadrados tiene la siguiente interpretación geométrica: 

"el vector de predicciones  es la proyección ortogonal del vector  en el plano que generan los vectores   y  (Fig 6.3)". 

De esta forma el vector de residuos  es de módulo mínimo (² =  _{i = 1}ⁿe_i²) . Por tanto, el vector de residuos  es perpendicular al plano generado por   y . Y, en particular, es ortogonal a estos dos vectores, ésto es,

Del teorema de Pitágoras se deduce,

  

Figura 6.3. Interpretación geométrica del modelo de regresión lineal.

Contrastes sobre los parámetros del modelo.

Es de gran interés el siguiente contraste

ya que aceptar H₀ implica que la recta de regresión es  Y _i = ₀ + _i, por tanto, no existe relación lineal entre las variables X e Y .  

Utilizando la distribución (6.10), si H₀ es cierto, se sigue que

(6.17)

Utilizando  ₁ como estadístico del contraste C₁ que es bilateral, se obtiene la siguiente región de aceptación a un nivel de significación ,

(6.18)

El  p - valor del contraste C₁ es

siendo  una variable aleatoria con distribución t_n-2. Este contraste se denomina contraste (individual) de la t.

De la misma forma se puede hacer el contraste

aunque este contraste tiene menor interés por su escaso significado. En este caso, a partir de la distribución (6.11) , si H₀ es cierto, se verifica que

En este caso la región de aceptación a un nivel de confianza  es

Predicción en regresión lineal simple.

Como se comentó anteriormente hay dos objetivos básicos en el ajuste de un modelo de regresión:

- Conocer la relación existente entre la variable respuesta y las variables regresoras. En el caso de la regresión lineal simple se estima la mejor recta de regresión que relaciona la variable Y con la variable X y se cuantifica la importancia de dicha relación por medio del coeficiente de correlación, r.

- Utilizar el modelo de regresión ajustado para “predecir” el valor de la variable respuesta Y cuando la variable regresora toma un valor determinado, X = x_t.

En esta sección se estudia este segundo objetivo. Ésto es, estimada la recta de regresión, ¿cómo predecir el valor de Y sabiendo que la variable regresora toma el valor X = x_t? Ante esta pregunta, se deben distinguir dos situaciones diferentes:

Estimar la media de la distribución condicionada de Y/X = x_t : E = m_t.

Se quiere responder a preguntas del tipo: “¿cuál es el gasto medio en material informático de las empresas que tienen unos ingresos globales de 300 millones anuales?”.

Predecir el valor de la variable respuesta en un individuo de la población en estudio del que se sabe que X = x_t. Esto es, predecir un valor de la variable condicionada Y/X=x_t

Se quiere responder a preguntas del tipo: “La empresa MEGA tiene unos ingresos anuales de 300 millones, ¿cuál será el gasto en material informático de estaempresa?”.

6.9.1 Estimación de las medias condicionadas.

Una vez calculada la recta de regresión de la variable Y respecto a X,

se quiere estimar el parámetro m_t = E. Para ello, como estimador se utiliza el que proporciona la recta de regresión, sustituyendo x_t por x en la ecuación de la recta,

(6.19)

Este estimador verifica las siguientes propiedades:

1. Es centrado o insesgado, E = m_t.
2. La varianza es,

   (6.20)

   donde

   (6.21)

   n_t se denomina número equivalente de observaciones para estimar m_t.
   Teniendo en cuenta que en una muestra de tamaño n, la varianza de la media muestral es V ar = ²/n, la interpretación de n_t es la siguiente: “la información que proporciona la muestra, de tamaño n, de datos bivariantes _{i = 1}ⁿ  para estimar m_t es la misma que proporcionaría una muestra de tamaño n_t de observaciones univariantes de una población con distribución igual a la de Y/X = x_t”.
   De la expresión de n_t se deduce que este valor será mayor cuanto más próximo esté x_t de . Y si x_t =  se verifica que n_t = n.
   La inversa de n_t, h_tt = 1/n_t se denomina valor de influencia de la observación x_t (muy utilizado el nombre en inglés leverage) y se verá más adelante que es una medida de la influencia de la observación  (si este es uno de los datos muestrales) en el cálculo de la recta de regresión.
3. La distribución del estimador _t es normal,
4. En la práctica el estadístico anterior no se puede utilizar para calcular intervalos de confianza de m_t  porque  es desconocido. Por ello, se sustituye  por su estimador  _R y bajo la hipótesis de normalidad se obtiene la siguiente distribución,

   (6.22)

La distribución dada en (6 .22) permite calcular intervalos de confianza de m_t con un nivel de confianza , de la siguiente forma,

(6.23)

Al utilizar el modelo de regresión lineal para estimar una media condicionada o predecir una observación debe de tenerse en cuenta que el método proporciona resultados aceptables dentro del rango de valores muestrales de la X (interpolar), aquí está garantizado que 1 < n_t < n. Si x_t es un punto muy alejado de  (aún estando dentro de la nube de observaciones está muy alejado del centro de la misma) entonces n_t1 y la varianza de _t será muy grande con lo que se obtienen estimaciones con poca precisión (mucha variabilidad). El caso opuesto es que x_t =  y, por tanto, n_t = n, ahora la varianza de  _t es ²/n, la menor posible.

Por otra parte, si se quiere predecir fuera del rango de valores muestrales de X (extrapolar), entonces x_t - puede ser muy grande y, en consecuencia, n_t0, lo que hace que la precisión de la estimación de m_t sea muy pequeña por tener el estimador _t una varianza muy grande y, por tanto, obtener resultados con muy poca validez.

6.9.2 Predicción de una observación.

Se quiere predecir el valor de la variable aleatoria Y/X = x_t teniendo en cuenta que se ha ajustado una recta de regresión. El problema es conceptualmente diferente del anterior, ya que en el apartado anterior se estima un parámetro (la media condicionada) y ahora se quiere predecir el resultado de una variable aleatoria. El predictor que se utiliza  _t se obtiene como aquel que minimize el Error Cuadrático Medio de Predicción. Esto es,  _t se obtiene como el valor que minimiza la siguiente función

Al resolver este problema de minimización se obtiene como predictor el resultado de sustituir el valor de x_t en la recta de regresión calculada,

Por tanto, la predicción de Y/X = x_t es la misma que la estimación de m_t pero su varianza aumenta ya que la variabilidad debida a la muestra  se incrementa con la variabilidad propia de la variable aleatoria que se quiere predecir . Ahora la varianza de la predicción es

  

Var(t - yt) =

Por la hipótesis de normalidad y razonando como en el apartado anterior se obtiene

Utilizando esta distribución se puede calcular un “intervalo de predicción” para y_t, con un nivel de confianza , de la siguiente forma

Por ser la var mucho mayor que la var,  los intervalos de predicción de y_t son mucho mayores que los intervalos de confianza de m_t.