Estadística

Análisis de la regresión

 modelo de regresión múltiple no postulado es uno de los métodos de regresión lineal.- .....................................................................:http://es.wikipedia.org/w/index.php?title=Especial:Libro&bookcmd=download&collection_id=60ae16312be52af6a958bf6251797a8423aa1478&writer=rdf2latex&return_to=Modelos+de+regresi%C3%B3n+m%C3%BAltiple+postulados+y+no+postulados

mínimos cuadrados generalizados (en inglés, generalized least squares (GLS)) es una técnica para la estimación de los parámetros desconocidos en un modelo de regresión lineal. El GLS se aplica cuando las varianzas de las observaciones son desiguales, es decir, cuando se presenta heterocedasticidad, o cuando existe un cierto grado de correlación entre las observaciones.¹ En estos casos los mínimos cuadrados ordinarios pueden ser estadísticamente ineficaces o incluso dar inferencias engañosas.- ...................................................:http://es.wikipedia.org/w/index.php?title=Especial:Libro&bookcmd=download&collection_id=0b3e4eec6b939691b5d9d2af84a5b5422b5849c6&writer=rdf2latex&return_to=M%C3%ADnimos+cuadrados+generalizados

Estimación por mínimos cuadrados generalizados.

En un modelo de regresión lineal se supone que la matriz de varianzas-covarianzas de los errores es de la forma

(10.1)

siendo I_n la matriz identidad de orden n. Si no se verifica la hipótesis de homocedasticidad, o la de independencia, o ambas, entonces la matriz de varianzas-covarianzas tiene  la forma general

(10.2)

siendo  una matriz simétrica, definida positiva de orden n × n. En este caso, se puede calcular el estimador de  por el método de mínimos cuadrados generalizados. Este método se desarrolla en dos etapas: en una primera etapa se transforma el modelo de regresión original

Para ello y por ser  una matriz simétrica, definida positiva, existe una matriz cuadrada P tal que

esta matriz  no tiene porque ser única, pero si existe. Multiplicando por P  la ecuación de regresión se obtiene

(10.3)

Denominando ^* = P, X^* = PX y  ^* = P , se obtiene la ecuación de regresión

(10.4)

y los errores del modelo verifican

por tanto los errores son incorrelados y homocedásticos. Ahora se puede aplicar el método de mínimos cuadrados ordinarios a estos datos transformados para obtener el estimador

(10.5)

Por el Teorema de Gauss-Markov, este estimador _G es el mejor estimador lineal insesgado. En la práctica, la matriz P, aunque existe, es desconocida y es necesario estimarla  a partir de las observaciones, obteniendo el estimador

(10.6)

A continuación se exponen dos situaciones comunes en las que se puede aplicar este método de estimación.

Heterocedasticidad.

Si las observaciones son independientes pero heterocedásticas entonces la matriz de varianzas-covarianzas viene dada por

Y la matriz P

En este caso los datos transformados son

Esto equivale a trabajar con el modelo transformado

(10.7)

Sobre este modelo se aplica ahora el método de mínimos cuadrados ordinarios. En particular, si se trabaja con el modelo de regresión lineal se obtiene el siguiente estimador del coeficiente de regresión 

(10.8)

Este estimador se denomina estimador por mínimos cuadrados ponderados y es un caso particular del estimador por mínimos cuadrados generalizados. En la práctica, para utilizar este estimador hay que calcular estimadores de los parámetros ₁²,...,_n² ,  lo que puee hacerse por uno de los siguientes métodos:

* Suponer que la varianza se ajusta a una función

y estimar la función g.

* Hacer grupos en las observaciones (en el orden en que se han recogido) normalmente del mismo tamaño k y suponer que en cada grupo la varianza es constante. Entonces se estima la varianza en cada grupo a partir de las observaciones del grupo. una forma de conseguir ésto es ajustar el modelo de regresión por mínimos cuadrados ordinarios a las observaciones originales y a partir de los residuos de este modelo obtener los estimadores de la varianza en cada grupo.

Observaciones dependientes.

Si las observaciones son homocedásticas pero dependientes entonces la matriz de varianzas-covarianzas es de la forma general

En la mayoría de las situaciones la estructura de dependencia de los errores puede ajustarse a un modelo paramétrico. Un modelo sencillo y muy utilizado es el modelo AR, (modelo autorregresivo de orden uno). En este caso se verifica que los errores siguen la ecuación

(10.9)

siendo  la autocorrelación de orden 1 del proceso _t, por tanto,  < 1, y a_t es una sucesión de variables aleatorias independientes e igualmente distribuídas.

En este caso, la matriz de varianzas-covarianzas es

la matriz P de transformación es

y la matriz ^-1 es

(10.10)

Utilizando esta matriz se obtiene el estimador por mínimos cuadrados generalizados

(10.11)

Nuevamente, en la práctica, ^-1 es desconocido y se tiene que estimar. Por la forma de la matriz ^-1, es suficiente con estimar el parámetro  y sustituir en la matriz. Para estimar , puede utilizarse el siguiente procedimiento:  ajustar a los datos el modelo de regresión lineal por mínimos cuadrados ordinarios y calcular los residuos mínimo cuadráticos

A partir de estos residuos se obtiene el siguiente estimador de ,

(10.12)

sustituyendo  por  en la matriz ^-1 se obtiene la matriz estimada ^-1, a partir de la cual se obtiene el estimador

(10.13)

Siguiendo este procedimiento se puede obtener el siguiente estimador iterativo:

Paso 1. Se utiliza el estimador _F para obtener nuevos residuos e_i^'.

Paso 2. De estos residuos se obtiene un nuevo estimador ^'.

Paso 3. Utilizando ^' se calcula un nuevo estimador _F^'.

Se continúa el proceso de forma iterativa (volver al Paso 1) hasta obtener la convergencia del estimador _F (estimador iterativo de Cochran y Orcutt (1949)).

En este problema también se pueden considerar otros estimadores del parámetro  o modelos de dependencia más complejos que dependen de un número mayor de parámetros.

Ejemplo 10.1.

“Se desea ajustar un modelo de regresión lineal simple de diseño fijo a cien observaciones, donde los valores de la variable explicativa son x_i = i/n, i = 1,...,100(diseño fijo equiespaciado) y los valores de la variable respuesta vienen dados en la tabla adjunta (leídos por columnas). Analizar la hipótesis de independencia de los residuos”.

Datos del Ejemplo 10.1

2'41	1'43	2'34	2'11	2'91	4'52	3'55	3'63	2'32	2'59
3'10	1'49	2'56	2'13	2'64	4'14	3'04	3'64	2'46	3'15
2'61	1'85	2'55	1'85	2'53	4'17	3'34	3'40	2'31	3'29
1'87	1'69	2'95	2'25	2'75	3'66	3'21	3'17	2'41	3'23
1'47	2'28	2'72	2'15	2'29	2'70	3'31	3'16	2'69	2'70
1'01	2'42	2'84	2'80	2'81	2'56	2'76	3'47	3'24	2'08
1'48	1'91	2'08	3'14	3'19	2'30	3'39	3'52	2'80	2'57
1'47	2'73	2'10	3'03	3'43	3'10	3'84	3'53	3'29	3'17
1'85	1'93	2'03	3'05	3'22	3'89	4'07	3'22	3'14	2'80
1'91	1'93	1'70	3'31	4'24	3'60	3'45	2'52	2'78	2'38

Ajustando la recta de regresión por mínimos cuadrados se obtiene

Las observaciones muestrales y la recta ajustada se representan en la Figura 10.1.

Figura 10.1. Datos y recta ajustada por MCO.

Los residuos de este modelo presentan una clara dependencia positiva. Esto se observa en el gráfico de residuos frente al índice (Figura 10.2).

Figura 10.2. Residuos MCO según índice.

En la Figura 10.3. se representa el correlograma (f.a.s.) de los residuos del modelo y se observa que las primeras autocorrelaciones de los residuos son muy altas. En particular, r₁ = 0^'758, con desviación típica  = 0^'099. Utilizando el contraste de independencia de Ljung-Box (Sección 4.7.2.) se obtiene para m = 5 (número de retardos) que

Figura 10.3. F.a.s. de los residuos MCO.

En la Figura 10.4 se representa el gráfico de autocorrelaciones parciales (f.a.p.) de los residuos y se observa que la fap de orden uno es muy grande. De todo se concluye que no se acepta la hipótesis de independencia.

Figura 10.4. F.a.p. de los residuos MCO.

De los gráficos representados en las Figuras 10.3 y 10.4 se deduce que la sucesión de errores del modelo de regresión sigue una estructura de dependencia del tipoAR(1) con  = 0^'758. En base a ello se estima la recta de regresión por mínimos cuadrados generalizados utilizando la matriz de transformación  dada anteriormente. Se obtiene el siguiente modelo de regresión

Las dos rectas de regresión obtenidas por mínimos cuadrados y por mínimos cuadrados generalizados se representan en la Figura 10.5. En este ejemplo la diferencia entre las dos rectas estimadas es pequeña.

Figura 10.5. Las dos rectas ajustadas.