Análisis de la regresión

Mínimos cuadrados no lineales es la forma de análisis de mínimos cuadrados que se usa para encajar un conjunto de mobservaciones con un modelo que es no lineal en n parámetros desconocidos (m > n). Se utiliza en algunas formas de regresión no lineal. La base del método es para aproximar el modelo por uno lineal y para refinar los parámetros por iteraciones sucesivas. Hay muchas similitudes con mínimos cuadrados lineales , pero también algunas diferencias importantes.Considere un conjunto de

m

observaciones,

(x_1, y_1), (x_2, y_2),\dots,(x_m, y_m),

y una curva (función del modelo)

y=f(x, \boldsymbol \beta),

que además de la variable

x

también depende de

n

parámetros,

\boldsymbol \beta = (\beta_1, \beta_2, \dots, \beta_n),

con

m\ge n.

Se desea encontrar el vector

\boldsymbol \beta

de parámetros tales que la curva se ajuste mejor a los datos dados en el sentido de mínimos cuadrados, es decir, la suma de cuadrados

S=\sum_{i=1}^{m}r_i^2

esta es minimizada cuando los errores r_i están dados por

r_i= y_i - f(x_i, \boldsymbol \beta)

para

i=1, 2,\dots, m.

El mínimo valor de S se produce cuando el gradiente es cero. Dado que el modelo contiene 'n parámetros hay n ecuaciones de gradiente:

\frac{\partial S}{\partial \beta_j}=2\sum_i r_i\frac{\partial r_i}{\partial \beta_j}=0 \quad (j=1,\ldots,n).

En un sistema no lineal, los derivados

\frac{\partial r_i}{\partial \beta_j}

son funciones tanto de la variable independiente y los parámetros, por lo que estas ecuaciones gradiente no tienen una solución cerrada. En lugar de ello, los valores iniciales deben ser elegidos para los parámetros. Entonces, los parámetros se refinan iterativamente, es decir, los valores se obtienen por aproximación sucesiva,

\beta_j \approx \beta_j^{k+1} =\beta^k_j+\Delta \beta_j. \,

Aquí, k es un número de iteración y el vector de incrementos,

\Delta \boldsymbol \beta\,

que se conoce como el vector de desplazamiento. En cada iteración del modelo se linealiza por aproximación a un primer orden en serie de Taylor de expansión sobre

\boldsymbol \beta^k\!

f(x_i,\boldsymbol \beta)\approx f(x_i,\boldsymbol \beta^k) +\sum_j \frac{\partial f(x_i,\boldsymbol \beta^k)}{\partial \beta_j} \left(\beta_j -\beta^{k}_j \right) \approx f(x_i,\boldsymbol \beta^k) +\sum_j J_{ij} \,\Delta\beta_j.

El jacobiano , J, es una función de las constantes, la variable independiente y los parámetros, por lo que cambia de una iteración a la siguiente. Por lo tanto, en términos del modelo linealizado,

\frac{\partial r_i}{\partial \beta_j} =-J_{ij}

y los residuos se dan por

r_i=\Delta y_i- \sum_{s=1}^{n} J_{is}\ \Delta\beta_s; \ \Delta y_i=y_i- f(x_i,\boldsymbol \beta^k).

Sustituyendo estas expresiones en las ecuaciones de gradiente, se convierten

-2\sum_{i=1}^{m}J_{ij} \left( \Delta y_i-\sum_{s=1}^{n} J_{is}\ \Delta \beta_s \right)=0

que, en el reordenamiento, convertido en n ecuaciones lineales simultáneas, las ecuaciones normales

\sum_{i=1}^{m}\sum_{s=1}^{n} J_{ij}J_{is}\ \Delta \beta_s=\sum_{i=1}^{m} J_{ij}\ \Delta y_i \qquad (j=1,\dots,n).\,

Las ecuaciones normales se escriben en notación matricial como

\mathbf{\left(J^TJ\right)\Delta \boldsymbol \beta=J^T\ \Delta y}.

Cuando las observaciones no son igualmente fiable, una suma ponderada de los cuadrados puede ser minimizado,

S=\sum_{i=1}^m W_{ii}r_i^2.

Mínimos Cuadrados No Lineales

Para ajustar un modelo $m\left( x,t\right)$ de $n$ parámetros a un conjunto de $m$ datos $\left( t_{i},y_{i}\right)$ , definimos $f\left( x\right) =\frac{1}{2}R\left( x\right) ^{T}R\left( x\right)$ con $R:\mathbb{R}^{n}\rightarrow \mathbb{R}^{m}$ y $R\left( x\right)$ no lineal con $r_{i}\left( x\right) =m\left( x,t_{i}\right) -y_{i}$ cómo i-ésima componente.

El problema finalmente es:

Minimizar $f\left( x\right) =\frac{1}{2}R\left( x\right) ^{T}R\left( x\right) =\frac{1}{2}\sum\limits_{i=1}^{m}r_{i}^{2}\left( x\right)$

Esto es equivalente a minimizar la suma de los cuadrados de las diferencias entre el modelo y los datos.

$f\left( x\right)$ es una función semi-paraboidal en el sentido de que es la suma de parábolas y por tanto es minimizable.

Para hallar $x$ tal que $f\left( x\right)$ se minimiza, hallamos las soluciones del gradiente de $f\left( x\right) ,$ de este modo, definiendo $J\left( x\right) \in \mathbb{R} ^{m\times n}$ como el jacobiano de $R\left( x\right) ,J\left( x\right) _{ij}=\frac{\partial r_{i}\left( x\right) }{\partial x_{j}}$ tenemos las 2 primeras derivadas de $f\left( x\right)$ :

$\nabla f\left( x\right) =\sum\limits_{i=1}^{m}r_{i}\left( x\right) \cdot \nabla r_{i}\left( x\right) =J\left( x\right) ^{T}R\left( x\right)$

$\nabla ^{2}f\left( x\right) =\sum\limits_{i=1}^{m}\left( \nabla r_{i}\left( x\right) \cdot \nabla r_{i}\left( x\right) ^{T}+r_{i}\left( x\right) \cdot \nabla ^{2}r_{i}\left( x\right) \right) =J\left( x\right) ^{T}J\left( x\right) +S\left( x\right)$

Siendo $S\left( x\right) =\sum\limits_{i=1}^{m}r_{i}\left( x\right) \cdot \nabla ^{2}r_{i}\left( x\right)$

Aplicando el método de Newton para resolver $\nabla f\left( x\right)$ tenemos:

$x_{n+1}=x_{n}-\left( \nabla ^{2}f\left( x_{n}\right) \right) ^{-1}\nabla f\left( x_{n}\right)$

$x_{n+1}=x_{n}-\left( J\left( x_{n}\right) ^{T}J\left( x_{n}\right) +S\left( x_{n}\right) \right) ^{-1}J\left( x_{n}\right) ^{T}R\left( x_{n}\right)$

EJEMPLO

Ajustar el modelo $y\left( t\right) =e^{tx}$ a los siguientes datos:

$\begin{tabular}{|l|l|l|l|} \hline t & 1 & 2 & 3 \\ \hline y & 2 & 4 & 8 \\ \hline \end{tabular}$

De aquí, $m\left( x,t_{i}\right) =e^{t_{i}x}$ entonces:

$R=r_{i}\left( x\right) =m\left( x,t_{i}\right) -y_{0}\left( t_{i}\right) =\left( \begin{array}{c} e^{x}-2 \\ e^{2x}-4 \\ e^{3x}-8\end{array}\right)$

Ahora $f\left( x\right) =\frac{1}{2}R\left( x\right) ^{T}R\left( x\right) =\frac{1}{2}\left[ \left( e^{x}-2\right) ^{2}+\left( e^{2x}-4\right) ^{2}+\left( e^{3x}-8\right) ^{2}\right]$

De este modo:

$\nabla f\left( x\right) =e^{x}\left( e^{x}-2\right) +2e^{2x}\left( e^{2x}-4\right) +3e^{3x}\left( e^{3x}-8\right)$

$\nabla ^{2}f\left( x\right) =\left( e^{x}\right) ^{2}+\left( 2e^{2x}\right) ^{2}+\left( 3e^{3x}\right) ^{2}+e^{x}\left( e^{x}-2\right) +4e^{2x}\left( e^{2x}-4\right) +9e^{3x}\left( e^{3x}-8\right)$

Finalmente aplicando el método de Newton con:

$x_{n+1}=x_{n}-\left( \nabla ^{2}f\left( x_{n}\right) \right) ^{-1}\nabla f\left( x_{n}\right)$

Con $x_{0}=1$ y 8 decimales tenemos:

$\begin{tabular}{|l|l|} \hline n & x \\ \hline 0 & 1.00000000 \\ \hline 1 & 0.87299182 \\ \hline 2 & 0.77360001 \\ \hline 3 & 0.71421136 \\ \hline 4 & 0.69491616 \\ \hline 5 & 0.69316064 \\ \hline 6 & 0.69314718 \\ \hline 7 & 0.69314718 \\ \hline \end{tabular}$