ARTÍCULOS DE ESTADÍSTICA

estimador adaptativo es un estimador en un modelo paramétrico o semiparamétrico con parámetros de molestia, de modo que la presencia de estos parámetros de molestia no afecte la eficiencia de la estimación.

Definición [ editar ]

Formalmente, deje parámetro θ en un modelo paramétrico consta de dos partes: el parámetro de interés nu ∈ N ⊆ R ^k , y la molestia parámetro eta ∈ H ⊆ R ^m . Así, θ = ( ν, η ) ∈ N × H ⊆ R ^{k + m} . Entonces diremos que$${\ displaystyle \ scriptstyle {\ hat {\ nu}} _ {n}}es un estimador adaptativo de ν en presencia de η si este estimador es regular y eficiente para cada uno de los submodelos ^[1]

$${\ displaystyle {\ mathcal {P}} _ {\ nu} (\ eta _ {0}) = {\ big \ {} P _ {\ theta}: \ nu \ en N, \, \ eta = \ eta _ {0} {\ big \}}.}

El estimador adaptativo estima el parámetro de interés igualmente bien independientemente de si el valor del parámetro de molestia es conocido o no.

La condición necesaria para que un modelo paramétrico regular tenga un estimador adaptativo es que

$${\ displaystyle I _ {\ nu \ eta} (\ theta) = \ operatorname {E} [\, z _ {\ nu} z _ {\ eta} '\,] = 0 \ quad {\ text {para todos}} \ theta

donde z _ν y z _η son componentes de la función de puntuación correspondientes a los parámetros ν y ηrespectivamente, y por lo tanto I _νη es el bloque k × m de arriba a la derecha de la matriz de información de Fisher I ( θ ).

Ejemplo [ editar ]

Suponer $${\ displaystyle \ scriptstyle {\ mathcal {P}}}es la familia normal de escala de ubicación :

{\ displaystyle {\ mathcal {P}} = {\ Big \ {} \ f _ {\ theta} (x) = {\ tfrac {1} {{\ sqrt {2 \ pi}} \ sigma}} e ^ { - {\ frac {1} {2 \ sigma ^ {2}}} (x- \ mu) ^ {2}} \ {\ Big |} \ \ mu \ in \ mathbb {R}, \ sigma> 0 \ {\Grande \}}.}

Entonces el estimador habitual. $${\ displaystyle {\ hat {\ mu}} \, = \, {\ bar {x}}} es adaptable: podemos estimar la media igualmente bien si conocemos la varianza o no.

cadena de Markov aditiva es una cadena de Markov con una función de probabilidad condicional aditiva . Aquí, el proceso es una cadena de Markov de tiempo discreto m, y la probabilidad de transición a un estado la próxima vez es una suma de funciones, cada una dependiendo del estado siguiente y uno de los m estados anteriores.

Definición [ editar ]

Una cadena de Markov aditiva de orden m es una secuencia de variables aleatorias X ₁ ,  X ₂ ,  X ₃ , ..., que posee la siguiente propiedad: la probabilidad de que una variable aleatoria X _n tenga un cierto valor x _n bajo la condición de que los valores de todas las variables anteriores se fijan, depende solo de los valores de mvariables anteriores ( cadena de orden de Markov m ), y la influencia de las variables anteriores en una generada es aditiva,

$${\ displaystyle \ Pr (X_ {n} = x_ {n} \ mid X_ {n-1} = x_ {n-1}, X_ {n-2} = x_ {n-2}, \ dots, X_ { nm} = x_ {nm}) = \ sum _ {r = 1} ^ {m} f (x_ {n}, x_ {nr}, r).}

Caso binario [ editar ]

Una cadena de Markov aditiva binaria es donde el espacio de estado de la cadena consiste solo en dos valores, X _n  ∈ {  x ₁ ,  x ₂  }. Por ejemplo, X _n  ∈ {0, 1}. La función de probabilidad condicional de una cadena de Markov aditiva binaria se puede representar como

$${\ displaystyle \ Pr (X_ {n} = 1 \ mid X_ {n-1} = x_ {n-1}, X_ {n-2} = x_ {n-2}, \ dots) = {\ bar { X}} + \ sum _ {r = 1} ^ {m} F (r) (x_ {nr} - {\ bar {X}}),}

$${\ displaystyle \ Pr (X_ {n} = 0 \ mid X_ {n-1} = x_ {n-1}, X_ {n-2} = x_ {n-2}, \ dots) = 1- \ Pr (X_ {n} = 1 \ mid X_ {n-1} = x_ {n-1}, X_ {n-2} = x_ {n-2}, \ dots).}

aquí $${\ displaystyle {\ bar {X}}}es la probabilidad de encontrar X _n  = 1 en la secuencia y F ( r ) se conoce como la función de memoria. El valor de$${\ displaystyle {\ bar {X}}}y la función F ( r ) contiene toda la información sobre las propiedades de correlación de la cadena de Markov.

Relación entre la función de memoria y la función de correlación [ editar ]

En el caso binario, la función de correlación entre las variables.$${\ displaystyle X_ {n}} y $${\ displaystyle X_ {k}} De la cadena depende de la distancia. $${\ displaystyle nk}solamente. Se define de la siguiente manera:

$${\ displaystyle K (r) = \ langle (X_ {n} - {\ bar {X}}) (X_ {n + r} - {\ bar {X}}) \ rangle = \ langle X_ {n} X_ {n + r} \ rangle - {\ bar {X}} ^ {2},}

donde el simbolo $${\ displaystyle \ langle \ cdots \ rangle}denota el promedio de todo n . Por definición,

$${\ displaystyle K (-r) = K (r), K (0) = {\ bar {X}} (1 - {\ bar {X}}).}

Existe una relación entre la función de memoria y la función de correlación de la cadena de Markov aditiva binaria: ^[1]

$${\ displaystyle K (r) = \ sum _ {s = 1} ^ {m} K (rs) F (s), \, \, \, \, \, r = 1,2, \ dots \ ,.}

 modelo aditivo ( AM ) es un método de regresión no paramétrico . Fue sugerido por Jerome H. Friedman y Werner Stuetzle (1981) ^[1] y es una parte esencial del algoritmo ACE . La AM usa un suavizadorunidimensional para construir una clase restringida de modelos de regresión no paramétrica. Debido a esto, se ve menos afectado por la maldición de la dimensionalidad que, por ejemplo, un suavizado en p- dimensional. Además, el AM es más flexible que un modelo lineal estándar., mientras que es más interpretable que una superficie de regresión general a costa de errores de aproximación. Los problemas con la AM incluyen la selección del modelo , el sobreajuste y la multicolinealidad .

Descripción [ editar ]

Dado un conjunto de datos$${\ displaystyle \ {y_ {i}, \, x_ {i1}, \ ldots, x_ {ip} \} _ {i = 1} ^ {n}}de n unidades estadísticas , donde$${\ displaystyle \ {x_ {i1}, \ ldots, x_ {ip} \} _ {i = 1} ^ {n}}representar predictores y $${\ displaystyle y_ {i}}Es el resultado, el modelo aditivo toma la forma.

$${\ displaystyle E [y_ {i} | x_ {i1}, \ ldots, x_ {ip}] = \ beta _ {0} + \ sum _ {j = 1} ^ {p} f_ {j} (x_ { ij})}

o

$${\ displaystyle Y = \ beta _ {0} + \ sum _ {j = 1} ^ {p} f_ {j} (X_ {j}) + \ varepsilon}

Dónde $${\ displaystyle E [\ epsilon] = 0}, $${\ displaystyle Var (\ epsilon) = \ sigma ^ {2}} y $${\ displaystyle E [f_ {j} (X_ {j})] = 0}. Las funciones$${\ displaystyle f_ {j} (x_ {ij})}Se desconocen las funciones suaves que caben a partir de los datos. Ajuste de la AM (es decir, las funciones$${\ displaystyle f_ {j} (x_ {ij})}) se puede hacer usando el algoritmo de backfitting propuesto por Andreas Buja, Trevor Hastie y Robert Tibshirani (1989). 

suavizado aditivo , también denominado suavizado de Laplace ^[1] (no debe confundirse con el suavizado de Laplacia como se usa en el procesamiento de imágenes ), o suavizado de Lidstone , es una técnica utilizada para suavizar los datos categóricos . Dada una observación$${\ textstyle \ scriptstyle {\ mathbf {x} \ = \ \ left \ langle x_ {1}, \, x_ {2}, \, \ ldots, \, x_ {d} \ right \ rangle}}De una distribución multinomial con$${\ textstyle \ scriptstyle {N}}ensayos, una versión "suavizada" de los datos proporciona al estimador :

$${\ displaystyle {\ hat {\ theta}} _ {i} = {\ frac {x_ {i} + \ alpha} {N + \ alpha d}} \ qquad (i = 1, \ ldots, d),}

donde "pseudocount" α  > 0 es un parámetro de suavizado . α  = 0 corresponde a no alisar. (Este parámetro se explica en el § Pseudocontivo a continuación). El suavizado aditivo es un tipo de estimador de contracción , ya que la estimación resultante estará entre la probabilidad empírica ( frecuencia relativa )$${\ textstyle \ scriptstyle {\ frac {x_ {i}} {N}}}, y la probabilidad uniforme $${\ textstyle \ scriptstyle {\ frac {1} {d}}}. Invocando la regla de sucesión de Laplace , algunos autores han argumentado ^{[ cita requerida ]} que αdebería ser 1 (en cuyo caso también se usa el término add-one suavizado ^[2] [3] ) ^{[ se necesita más explicación ]} , aunque en la práctica se utiliza ^{una versión más} pequeña. el valor se elige típicamente

Desde un punto de vista bayesiano , esto corresponde al valor esperado de la distribución posterior , utilizando una distribución de Dirichlet simétrica con el parámetro α como una distribución previa . En el caso especial donde el número de categorías es 2, esto es equivalente a usar una distribución Beta como el conjugado antes de los parámetros de la distribución Binomial .

Historia [ editar ]

A Laplace se le ocurrió esta técnica de suavizado cuando intentó estimar la probabilidad de que el sol salga mañana. Su razonamiento fue que, incluso teniendo en cuenta una gran cantidad de días con el sol naciente, todavía no podemos estar completamente seguros de que el sol saldrá mañana (conocido como el problema dela salida del sol ). ^[4]

Pseudocontado [ editar ]

Un pseudocontado es una cantidad (no generalmente un número entero, a pesar de su nombre) agregada al número de casos observados para cambiar la probabilidad esperada en un modelo de esos datos, cuando no se sabe que sea cero . Se llama así porque, hablando en términos generales, se trata de un seudo conteo de valor.$${\ textstyle \ scriptstyle {\ alpha}}pesa en la distribución posterior de manera similar a cada categoría que tiene un conteo adicional de$${\ textstyle \ scriptstyle {\ alpha}}. Si la frecuencia de cada elemento$${\ textstyle \ scriptstyle {i}} es $${\ displaystyle \ scriptstyle {x_ {i}}} fuera de $${\ textstyle \ scriptstyle {N}} Muestras, la probabilidad empírica de evento. $${\ textstyle \ scriptstyle {i}}es

$${\ displaystyle p_ {i, \ \ mathrm {empírico}} = {\ frac {x_ {i}} {N}}}

pero la probabilidad posterior cuando se alisa aditivamente es

$${\ displaystyle p_ {i, \ \ alpha {\ text {-mothed}}} = {\ frac {x_ {i} + \ alpha} {N + \ alpha d}},

como para aumentar cada conteo $${\ displaystyle \ scriptstyle {x_ {i}}}por $${\ displaystyle \ scriptstyle {\ alpha}} a priori.

Dependiendo del conocimiento previo, que a veces es un valor subjetivo, un pseudocontado puede tener cualquier valor finito no negativo. Solo puede ser cero (o la posibilidad ignorada) si es imposible por definición, como la posibilidad de que un dígito decimal de pi sea una letra, o una posibilidad física que sería rechazada y no contada, como una computadora que imprime una letra cuando un programa válido para pi se ejecuta, o se excluye y no se cuenta debido a que no tiene interés, como si solo estuviera interesado en los ceros y unos. En general, también existe la posibilidad de que ningún valor sea computable u observable en un tiempo finito (vea el problema de detención)). Pero al menos una posibilidad debe tener un pseudocontado que no sea cero, de lo contrario no se podría calcular la predicción antes de la primera observación. Los valores relativos de los pseudocontados representan las probabilidades relativas previas relativas de sus posibilidades. La suma de los pseudocuentas, que puede ser muy grande, representa el peso estimado del conocimiento previo en comparación con todas las observaciones reales (una para cada una) al determinar la probabilidad esperada.

En cualquier conjunto de datos o muestra observados existe la posibilidad, especialmente con eventos de baja probabilidad y con conjuntos de datos pequeños, de que no ocurra un evento. Su frecuencia observada es por lo tanto cero, aparentemente implicando una probabilidad de cero. Esta simplificación excesiva es inexacta y, a menudo, inútil, en particular en las técnicas de aprendizaje automático basadas en la probabilidad , como las redes neuronales artificiales y los modelos ocultos de Markov . Al ajustar artificialmente la probabilidad de eventos raros (pero no imposibles) para que esas probabilidades no sean exactamente cero, se evitan los problemas de frecuencia cero . También vea la regla de Cromwell .

El enfoque más simple es agregar uno a cada número observado de eventos, incluidas las posibilidades de conteo cero. Esto a veces se llama la Regla de Sucesión de Laplace . Este enfoque es equivalente a suponer una distribución previa uniforme sobre las probabilidades para cada evento posible (que abarca el símplex donde cada probabilidad está entre 0 y 1, y todas suman 1).

Usando el enfoque anterior de Jeffreys , se debe agregar un pseudocuento de la mitad a cada resultado posible.

Los seudocuentas deben establecerse en uno solo cuando no hay conocimiento previo en absoluto; consulte el principio de indiferencia . Sin embargo, dado el conocimiento previo apropiado, la suma debe ajustarse en proporción a la expectativa de que las probabilidades anteriores deben considerarse correctas, a pesar de la evidencia en contrario, consulte el análisis adicional . Los valores más altos son apropiados en la medida en que existe un conocimiento previo de los valores verdaderos (para una moneda en perfecto estado, por ejemplo); valores más bajos en la medida en que existe un conocimiento previo de que existe un sesgo probable, pero de grado desconocido (por ejemplo, para una moneda doblada).

Un enfoque más complejo es estimar la probabilidad de los eventos a partir de otros factores y ajustarlos en consecuencia.

Ejemplos [ editar ]

Una forma de motivar los seudocuentas, particularmente para datos binomiales, es a través de una fórmula para el punto medio de una estimación de intervalo , particularmente un intervalo de confianza de proporción binomial. El más conocido se debe a Edwin Bidwell Wilson , en Wilson (1927) : el punto medio del intervalo de puntuación de Wilson correspondiente a$${\ displaystyle z} desviaciones estándar en cada lado es:

$${\ displaystyle {\ frac {n_ {S} + z} {n + 2z}}.}

Tomando $${\ displaystyle {1}} desviaciones estándar para aproximarse a un intervalo de confianza del 95% ($${\ displaystyle z \ approx 1.96}) produce un pseudocuento de 2 para cada resultado, de modo que 4 en total, se conocen coloquialmente como la "regla de los cuatro más":

$${\ displaystyle {\ frac {n_ {S} +2} {n + 4}}.}

Este es también el punto medio del intervalo Agresti-Coull ( Agresti & Coull 1988 ).

Generalizado al caso de tasas de incidencia conocidas [ editar ]

A menudo, se prueba el sesgo de una población de prueba desconocida en comparación con una población de control con parámetros conocidos (tasas de incidencia) $${\ textstyle \ scriptstyle {\ mathbf {\ mu} \ = \ \ left \ langle \ mu _ {1}, \, \ mu _ {2}, \, \ ldots, \, \ mu _ {d} \ right \ rangle}}. En este caso la probabilidad uniforme.$${\ textstyle \ scriptstyle {\ frac {1} {d}}} Debe ser reemplazado por la tasa de incidencia conocida de la población control. $${\ displaystyle \ scriptstyle {\ mu _ {i}}} Para calcular el estimador suavizado:

$${\ displaystyle {\ hat {\ theta}} _ {i} = {\ frac {x_ {i} + \ mu _ {i} \ alpha d} {N + \ alpha d}} \ qquad (i = 1, \ ldots, d),}

Como comprobación de coherencia, si el estimador empírico pasa a ser igual a la tasa de incidencia, es decir, $${\ displaystyle \ scriptstyle {\ mu _ {i}} = {\ frac {x_ {i}} {N}}}, el estimador suavizado es independiente de $${\ textstyle \ scriptstyle {\ alpha}} y también es igual a la tasa de incidencia.

Aplicaciones [ editar ]

Clasificación [ editar ]

El suavizado aditivo es comúnmente un componente de los clasificadores ingenuos de Bayes .

Modelado de lenguaje estadístico [ editar ]

En un modelo de bolsa de palabras de procesamiento de lenguaje natural y recuperación de información, los datos consisten en el número de ocurrencias de cada palabra en un documento. El suavizado aditivo permite la asignación de probabilidades distintas de cero a palabras que no aparecen en la muestra. Estudios recientes han demostrado que el suavizado aditivo es más efectivo que otros métodos de suavizado de probabilidad en varias tareas de recuperación, como los sistemas de retroalimentación y recomendaciones de pseudo-relevanciabasados ​​en el modelo del lenguaje .