Estimación por máxima verosimilitud
La máxima verosimilitud es el método general para estimar parámetros. La idea es elegir el valor del parámetro que hace más probable haber observado justo la muestra que se observó.
Se arranca escribiendo la función de verosimilitud, que es la probabilidad conjunta de la muestra vista como función del parámetro. Si las observaciones son independientes, esa función es el producto de las densidades individuales.
Después se busca el máximo. Como derivar un producto largo es incómodo, se toma logaritmo primero: el logaritmo convierte el producto en suma y no mueve el máximo, porque es una función creciente. Esa transformación es el paso clave del método.
Se deriva la log-verosimilitud, se iguala a cero y se despeja. Conviene verificar con la derivada segunda que sea máximo y no mínimo.
Los estimadores que salen suelen coincidir con lo intuitivo. Para la media de una normal da el promedio muestral; para el parámetro de una Bernoulli da la proporción de éxitos.
El método tiene buenas propiedades cuando la muestra es grande: es consistente y su distribución se aproxima a una normal, lo que permite construir intervalos. Pero puede ser sesgado en muestras chicas, como pasa con la varianza de la normal.
Cuando el ejercicio pide hallar el estimador de un parámetro a partir de una muestra. Escribí la verosimilitud, tomá logaritmo antes de derivar, y verificá que el punto crítico sea un máximo y no un mínimo.
Explicar por qué se toma logaritmo antes de derivar la verosimilitud.
Escribimos la verosimilitud. Es un producto de factores.
Notamos el problema. Derivar un producto largo obliga a aplicar la regla del producto muchas veces.
Aplicamos el logaritmo. El producto se convierte en una suma, y derivar una suma es sumar las derivadas.
Justificamos que sea válido. El logaritmo es creciente, así que alcanza su máximo en el mismo punto.
Respuesta: porque convierte el producto en suma sin mover el máximo
En lanzamientos de una moneda salieron caras. Hallar el estimador de máxima verosimilitud de la probabilidad de cara.
Reconocemos el modelo. Cada lanzamiento es Bernoulli.
Recordamos el resultado del método. Para Bernoulli el estimador es la proporción observada de éxitos.
Calculamos. Es .
Interpretamos. Es el valor que hace más probable haber visto esas caras.
Respuesta:
Derivar respecto de los datos en vez del parámetro. Los datos son fijos: la variable de la función de verosimilitud es el parámetro.
Otros subtemas de Anexo para Ingeniería
- 1. Procesos de Poisson y la distribución Gamma
- 2. Transformación de variables y el método del Jacobiano
- 3. Esperanza condicional y predicción
- 5. Análisis bayesiano
- 6. Test de bondad de ajuste
Las cuentas de este material están verificadas una por una. Si aun así encontrás algo raro, .