Ejercicios: Estimación por máxima verosimilitud

1. De $20$ semillas plantadas independientes, en $8$ casos germina. Estimá la probabilidad de éxito por máxima verosimilitud.

Ver solución

1. Escribimos la función de verosimilitud. Cada observación es Bernoulli, así que $L(p) = p^{8} (1 - p)^{12}$ : la probabilidad de haber observado exactamente esta muestra, vista como función de $p$ .

2. Tomamos logaritmo. $\ln L(p) = 8 \ln p + 12 \ln(1 - p)$ . El logaritmo convierte el producto en suma y no mueve el máximo, porque es una función creciente.

3. Derivamos e igualamos a cero. $\dfrac{d}{dp} \ln L = \dfrac{8}{p} - \dfrac{12}{1 - p} = 0$

4. Despejamos. $8(1 - p) = 12 \, p$ , o sea $8 = 20 \, p$ , así que $\hat{p} = \dfrac{8}{20} = 0{,}4$ .

5. Verificamos que sea un máximo. La segunda derivada es negativa en todo el intervalo, así que el punto crítico es un máximo. Además la verosimilitud vale cero en los dos extremos.

6. Interpretamos. $\hat{p} = 0{,}4$ es el valor que hace más probable haber observado justo estos $8$ éxitos en $20$ intentos. Coincide con la proporción muestral, que era el estimador natural.

Respuesta: $\hat{p} = \dfrac{8}{20} = 0{,}4$

2. Los tiempos entre fallas de una máquina, en horas, siguen una exponencial de parámetro $\lambda$ desconocido. Se observaron $5$ tiempos: $2$ ; $13$ ; $20$ ; $30$ ; $33$ . Estimá $\lambda$ por máxima verosimilitud.

Ver solución

1. Escribimos la verosimilitud. $L(\lambda) = \prod_{i = 1}^{5} \lambda e^{-\lambda x_i} = \lambda^{5} e^{-\lambda \sum x_i}$ , con $\sum x_i = 98$ .

2. Tomamos logaritmo. $\ln L(\lambda) = 5 \ln \lambda - \lambda \cdot 98$

3. Derivamos e igualamos a cero. $\dfrac{d}{d\lambda} \ln L = \dfrac{5}{\lambda} - 98 = 0$

4. Despejamos. $\hat{\lambda} = \dfrac{5}{98} \approx 0{,}051$ fallas por hora.

5. Escribimos el resultado en forma general. $\hat{\lambda} = \dfrac{n}{\sum x_i} = \dfrac{1}{\bar{x}}$ , y acá $\bar{x} = 19{,}6$ horas.

6. Verificamos que tenga sentido. La media estimada del tiempo entre fallas es $19{,}6$ horas, que es exactamente el promedio de los datos observados. El método devuelve la respuesta intuitiva, pero ahora justificada.

Respuesta: $\hat{\lambda} = \dfrac{1}{\bar{x}} = 0{,}051$

3. La cantidad de fallas por turno sigue una Poisson de parámetro $\lambda$ desconocido. En $8$ turnos se observaron $6$ ; $6$ ; $3$ ; $2$ ; $6$ ; $7$ ; $0$ ; $1$ fallas. Estimá $\lambda$ por máxima verosimilitud.

Ver solución

1. Escribimos la verosimilitud. $L(\lambda) = \prod_{i = 1}^{8} \dfrac{e^{-\lambda} \lambda^{x_i}}{x_i!} = \dfrac{e^{-8\lambda} \lambda^{\sum x_i}}{\prod x_i!}$ , con $\sum x_i = 31$ .

2. Tomamos logaritmo. $\ln L(\lambda) = -8\lambda + 31 \ln \lambda - \ln \prod x_i!$ . El último término no depende de $\lambda$ , así que no interviene en la derivada.

3. Derivamos e igualamos a cero. $\dfrac{d}{d\lambda} \ln L = -8 + \dfrac{31}{\lambda} = 0$

4. Despejamos. $\hat{\lambda} = \dfrac{31}{8} = 3{,}875$ fallas por turno.

5. Reconocemos el resultado. $\hat{\lambda} = \bar{x}$ : el estimador de máxima verosimilitud es el promedio muestral. Tiene sentido porque en la Poisson el parámetro es a la vez la esperanza.

6. Notamos el patrón del método. En los tres casos vistos el resultado coincide con el estimador natural. Eso no es casualidad: la máxima verosimilitud es lo que justifica esos estimadores en vez de proponerlos a ojo.

Respuesta: $\hat{\lambda} = \bar{x} = 3{,}875$

4. Para una muestra de $4$ ensayos de Bernoulli con $1$ éxitos, la verosimilitud es $L(p) = p^{1} (1 - p)^{3}$ . Explicá por qué conviene maximizar $\ln L(p)$ en vez de $L(p)$ , y verificá que el máximo no se mueve.

Ver solución

1. Evaluamos las dos funciones en un punto. En $p = 0{,}7$ : $L = 0{,}0189$ y $\ln L = -3{,}9686$ . Son números muy distintos, pero eso no es lo que importa.

2. Escribimos la primera razón para tomar logaritmo. Convierte el producto en suma. Con $n$ observaciones, $L$ es un producto de $n$ factores y derivarlo exige la regla del producto repetida; $\ln L$ es una suma y se deriva término a término.

3. Escribimos la segunda razón. El producto de muchas probabilidades da números diminutos, que en cualquier cálculo numérico se pierden por redondeo. La suma de logaritmos no tiene ese problema.

4. Justificamos que el máximo no se mueve. El logaritmo es una función estrictamente creciente, así que preserva el orden: si $L(p_1) > L(p_2)$ , entonces $\ln L(p_1) > \ln L(p_2)$ . El punto donde $L$ es máxima es exactamente el mismo donde $\ln L$ lo es.

5. Verificamos con la cuenta. $\dfrac{d}{dp} \ln L = \dfrac{1}{p} - \dfrac{3}{1 - p} = 0$ da $\hat{p} = \dfrac{1}{4} = 0{,}25$ , el mismo punto que maximiza $L$ .

6. Lo que cambia y lo que no. Cambia el valor de la función en el máximo, que ya no es la verosimilitud sino su logaritmo. No cambia dónde está ese máximo, que es lo único que se busca.

Respuesta: El máximo está en $\hat{p} = 0{,}25$ con las dos funciones: el logaritmo es creciente y no mueve el punto óptimo

5. De $40$ clientes contactados independientes, en $16$ casos acepta la oferta. Estimá la probabilidad de éxito por máxima verosimilitud.

Ver solución

1. Escribimos la función de verosimilitud. Cada observación es Bernoulli, así que $L(p) = p^{16} (1 - p)^{24}$ : la probabilidad de haber observado exactamente esta muestra, vista como función de $p$ .

2. Tomamos logaritmo. $\ln L(p) = 16 \ln p + 24 \ln(1 - p)$ . El logaritmo convierte el producto en suma y no mueve el máximo, porque es una función creciente.

3. Derivamos e igualamos a cero. $\dfrac{d}{dp} \ln L = \dfrac{16}{p} - \dfrac{24}{1 - p} = 0$

4. Despejamos. $16(1 - p) = 24 \, p$ , o sea $16 = 40 \, p$ , así que $\hat{p} = \dfrac{16}{40} = 0{,}4$ .

5. Verificamos que sea un máximo. La segunda derivada es negativa en todo el intervalo, así que el punto crítico es un máximo. Además la verosimilitud vale cero en los dos extremos.

6. Interpretamos. $\hat{p} = 0{,}4$ es el valor que hace más probable haber observado justo estos $16$ éxitos en $40$ intentos. Coincide con la proporción muestral, que era el estimador natural.

Respuesta: $\hat{p} = \dfrac{16}{40} = 0{,}4$

6. Los tiempos entre fallas de una máquina, en horas, siguen una exponencial de parámetro $\lambda$ desconocido. Se observaron $8$ tiempos: $7$ ; $9$ ; $17$ ; $22$ ; $26$ ; $28$ ; $29$ ; $30$ . Estimá $\lambda$ por máxima verosimilitud.

Ver solución

1. Escribimos la verosimilitud. $L(\lambda) = \prod_{i = 1}^{8} \lambda e^{-\lambda x_i} = \lambda^{8} e^{-\lambda \sum x_i}$ , con $\sum x_i = 168$ .

2. Tomamos logaritmo. $\ln L(\lambda) = 8 \ln \lambda - \lambda \cdot 168$

3. Derivamos e igualamos a cero. $\dfrac{d}{d\lambda} \ln L = \dfrac{8}{\lambda} - 168 = 0$

4. Despejamos. $\hat{\lambda} = \dfrac{8}{168} \approx 0{,}0476$ fallas por hora.

5. Escribimos el resultado en forma general. $\hat{\lambda} = \dfrac{n}{\sum x_i} = \dfrac{1}{\bar{x}}$ , y acá $\bar{x} = 21$ horas.

6. Verificamos que tenga sentido. La media estimada del tiempo entre fallas es $21$ horas, que es exactamente el promedio de los datos observados. El método devuelve la respuesta intuitiva, pero ahora justificada.

Respuesta: $\hat{\lambda} = \dfrac{1}{\bar{x}} = 0{,}0476$

7. La cantidad de fallas por turno sigue una Poisson de parámetro $\lambda$ desconocido. En $10$ turnos se observaron $0$ ; $6$ ; $0$ ; $1$ ; $7$ ; $0$ ; $4$ ; $5$ ; $5$ ; $0$ fallas. Estimá $\lambda$ por máxima verosimilitud.

Ver solución

1. Escribimos la verosimilitud. $L(\lambda) = \prod_{i = 1}^{10} \dfrac{e^{-\lambda} \lambda^{x_i}}{x_i!} = \dfrac{e^{-10\lambda} \lambda^{\sum x_i}}{\prod x_i!}$ , con $\sum x_i = 28$ .

2. Tomamos logaritmo. $\ln L(\lambda) = -10\lambda + 28 \ln \lambda - \ln \prod x_i!$ . El último término no depende de $\lambda$ , así que no interviene en la derivada.

3. Derivamos e igualamos a cero. $\dfrac{d}{d\lambda} \ln L = -10 + \dfrac{28}{\lambda} = 0$

4. Despejamos. $\hat{\lambda} = \dfrac{28}{10} = 2{,}8$ fallas por turno.

5. Reconocemos el resultado. $\hat{\lambda} = \bar{x}$ : el estimador de máxima verosimilitud es el promedio muestral. Tiene sentido porque en la Poisson el parámetro es a la vez la esperanza.

6. Notamos el patrón del método. En los tres casos vistos el resultado coincide con el estimador natural. Eso no es casualidad: la máxima verosimilitud es lo que justifica esos estimadores en vez de proponerlos a ojo.

Respuesta: $\hat{\lambda} = \bar{x} = 2{,}8$

8. Para una muestra de $5$ ensayos de Bernoulli con $1$ éxitos, la verosimilitud es $L(p) = p^{1} (1 - p)^{4}$ . Explicá por qué conviene maximizar $\ln L(p)$ en vez de $L(p)$ , y verificá que el máximo no se mueve.

Ver solución

1. Evaluamos las dos funciones en un punto. En $p = 0{,}6$ : $L = 0{,}0154$ y $\ln L = -4{,}176$ . Son números muy distintos, pero eso no es lo que importa.

2. Escribimos la primera razón para tomar logaritmo. Convierte el producto en suma. Con $n$ observaciones, $L$ es un producto de $n$ factores y derivarlo exige la regla del producto repetida; $\ln L$ es una suma y se deriva término a término.

3. Escribimos la segunda razón. El producto de muchas probabilidades da números diminutos, que en cualquier cálculo numérico se pierden por redondeo. La suma de logaritmos no tiene ese problema.

4. Justificamos que el máximo no se mueve. El logaritmo es una función estrictamente creciente, así que preserva el orden: si $L(p_1) > L(p_2)$ , entonces $\ln L(p_1) > \ln L(p_2)$ . El punto donde $L$ es máxima es exactamente el mismo donde $\ln L$ lo es.

5. Verificamos con la cuenta. $\dfrac{d}{dp} \ln L = \dfrac{1}{p} - \dfrac{4}{1 - p} = 0$ da $\hat{p} = \dfrac{1}{5} = 0{,}2$ , el mismo punto que maximiza $L$ .

6. Lo que cambia y lo que no. Cambia el valor de la función en el máximo, que ya no es la verosimilitud sino su logaritmo. No cambia dónde está ese máximo, que es lo único que se busca.

Respuesta: El máximo está en $\hat{p} = 0{,}2$ con las dos funciones: el logaritmo es creciente y no mueve el punto óptimo

9. De $20$ piezas revisadas independientes, en $10$ casos sale defectuosa. Estimá la probabilidad de éxito por máxima verosimilitud.

Ver solución

1. Escribimos la función de verosimilitud. Cada observación es Bernoulli, así que $L(p) = p^{10} (1 - p)^{10}$ : la probabilidad de haber observado exactamente esta muestra, vista como función de $p$ .

2. Tomamos logaritmo. $\ln L(p) = 10 \ln p + 10 \ln(1 - p)$ . El logaritmo convierte el producto en suma y no mueve el máximo, porque es una función creciente.

3. Derivamos e igualamos a cero. $\dfrac{d}{dp} \ln L = \dfrac{10}{p} - \dfrac{10}{1 - p} = 0$

4. Despejamos. $10(1 - p) = 10 \, p$ , o sea $10 = 20 \, p$ , así que $\hat{p} = \dfrac{10}{20} = 0{,}5$ .

5. Verificamos que sea un máximo. La segunda derivada es negativa en todo el intervalo, así que el punto crítico es un máximo. Además la verosimilitud vale cero en los dos extremos.

6. Interpretamos. $\hat{p} = 0{,}5$ es el valor que hace más probable haber observado justo estos $10$ éxitos en $20$ intentos. Coincide con la proporción muestral, que era el estimador natural.

Respuesta: $\hat{p} = \dfrac{10}{20} = 0{,}5$

10. Los tiempos entre fallas de una máquina, en horas, siguen una exponencial de parámetro $\lambda$ desconocido. Se observaron $5$ tiempos: $5$ ; $16$ ; $23$ ; $26$ ; $27$ . Estimá $\lambda$ por máxima verosimilitud.

Ver solución

1. Escribimos la verosimilitud. $L(\lambda) = \prod_{i = 1}^{5} \lambda e^{-\lambda x_i} = \lambda^{5} e^{-\lambda \sum x_i}$ , con $\sum x_i = 97$ .

2. Tomamos logaritmo. $\ln L(\lambda) = 5 \ln \lambda - \lambda \cdot 97$

3. Derivamos e igualamos a cero. $\dfrac{d}{d\lambda} \ln L = \dfrac{5}{\lambda} - 97 = 0$

4. Despejamos. $\hat{\lambda} = \dfrac{5}{97} \approx 0{,}0515$ fallas por hora.

5. Escribimos el resultado en forma general. $\hat{\lambda} = \dfrac{n}{\sum x_i} = \dfrac{1}{\bar{x}}$ , y acá $\bar{x} = 19{,}4$ horas.

6. Verificamos que tenga sentido. La media estimada del tiempo entre fallas es $19{,}4$ horas, que es exactamente el promedio de los datos observados. El método devuelve la respuesta intuitiva, pero ahora justificada.

Respuesta: $\hat{\lambda} = \dfrac{1}{\bar{x}} = 0{,}0515$

11. La cantidad de fallas por turno sigue una Poisson de parámetro $\lambda$ desconocido. En $10$ turnos se observaron $0$ ; $4$ ; $7$ ; $0$ ; $0$ ; $3$ ; $7$ ; $7$ ; $3$ ; $7$ fallas. Estimá $\lambda$ por máxima verosimilitud.

Ver solución

1. Escribimos la verosimilitud. $L(\lambda) = \prod_{i = 1}^{10} \dfrac{e^{-\lambda} \lambda^{x_i}}{x_i!} = \dfrac{e^{-10\lambda} \lambda^{\sum x_i}}{\prod x_i!}$ , con $\sum x_i = 38$ .

2. Tomamos logaritmo. $\ln L(\lambda) = -10\lambda + 38 \ln \lambda - \ln \prod x_i!$ . El último término no depende de $\lambda$ , así que no interviene en la derivada.

3. Derivamos e igualamos a cero. $\dfrac{d}{d\lambda} \ln L = -10 + \dfrac{38}{\lambda} = 0$

4. Despejamos. $\hat{\lambda} = \dfrac{38}{10} = 3{,}8$ fallas por turno.

5. Reconocemos el resultado. $\hat{\lambda} = \bar{x}$ : el estimador de máxima verosimilitud es el promedio muestral. Tiene sentido porque en la Poisson el parámetro es a la vez la esperanza.

6. Notamos el patrón del método. En los tres casos vistos el resultado coincide con el estimador natural. Eso no es casualidad: la máxima verosimilitud es lo que justifica esos estimadores en vez de proponerlos a ojo.

Respuesta: $\hat{\lambda} = \bar{x} = 3{,}8$

12. Para una muestra de $5$ ensayos de Bernoulli con $3$ éxitos, la verosimilitud es $L(p) = p^{3} (1 - p)^{2}$ . Explicá por qué conviene maximizar $\ln L(p)$ en vez de $L(p)$ , y verificá que el máximo no se mueve.

Ver solución

1. Evaluamos las dos funciones en un punto. En $p = 0{,}3$ : $L = 0{,}0132$ y $\ln L = -4{,}3253$ . Son números muy distintos, pero eso no es lo que importa.

2. Escribimos la primera razón para tomar logaritmo. Convierte el producto en suma. Con $n$ observaciones, $L$ es un producto de $n$ factores y derivarlo exige la regla del producto repetida; $\ln L$ es una suma y se deriva término a término.

3. Escribimos la segunda razón. El producto de muchas probabilidades da números diminutos, que en cualquier cálculo numérico se pierden por redondeo. La suma de logaritmos no tiene ese problema.

4. Justificamos que el máximo no se mueve. El logaritmo es una función estrictamente creciente, así que preserva el orden: si $L(p_1) > L(p_2)$ , entonces $\ln L(p_1) > \ln L(p_2)$ . El punto donde $L$ es máxima es exactamente el mismo donde $\ln L$ lo es.

5. Verificamos con la cuenta. $\dfrac{d}{dp} \ln L = \dfrac{3}{p} - \dfrac{2}{1 - p} = 0$ da $\hat{p} = \dfrac{3}{5} = 0{,}6$ , el mismo punto que maximiza $L$ .

6. Lo que cambia y lo que no. Cambia el valor de la función en el máximo, que ya no es la verosimilitud sino su logaritmo. No cambia dónde está ese máximo, que es lo único que se busca.

Respuesta: El máximo está en $\hat{p} = 0{,}6$ con las dos funciones: el logaritmo es creciente y no mueve el punto óptimo