Mostrando entradas con la etiqueta Contraste de hipótesis. Mostrar todas las entradas
Mostrando entradas con la etiqueta Contraste de hipótesis. Mostrar todas las entradas

miércoles, 24 de marzo de 2021

Estimación de una proporción

ENUNCIADO. Se ha realizado una encuesta sobre los hábitos de lectura de la población universitaria, tomando una muestra aleatoria simple de $180$ personas, y obteniéndose como resultado que $117$ de dichas personas manifiestan leer, como mínimo, $1$ libro al mes. Hace $5$ años, la proporción de universitarios que declaraban leer, como mínimo $1$ libro al mes, era del $60\,\%$. Se pide:
(a) Realizar un contraste de hipótesis bilateral, a un nivel de significación $\alpha=0{,}05$ (nivel de confianza del $95\,\%$), para decidir si la población de universitarios que declaran leer como mínimo $1$ libro al mes sigue siendo del $60\,\%$ (hipótesis fundamental)
(b) ¿Qué tamaño muestral tendría que tener la muestra para poder rechazar la hipótesis fundamental?

SOLUCIÓN

(a)
1. Realización del test calculando la ubicación del valor observado en la muestra en el intervalo/zona de aceptación o bien en en la zona de rechazo de la misma:

Llamamos $p$ a la proporción en la población que corresponde a leer como mínimo $1$ libro al mes.

Denominamos $\hat{p}$ al estimador de la proporción en la población a partir de la información de la muestra, por lo que $\hat{p}$ es una variable aleatoria, que es función de las variables del muestreo, ya que $\hat{p}:=\dfrac{Y}{n}$, siendo $Y$ el número de veces que se verifica en la población una determinada clase $S$ caracterizada por la propiedad; es decir, $Y$ es el número de elementos de la muestra $(e_1,e_2,\ldots,e_n)$ que son de la clase $S$. Así, considerando las variables aleatorias de Bernouilli independientes del mismo parámetro $p:=P(S)$ $$X_i=\left\{ \begin{matrix} 1 & \text{si el elemento} \, e_i \in S \\ 0 & \text{si el elemento}\, e_i \in S \end{matrix} \right. \,\text{para}\, i=1,\ldots\,n$$ la variable $Y$ es la suma de las mismas $$\displaystyle Y=\dfrac{\displaystyle\sum_{i=1}^{n}\,X_i}{n}$$ por lo que tendremos que $Y$ es una variable aleatoria binomial $B(n,p)$, ya que se supone que la realización del muestro se realiza con reemplazamiento —démonos cuenta de que se puede pues considerar que la variable $\hat{p}:=\dfrac{Y}{n}$ es un caso particular del estimador de la media, $\bar{X}$.

Realizaremos el contraste de hipótesis (la estimación) manejando dicho estimador (estadístico).

Sabemos que el valor observado de la proporción medida en la muestra es $\hat{p}_{\text{observado}}=\dfrac{117}{180}=0{,}65$.
También tenemos que tener en cuenta, claro está, el tamaño de la muestra, que es $n=180$.

Si bien la variable aleatoria $Y$, y por tanto también $\hat{p}$, obedecen a una distribución binomial, podremos facilitar el cálculo aproximando $\hat{p}$ a una distribución normal. En efecto, por el Teorema del Límite Central, sabemos que la variable aleatoria del estadístico (estimador) $\hat{p}$ sigue una distribución aproximada normal de media $p$ y desviación estándar $\sqrt{\dfrac{p\cdot(1-p)}{n}}$, esto es, $\hat{p}$ es $N\left(p\,,\,\sqrt{\dfrac{p\cdot(1-p)}{n}}\right)$.

Para la población actual no conocemos el valor del parámetro $p$, por lo que tendremos que arreglárnos sustituyendo éste por algún valor aproximado del mismo, $p_0$, y que, según el enunciado, tomaremos el valor de éste es del $60\,\%$, que corresponde al que se conocía hace unos años en la población y al que llamaremos pongamos que $p_0$; así que establecemos $p\approx p_{0}=0,60$. Con todo esto ya podemos decir que el estadístico $\hat{p}$ (variable aleatoria asociada al estimador de la proporción de la población) sigue la siguiente distribución de probabilidad en el muestreo: $$\hat{p} \approx N \left( p_0 \,,\, \sqrt{ \dfrac{p_0 \cdot(1-p_0) }{n}} \right)$$
(a) Plateemos el test de hipótesis:
Queremos contrastar la hipótesis fundamental (o hipótesis nula) $H_0$ —nos parece bastante plausible, y por tanto confiamos en que sea cierta— en contraposición a la hipótesis alternativa $H_1$; y ello, con un nivel de significación del test prefijado $\alpha=5\,\%=0,05$ (y pot tanto con un nivel de confianza $1-\alpha=95\,\%=0,95$). Establecemos pues la hipótesis fundamental: $$H_0:\, p\approx p_0=0,60$$ frente a la hipótesis alternativa: $$H_1:\, p\approx p_0 \neq 0{,}60$$

Tratándose de un test (contraste) bilateral —habrá que manejar las dos colas (izquierda y derecha) de la función de densidad de probabilidad de la variable aleatoria del estadístico de contraste—, aceptaremos $H_0$ si $P\{p_0 -E \le \hat{p} \le p_0+E\} = 1-\alpha$, luego el intervalo de aceptación de $H_0$ viene dado por $$\text{IA}=(p_0-E\,,\,p_0+E)$$, siendo la amplitud de error $E=z_{\alpha/2}\cdot \sqrt{\dfrac{p_0 \cdot (1-p_0)}{n}}$

Al tipificar la variable $\hat{p}$, se pasa a la variable $$Z=\dfrac{\hat{p}-p_0}{\sqrt{p_0 \cdot (1-p_0)/n}}$$ que es una normal $N(0,1)$. Obtendremos, ahora, la abscisa crítica $z_{\alpha/2}$ —se determina de la misma forma que en los problemas de intervalos de confianza—, teniendo en cuenta que $P\{Z \le z_{\alpha/2}\} = 1-\alpha/2$; y, como $\alpha/2=0{,}05/2=0{,}025$, consultando las tablas de la función de distribución de probabilidad $N(0,1)$, para $P\{Z \le z_{\alpha/2}\} = 0{,}975$, encontramos $z_{\alpha/2}=1{,96}$

Así, la amplitud de error a la que llegamos es $E=1{,}96 \cdot \sqrt{0{,}6\cdot (1-0{,}6)/180}=0{,}0716$, luego el intervalo de aceptación de $H_0$, $\text{IA}$, debe cumplir que $\left|\hat{p}-p_0\right|=E$, luego $$\text{IA}=(0{,}6-0{,}0716\,,\,0{,}6+0{,}0716)$$ esto es $$\text{IA}=(0{,}5284\,,\,0{,}6716)$$
Y como la proporción medida en la muestra $\hat{p}=0{,}65 \in \text{IA}$, concluimos que debemos confiar en la aceptación de la hipótesis fundamental $H_0$, esto es, aceptamos que la proporción de la población de estudiantes que como mínimo leen un libro al mes se mantiene en un $60\,\%$, según un nivel de significación $\alpha=0,05$ (es decir, a un nivel de confianza del $95\,\%$).


-oOo-

2. Realización del test calculando el $\text{p-valor}$:


Otra manera de llegar a la misma conclusión consiste en calcular el p-valor (o valor-p) utilizando la distribución de probabilidad en el muestreo del estadístico de prueba asumiendo que la hipótesis fundamental es cierta. Subrayemos pues que entendemos el p-valor como el error de tipo I observado (no el establecido de antemano en el test y al que denominamos nivel de significación $\alpha$, que en nuestro caso es del $0.05$); dicho de otra manera, el p-valor es el mínimo nivel de significación necesario para poder rechazar la hipótesis fundamental $H_0$ que se ha aceptado como cierta en un principio (para realizar el cálculo del p-valor). Por tanto, una vez conocido el p-valor procederemos de la manera siguiente para realizar el contraste:
  Si $\text{p-valor}\le \alpha$ entonces deberemos rechazar la hipótesis fundamental $H_0$ (que habíamos supuesta cierta en un principio) y por tanto aceptaremos la hipótesis alternativa $H_1$
  En caso contrario, si $\text{p-valor}\gt \alpha$, no podremos rechazar la hipótesis fundamental $H_0$

Al cálcular el p-valor nos podemos encontrar que, según el caso, el contraste se tenga que realizar por la cola superior, por la cola inferior, o bien de manera bilateral. Este último caso es el que procede para este problema que nos ocupa ahora. Hagamos el cálculo:
  Como al estadístico del contraste corresponde una variable $Z=\dfrac{\hat{p}-p_0}{\sqrt{p_0 \cdot (1-p_0)/n)}}\sim N(0,1)$ (lo cual ya se ha justificado arriba) tenemos que, el valor observado del estadístico para la variable tipificada $Z$ del contraste (o valor de prueba del estadístico) es igual a $z_{\text{prueba}}:=\dfrac{\hat{p}_{\text{prueba}}-p_0}{\sqrt{p_0 \cdot (1-p_0)/n)}}=\dfrac{0,65-0,60}{\sqrt{0,60\cdot (1-0,60)/180)}}=1,3693$ , y al tener en cuenta la bilateralidad con la función de densidad de probabilidad de $Z\sim N(0,1)$ simétrica y centrada en el valor $z=0$, encontramos que $\text{p-valor}:=P\{Z \le - z_{\text{prueba} }\}+P\{Z \ge z_{\text{prueba} }\}=2\,P\{Z \ge z_{\text{prueba}}\}=2\cdot (1-P\{Z \le z_{\text{prueba}}\})=$
  $=2\cdot (1-P\{Z \le 1,3693\})=2\cdot (1-F(1,3693))\overset{\text{tablas de}\,F(z)}{=}2\cdot(1-0,9145)\approx 0,171 \gt \alpha=0,05$ de lo cual concluimos que no podemos rechazar la hipótesis fundamental $H_0$. Como cabía esperar, es la misma conclusión a la que hemos llegado razonando mediante los intervalos de aceptación y rechazo de la hipótesis fundamental.

Observación:
Por el significado del $\text{p-valor}$, démonos cuenta de que si hubiésemos tomado un nivel de significación $\alpha$ mayor que $0,05$ pero, eso sí, menor que $0,171$, la conclusión del test sería la misma: no rechazar la hipótesis fundamental $H_0$. Por el contrario, para valores de $\alpha$ mayores que $0,171$, esto es, para un contraste más «exigente» que eso, sí tendríamos que rechazar la hipótesis fundamental.


* * *


(b)
Si el tamaño muestral $n$ aumenta, entonces el intervalo de aceptación se estrecha (se reduce el error $E$, que es la amplitud de dicho intervalo), por tanto, a partir de un cierto valor de $n$, la proporción medida en la muestra caerá fuera del intervalo de aceptación (se situará en la zona de rechazo de la hipótesis fundamental), con lo cual, no podremos seguir dando apoyo a la hipótesis fundamental, debiendo aceptar la h. alternativa, y por consiguiente hay que concluir, en ese caso, que la proporción en la población no es del $60\,\%$. Veamos cuánto debe ser el valor mínimo de $n$ para que eso ocurra:

Por lo dicho anteriormente, para poder rechazar $H_0$, deberá cumplirse (condición crítica) que $\left|\hat{p}-p_0\right| = E$; por lo que imponiendo esta condición, $$0{,}65-0{,}60=1{,}96 \cdot \sqrt{0{,}6\cdot (1-0{,}6)/n}$$ es decir
$$0{,}05=1{,}96 \cdot \sqrt{0{,}6\cdot (1-0{,}6)/n}$$ elevando al cuadrado y despejando $n$ llegamos a $$n=\dfrac{0{,}6\cdot 0{,}4}{(0{,}05/1{,}96)^2} \approx 368$$

Con lo cual, para tamaños muestrales $n \ge 368$, tendremos que rechazar la hipótesis fundamental (a nivel de significación $\alpha=0{,}05 $). $\square$
- - -

Referencias:
  [1] Compta, A., et. al., Matemàtiques II, Barcanova, Barcelona, 1993
  [2] Guàrdia, J.; Viader, M., Estadística, Castellnou, Barcelona, 1999
  [3] García Pérez, A., Estadística Básica con R, UNED, Madrid, 2010
  [4] Allepús, J., et. al., Exercicis d'inferència estadística, Cossetània, Valls, 2002
  [5] Gonick, L.; Smith, W, La Estadística en Cómic, Zendrera Zariquiey, Barcelona, 1999

miércoles, 8 de abril de 2015

Basándose en anteriores comicios, un analista sostiene que ...

ENUNCIADO:
Basándose en anteriores comicios, un analista sostiene que si se celebrasen elecciones en este momento tan solo acudiría a votar el $48\,\%$ del censo electoral. Para apoyar o no esa afirmación, se realiza una encuesta preguntando si se tiene o no intención de votar; para ello se elige una muestra aleatoria simple de tamaño $n=1500$ y se observa que $800$ de las personas encuestadas responden afirmativamente. Plantear un contraste de hipótesis, a un nivel de significación del $5\,\%$. ¿ Está en lo cierto el analista, de acuerdo con el resultado del contraste realizado ?.

SOLUCIÓN:
El estadístico ( estimador ), $\hat{P}$, de la proporción $p$ ( electores dispuestos a votar ) de la población tiene una distribución ( Teorema Central del Límite ) que es $N\left(p,\sigma(\hat{P})\right)$, donde $\sigma(\hat{P})=\sqrt{\dfrac{p(1-p)}{n}}$.
Con dicho estadístico procederemos a realizar el contraste de hipótesis bilateral, al $5\,\%$ de nivel de significación:
$$ \left\{\begin{matrix}
H_0: & p=p_0:=0'48 \\
H_1: & p \neq 0'48 \\
\end{matrix}\right.$$
El intervalo de confianza expresado en la variable tipificada, $Z$ ( del estadístico $\hat{P}$ ) es $(z_{-\alpha/2}\,,\,z_{\alpha/2})$, y teniendo en cuenta que $Z=\dfrac{\hat{P}-p}{\sqrt{\dfrac{p(1-p)}{n}}}$, el intervalo de aceptación de $H_0$ con respecto a la variable del estimador $\hat{P}$ es
$$I^{*}=\left(p_0-E\,,\,p_0+E\right)$$
donde el error en la estimación de $p$ ( o semiamplitud del intervalo de confianza de $p$ ) es $E=z_{\alpha/2}\cdot \sigma(\hat{P})$, esto es, suponiendo cierta $H_0$ ( $p=p_0$ ), dicho error es
$$E=z_{\alpha/2}\cdot \sqrt{\dfrac{p_0(1-p_0)}{n}}$$
Con el fin de calcularlo, obtenemos la abscisa del punto crítico $z_{\alpha/2}$; siendo $z_{\alpha/2}=z_{0'05/2}=z_{0'025}$, y consultando las tablas de la función de distribución de $Z$, resulta ser igual a $1'96$.
Así,
$$E=1'96\cdot \sqrt{\dfrac{0'48\cdot(1-0'48)}{1500}} \approx 0'03$$
con lo cual, el intervalo de aceptación de la hipótesis fundamental es
$I^{*}=(0'48-003\,,\,0'48+0,03)$
    $=(0'45\,,\,0'51)$

Ahora bien, el valor observado, $\hat{p}$, de la proporción en la muestra es $\dfrac{800}{1500}=0'53 \notin I^{*}$, luego de acuerdo con el criterio del contraste deberemos rechazar $H_0$ y concluir que la afirmación del analista no es aceptable. $\square$

[nota del autor]

sábado, 4 de abril de 2015

Dos personas, $A$ y $B$, juegan a cara o cruz con una moneda ...

ENUNCIADO:
Dos personas, $A$ y $B$, juegan a cara o cruz con una moneda. Al cabo de $100$ partidas, el jugador $A$, que eligió cara, ha ganado $62$ veces, por lo cual el jugador $B$ afirma que la moneda está trucada, que la probabilidad que aparezca cara al lanzarla una vez es superior a $\dfrac{1}{2}$ y que, por lo menos, es igual a $\dfrac{2}{3}$. El jugador $A$ sostiene que la moneda no está trucada. Nos preguntamos quién tiene razón. Por ello, se pide:
a) Plantear un contraste de hipótesis para dilucidar -- desde el punto de vista estadístico -- esta cuestión, a un nivel de significación $\alpha=0'05$
b) Calcular el error de tipo II, $\beta$
c) Calcular la potencia del test

SOLUCIÓN:
a)
Utilizaremos el siguiente contraste unilateral, con intervalo de aceptación, $I_0$ de $H_0$ a la izquierda ( e intervalo de rechazo de $H_0$, $I_a$, y por tanto de aceptación de $H_a$, a la derecha ):
Hipótesis fundamental: $H_0:\, p=\dfrac{1}{2}$
Hipótesis alternativa: $H_a:\, p \succ \dfrac{1}{2}$

-oOo-
INDICACIÓN PRELIMINAR:
Como el juego acaba en la partida número cien, podemos utilizar todas las realizaciones y, por tanto, no hará falta realizar un contraste sobre la proporción, $p$, de la población mediante el estadístico $\hat{P}$, que, como sabemos, sigue una distribución en el muestreo $N\left( p, \sqrt{\dfrac{p(1-p)}{n}}\right)$ -- recordemos que el valor observado ( medido ) en la muestra se designa por $\hat{p}$ --. Por supuesto, podríamos también resolver el problema de esta otra forma ( estándar ), llegando así a resultados equivalentes a los que vamos a encontrar. Sin embargo esta forma alternativa de resolver este problema en concreto me ha parecido que reviste un cierto interés. Referencia: Cuadras, Carles M., Problemas de Probabilidades y Estadística ( Vol. 2, páginas 112-114), PPU, Barcelona, 1991.
-oOo-
Pongámonos pues a ello:

La naturaleza del experimento conlleva el que la variable aleatoria "número de caras aparecidas", $X$, es una binomial $B(n,p)$, por tratarse de un conjunto de pruebas sucesivas independientes de Bernoulli. Observemos, además, que la hipótesis fundamental, $H_0$ ( la probabilidad de salir cara o salir cruz es la misma en cada lanzamiento ), nos lleva a que, concretamente, $X$ sigue una distribución binomial $B\left(n=100,\frac{1}{2}\right)$, y según el Teorema de De Moivre-Laplace ( habida cuenta de que la probabilidad de éxito, $p=\frac{1}{2}$, no es pequeña y cumpliéndose además que $np = 100 \cdot \frac{1}{2} = 50 \succ 5$ ), podemos aproximar $X$ a una distribución $N(np=50,\sqrt{npq}=5)$

Considerando ahora ( como se nos indica en el enunciado ) que el nivel de significación, $\alpha$, del test representa el menor error de tipo I observado con el cual poder rechazar $H_0$ siendo ésta cierta, podemos escribir
$$P(X \succ z_{\alpha} | H_0 ) = \alpha$$
a partir de lo cual, tipificando la variable, $P\lbrace Z \le z_{\alpha}\rbrace=1-\alpha=0'95$
Consultando las tablas $N(0,1)$, obtenemos la abscisa que corresponde al extremo superior del intervalo de aceptación de $H_0$ en la variable $Z$ ( que es $N(0,1)$ ), encontramos $z_{\alpha}=\approx 1'64$. Deshaciendo ahora el cambio de variable $Z=\dfrac{X-\frac{1}{2}}{5}$, encontramos la abscisa, $a$, correspondiente al extremo superior del intervalo de aceptación de $H_0$ en la variable $X \sim N(50,5)$:
$$1'64=\dfrac{a-50}{5} \Rightarrow a=5 \cdot 1'64 + 50 = 58'2$$
Así pues, como el intervalo crítico ( de rechazo de $H_0$ a nivel de significación $\alpha=0'05$ ) en la variable $X$ es $I_a=(58'2,100)$ y el resultado observado ( $62$ caras ), es tal que $62 \in I_a$, siguiendo el criterio de decisión, rechazaremos $H_0$, aceptando por tanto la hipótesis alternativa $H_a$, concluyendo que la moneda está trucada -- según el test planeado y desarrollado -- y que, por tanto, el jugador $B$ lleva razón.

b)
El error de tipo II, que denotamos por $\beta$, se define como la probabilidad de aceptar la hipótesis fundamental, $H_0$, no siendo ésta cierta. Así, fijado el error de tipo I ( que es igual $\alpha=0'05$ ), debemos calcular
$$\beta:=P(x \notin I_a|H_a)=P\lbrace X \prec 58'2 | H_a\rbrace$$
Para ello, tendremos que cuenta que, al suponer cierta $H_a$ y teniendo en cuenta la juiciosa afirmación del jugador $B$ ( esto es, $p \ge \frac{2}{3}$ ), $X$ sigue ahora una distribución $B\left(100,\frac{2}{3}\right)$; y aproximando otra vez por el Teorema de De Moivre-Laplace, $X \approx N\left(100\cdot \frac{2}{3} \approx 66, \sqrt{100\cdot \frac{1}{3}\cdot \frac{2}{3}} \approx 4,71 \right) $. Así, tipificando la variable $X$, podremos trabajar con la variable $Z=\dfrac{X-66}{4,71}$, que es $N(0,1)$

Así, encontramos que
$$P\lbrace X \prec 58'2 | H_a\rbrace = P\lbrace Z \prec -1'66 | H_a\rbrace = P\lbrace Z \succ 1'66 | H_a\rbrace = 1-P\lbrace Z \le 1'66 | H_a\rbrace $$
$=1-0'9515=0'0485$
Por tanto, el error de tipo II es
$\beta=0'0485$ ( que, en este caso, es parecido al error de tipo I )

c)
Se define la potencia del test como la probabilidad de aceptar la hipótesis alternativa siendo ésta cierta. Como esta probabilidad es la probabilidad del contrario de rechazar la hipótesis alternativa ( es decir, aceptar la hipótesis fundamental $H_0$ ) siendo $H_a$ cierta ( es decir, siendo $H_0$ falsa ), la potencia del test es $1-\beta$, es decir $1-0'0485=0'9515$

NOTA:
No debemos confundir la potencia del test, $1-\beta$ ( que en nuestro caso acabamos de ver que es igual a $0'9515$ ), con el nivel de confianza del test ( probabilidad de aceptar la hipótesis fundamental siendo ésta cierta ), esto es $1-\alpha$ y que en este caso es igual a $1-0'05=0'95$, valor parecido a la potencia del test ( en este caso ).

$\square$

- - -

Referencias:
  [1] Compta, A., et. al., Matemàtiques II, Barcanova, Barcelona, 1993
  [2] Guàrdia, J.; Viader, M., Estadística, Castellnou, Barcelona, 1999
  [3] García Pérez, A., Estadística Básica con R, UNED, Madrid, 2010
  [4] Allepús, J., et. al., Exercicis d'inferència estadística, Cossetània, Valls, 2002
  [5] Gonick, L.; Smith, W, La Estadística en Cómic, Zendrera Zariquiey, Barcelona, 1999

miércoles, 18 de marzo de 2015

Introducción al contraste de hipótesis

ENUNCIADO:
Consideremos una urna que contiene un número muy grande de bolas, la mitad de las cuales son blancas y la otra mitad rojas. Se han extraído $40$ bolas de dicha urna y se nos informa que han aparecido $8$ bolas rojas ( y $32$ bolas blancas ). ¿ Es razonable considerar representativa a dicha muestra ? Razonar la respuesta.

SOLUCIÓN:
Consideremos la hipótesis La muestra es representativa, esto es: la elección de las bolas, una a una, se ha realizado con reemplazamiento - las extracciones sucesivas son independientes - y removiendo bien las bolas antes de extraer la siguiente bola, es decir, de manera aleatoria.

Llamamos a esta hipótesis, hipótesis fundamental ( que denotamos por $H_0$ ), pues ésta respalda la presunción de que la muestra no ha sido amañada ( la muestra es representativa ), atribuyendo a la casualidad el hecho de que aparecen en la muestra menos bolas blancas de lo que podríamos aventurar, de acuerdo con el valor esperado, que rondaría la cantidad de unas $20$ bolas rojas.

En oposición a la hipótesis fundamental surge, lógicamente, la hipótesis alternativa, $H_{1}$: la muestra ha sido amañada, es decir, la muestra no es representativa.

De acuerdo con la medida de la muestra, y recurriendo a la teoría de la probabilidad, debemos contrastar una hipótesis frente a la otra. Para ello, razonamos del siguiente modo: Como la variable aleatoria número de bolas rojas que aparecen en la muestra debe seguir el modelo binomial $B(40,0'5)$ ( pruebas sucesivas e independientes de Bernouilli ), entonces al calcular la probabilidad de obtener a lo sumo $8$ bolas rojas en la muestra de tamaño $40$, si ésta ( a la que denominamos $p$-valor ) resulta lo suficientemente pequeña, será muy razonable rechazar la hipótesis fundamental.

Veamos qué obtenemos:
$$\displaystyle P\lbrace X \le 8 | H_0 \rbrace = \sum_{i=0}^{8}\,\binom{40}{i}\,0'5^{i}\,(1-0'5)^{40-i} \approx 0'00009$$
Como este valor ( $p$-valor ) es lo suficientemente pequeño ( muy pequeña, realmente ), es razonable rechazar la hipótesis nula, concluyendo, por lo que se ha expuesto arriba, que la muestra de bolas adolece de sesgo, posiblemente voluntario ( la muestra ha sido amañada ) y, por tanto, debemos concluir que dicha muestra no es representativa.


OBSERVACIÓN:
Como no siempre obtendremos valores de dicha probabilidad tan claramente pequeños, a menudo, para poder concluir si aceptamos o no la hipótesis fundamental, tendremos que decidir el valor de una cota -- que denominaremos nivel de significación del test ( y que denotaremos por $\alpha$ ) -- de tal modo que para valores mayores de la probabilidad calculada para el valor medido en la muestra ( aparecen $8$ bolas blancas ), nos lleve a aceptar la hipótesis fundamental ( o hipótesis nula ) y, por consiguiente, a emitir, como conclusión del test que, de acuerdo con dicho nivel de significación, debemos dar por válida la hipótesis fundamental.

Por ejemplo, ¿ qué decisión habríamos tomado de ser dicha probabilidad no tan pequeña ?, pongamos que $0'0534$, que es el resultado de plantear el mismo problema con una muestra de $25$ bolas, pues
$$\displaystyle P\lbrace X \le 8 | H_0 \rbrace = \sum_{i=0}^{8}\,\binom{25}{i}\,0'5^{i}\,(1-0'5)^{25-i} \approx 0'0534$$
Démonos cuenta de que, en esta nueva situación ( la probabilidad calculada ya no es tan pequeña como en la situación original ), conviniendo que para el nivel de significación del test, $\alpha$, que éste sea de $0'01$, es evidente que al ser menor que el de la probabilidad calculada, deberíamos, ahora, aceptar la hipótesis nula ( concluir que la muestra es representativa, a dicho nivel de significación ).

Y, por por el contrario, en el caso de ser dicha probabilidad calculada ( para el valor medido en la muestra, esto es, para $8$ bolas rojas ) menor que el nivel de significación, $\alpha$, pongamos que convengamos $\alpha=0'1$, deberíamos, para este otro nivel de significación, rechazar la hipótesis nula y, por tanto, aceptar la hipótesis alternativa.

COMENTARIOS:
a) Denominamos error de tipo I a $P( \text{rechazar} \, H_0 | H_0 \, \text{cierta} ) $ y, precisamente, es éste el valor del nivel de significación $\alpha$; por lo tanto, el $p-\text{valor}$ ( calculado arriba en el primer supuesto ) representa el nivel de significación observado, esto es, el error de tipo I observado; con lo cual, debemos entender el nivel de significación preestablecido del test, $\alpha$, como una cota del dicho nivel de significación, lo razonablemente pequeña. Tengamos en cuenta que de ser $\alpha$ muy pequeño, el test siempre conducirá a validar la hipótesis fundamental, mientras que si, por el contrario, es demasiado grande, el test siempre conducirá a rechazarla, en favor de la hipótesis alternativa. Así pues, cuánto más dudemos de la validez de la hipótesis fundamental, mayor debería ser el nivel de significación preestablecido, $\alpha$, del test.

b) Denominamos error de tipo II a $P( \text{aceptar} \, H_0 | H_0 \, \text{falsa} )$, que abreviamos como $\beta$, y, potencia del test, a $P( \text{rechazar} \, H_0 | H_0 \, \text{falsa})$, esto es, $1-\beta$. De esto se deduce que al disminuir el error de tipo II ( evitar el considerar como no significativos hechos no casuales ), aumenta la potencia del test; sin embargo, debemos tener en cuenta que al reducir el error de tipo II, aumenta, por contra, el error de tipo I ( es decir $\alpha$ ), que es el que se debería minimizar con preferencia a minimizar el de tipo II, pues de establecer dicha cota de error de tipo I grande ( de manera preestablecida ), ello abocaría a considerar indebidamente como significativas lo que podrían ser meras casualidades ( en el caso de un juicio, esto podría llevar a tomar la decisión de considerar culpable a un inocente [!] ).


$\square$

- - -

Referencias:
  [1] Compta, A., et. al., Matemàtiques II, Barcanova, Barcelona, 1993
  [2] Guàrdia, J.; Viader, M., Estadística, Castellnou, Barcelona, 1999
  [3] García Pérez, A., Estadística Básica con R, UNED, Madrid, 2010
  [4] Allepús, J., et. al., Exercicis d'inferència estadística, Cossetània, Valls, 2002
  [5] Gonick, L.; Smith, W, La Estadística en Cómic, Zendrera Zariquiey, Barcelona, 1999

viernes, 21 de febrero de 2014

Se sabe que la renta anual ( en unidades monetarias arbitrarias, u.m) de los contribuyentes de una ciudad tiene una distribución de probabilidad normal de media desconocida, y desviación típica $\sigma = 2000$ u.m. Se ha tomado una muestra aleatoria simple de $40$ contribuyentes de esa localidad, observándose una media muestral de $20\,000$ u.m. Realizar un contraste estadístico de hipótesis, a nivel de significación $\alpha=0'05$, con el fin de valorar la validez de la siguiente afirmación: "La media de la población es de $18\,000$ u.m".

Enunciado:
Se sabe que la renta anual ( en unidades monetarias arbitrarias, u.m) de los contribuyentes de una ciudad tiene una distribución de probabilidad normal de media desconocida, y desviación típica $\sigma = 2000$ u.m. Se ha tomado una muestra aleatoria simple de $40$ contribuyentes de esa localidad, observándose una media muestral de $20\,000$ u.m. Realizar un contraste estadístico de hipótesis, a nivel de significación $\alpha=0'05$, con el fin de valorar la validez de la siguiente afirmación: "La media de la población es de $18\,000$ u.m."

Resolución:
Sea $X$ la variable aleatoria renta anual de los individuos de la población. Según el enunciado, debemos considerar que $X \sim N(\mu\,,\,2000)$, con media, $\mu$, desconocida. Entonces, es razonable plantear el siguiente contraste bilateral: la hipótesis nula ( o hipótesis estándar; estándar, en el sentido, que apunta la afirmación propuesta "La media de la población es de $18\,000$ u.m." ), que expresamos como $H_0:\,\mu=\mu_0$, con $\mu_0=18\,000$ u.m., frente a la hipótesis alternativa $H_1:\,\mu \neq 18\,000$ u.m., siendo el estadístico del contraste tal que su variable aleatoria es $\dfrac{\overline{x}-\mu_0}{\sigma / \sqrt{n}}$ que es una v.a. con distribución $Z \sim N(0,1)$ en el muestreo ( Teorema Central del Límite ).

Recordemos que $z_{\alpha/2}=P\{Z \ge z_{\alpha/2}\}=\alpha/2=F(1-\alpha / 2)$, donde $F(z)$ es la función de distribución de probabilidad de $Z \sim N(0,1)$ ( tablas ), con lo cual, al ser $\alpha=0'05$, se obtiene $\alpha/2=\alpha_{0'05/2}=\alpha_{0'025}=F(1-0'025)=F(0'975)=1'96$, luego los puntos críticos ( extremos del intervalo de aceptación de $H_0$ ) son $-1'96$ y $1'96$, es decir, el intervalo de aceptación de la hipótesis nula $H_0$ expresado en la variable $Z$ es $C_{Z}^{*}=[-1'96\,,\,1'96]$.

De la muestra, vemos que el valor observado de la variable tipificada del estadístico de contraste es $Z_{\text{observado}}=\dfrac{20\,000-18\,000}{2000/\sqrt{40}}=6'3246 \notin C^{*}$ y que, por tanto, cae en la región crítica, luego decidimos rechazar la hipótesis nula, aceptando la hipótesis alternativa y concluyendo que no corroboramos la afirmación propuesta a un nivel de significación $\alpha=0'05$.
$\blacksquare$

[nota del autor]

miércoles, 12 de febrero de 2014

Contraste de hipótesis bilateral para una población aproximadamente normal ( muestras grandes ), siendo la desviación típica desconocida. Reflexiones sobre la necesidad del cálculo del p-valor.

Enunciado:
El porcentaje de un determinado metal que debe contener una cierta aleación es de $5'5\,\%$. Se toma una muestra de $200$ piezas de dicha aleación y se obtiene una media de $\bar{x}=5'2 \, \%$, con una desviación típica de $s=3'0\,\%$.
    a) ¿Se puede afirmar, desde el punto de vista de la inferencia estadística, que la proporción del metal en cuestión que forma parte de la aleación es la correcta, a nivel de significación $\alpha=0'05$?
    b) (Apartado de ampliación). Reflexionar sobre la necesidad del cálculo del nivel de significación observado, esto es, del llamado p-valor y calcularlo

Resolución:
  a)
Tratándose de muestras grandes, $n=200 \gt 30$, podemos aceptar razonablemente que la variable aleatoria de la población proporción del componente $A$ tiene una distribución aproximadamente normal $N(\mu\,,\,\sigma)$, con media $\mu$ desconocida y desviación típica $\sigma$.

De acuerdo con lo que se nos pide, Planteamos el siguiente contraste bilateral: la hipótesis estándar (la aleación tiene la proporción correcta en el metal componente), es decir, la hipótesis nula $H_0:\,\mu = \mu_0$ (donde $\mu_0=5'5$), frente a la hipótesis alternativa $H_1:\,\mu \neq \mu_0$

Por las características antes mencionadas, el estadístico del contraste sigue una distribución $\dfrac{\bar{x}-\mu_0}{S/\sqrt{n}} \approx N(0,1)$, donde $\bar{x}$ es el estadístico de la media muestral, $n$, el tamaño muestral y $S$ la cuasideviación típica de la muestra (que, por ser un estimador centrado, se puede utilizar para estimar bien la desviación típica, $\sigma$, de la población), y, siendo la desviación típica de la muestra $s$ (que es un dato del problema), sabemos que está relacionada con la cuasidesviación de la misma de la forma $S=\sqrt{\dfrac{n}{n-1}}\,\,s$, luego el valor de la cuasidesviación típica $S$ de la muestra es $S=\sqrt{\dfrac{100}{100-1}}\,\cdot 3 = 3'0151$ (aproximando a cuatro cifras decimales).

Teniendo en cuenta que el test es bilateral, aceptaremos $H_0$ si el valor observado del estadístico en la muestra dada cae en el intervalo de aceptación $C^{*}$ de la variable tipificada del estadístico, $Z$, $C_{Z}^{*}=\left[-z_{\alpha / 2}\,,\,z_{\alpha / 2}\right]$; es decir si $\dfrac{|\overline{x}-\mu_0|}{S/\sqrt{n}} \le z_{\alpha / 2}$, siendo el valor crítico $z_{\alpha/2}$ (que consultamos en las tablas de la función de distribución $F(z)$ de $Z \sim N(0,1)$) igual a $z_{0'05/2}=z_{0'025}=1'96$. Calculando el valor del estadístico en la muestra, vemos que $\bigg(\dfrac{|\overline{x}-\mu_0|}{S/\sqrt{n}}\bigg)_{\text{observada}}=\dfrac{|5'2-5'5|}{3'0151}=0'0995 \lt 1'96$, luego decidimos aceptar $H_0$ con un nivel de significación $\alpha=0'05$.

  b) [ Ampliación ]
Se nos pide, ahora, calcular, el nivel de significación observado (el p-valor) en contraposición al nivel de significación prefijado $\alpha$. El p-valor es el mínimo nivel de significación necesario para rechazar la hipótesis fundamental $H_0$. Recordemos que el error de tipo I representa la probabilidad de rechazar la hipótesis nula, siendo ésta cierta. El nivel de significación $\alpha$ (que no el p-valor) viene dado en el enunciado (o lo decidimos de manera razonable), es decir, viene fijado de antemano: en este caso se nos dice que es igual a $\alpha=0'05$. Démonos cuenta, no obstante, de que este nivel de significación prefijado, $\alpha=0'05$, no deja de conllevar cierta arbitrariedad, pues podríamos haber escogido un valor mayor o menor y, por tanto, la decisión de aceptar la hipótesis podría no haberse dado; por ello, y, por lo menos, para reforzar la decisión tomada, siempre es conveniente calcular, además, lo que denominamos p-valor, que es el nivel de significación observado, esto es, el valor del error de tipo I observado, que es el menor nivel de significación que tendríamos que fijar de antemano para rechazar la hipótesis nula con el valor del estadístico observado en la muestra.

En el caso singular en que el nivel de significación tuviese el máximo valor posible, $\alpha=1$ ( máximo error de tipo I), entonces los puntos críticos vendrían dados por $z_{\alpha / 2}=z_{1/2}=z_{0'5}=0$, luego el intervalo de aceptación de $H_0$ expresado en la variable tipificada $Z$ ( variable del estadístico del contraste ) se reduciría a un único valor, que en términos de la variable tipificada, sería el $0$; en otras palabras, el intervalo de aceptación de la hipótesis nula, $H_0$, correspondería a un único valor, esto es, a $C_{Z}^{*}=\{0\}$ y, por tanto, al no coincidir - con casi total probabilidad - el valor de $Z_{observado}$ con dicho valor en la realización del muestreo, cabría rechazar siempre la hipótesis nula - pero, cuidado, con un nivel de confianza en la decisión de $1-\alpha=1-1=0$, es decir del $0\,\%$ -, salvo en el extraño caso - raro, por altamente improbable - que éste fuese igual a cero, es decir, en el caso de que la media muestral observada, $\overline{x}$, coincidiese exactamente con el valor $\mu_0$. Así, pues, cuanto mayor es el nivel de significación del contraste fijado de antemano, $\alpha$, con mayor facilidad decidiremos rechazar la hipótesis nula, $H_0$, pues el intervalo de aceptación, $C^{*}$, tiende a tener amplitud cero, a contraerse en un punto, sin dar pie a que el valor observado del estadístico en la muestra caiga en él; sin embargo, a mayor nivel de significación corresponde menor nivel confianza en el resultado de la inferencia (menor confianza en la decisión tomada de rechazar $H_0$). En el símil sobre un jurado en cuanto a la decisión que debe tomar de un declarar culpable o inocente a un imputado, siendo la hipótesis nula "el imputado es inocente", ésto aseguraría la decisión de declararle culpable en cualquier caso; algo que da, ciertamente, mucho miedo.

Por el contrario, si el nivel de significación $\alpha$, fuese, también en caso extremo, igual a $\alpha=0$, caeríamos en una posición absolutamente conservadora: fe ciega en la hipótesis nula, $H_0$, anulando de plano el error de tipo I, es decir, conviniendo que es imposible rechazar la hipótesis nula, supuesta ésta cierta, pase lo que pase y, por tanto, por contra, haciendo máximo el error de tipo II; entonces los puntos críticos estarían en $-\infty$ y $+\infty$ (en un contraste bilateral), luego el intervalo de aceptación de la hipótesis nula sería toda la recta real, luego sería imposible rechazar la hipótesis nula a un nivel de confianza de $1-\alpha=1-0=1$, esto es, del $100\%$. En el caso del símil de aplicación a la toma de decisión de un jurado de declarar culpable o inocente a un imputado, esto correspondería a declarar inocente al imputado, al margen de que éste pueda ser o no culpable, lo cual, evidentemente, sería inquietante.

Es evidente, pues, que plantear un contraste de hipótesis en estos términos, tanto en un extremo como en otro, no tendría ningún sentido. Sin embargo, plantear dichos casos singulares y reflexionar sobre ellos nos puede ayudar a entender los conceptos y a poner las ideas en claro; de ahí que se hayan comentado, en este apartado de ampliación, aspectos referentes a: a) el error de tipo I (probabilidad de rechazar la hipótesis nula, siendo ésta cierta), y, por tanto, en relación directa con ésto, se ha tratado del nivel de significación prefijado, $\alpha$, así como del nivel de significación observado o p-valor, y del significado del coeficiente de confianza que cabe depositar en la decisión a tomar; y, b) el error de tipo II (probabilidad de aceptar la hipótesis alternativa siendo ésta falsa) y su relación con el error de tipo-I.

Luego, por lo que acabamos de decir, el nivel de significación prefijado $\alpha$, vendría a ser, pues, una aproximación al error de tipo I, es decir, al p-valor, que es, de hecho, en el que deberíamos fijarnos para decidir aceptar o rechazar la hipótesis nula (respectivamente aceptar la hipótesis alternativa). Veamos cómo: Un p-valor demasiado pequeño, (en particular, inferior a $\alpha$) o simplemente muy pequeño, pongamos inferior a $0'01$, nos llevaría a tener que rechazar la hipótesis nula $H_0$ (que se supone cierta), por no ser suficiente dicha probabilidad para poder acreditarla. Es decir, en realidad, para tomar la decisión de aceptar o rechazar la hipótesis nula, debemos guiarnos por el p-valor, más que por el nivel de significación que, eventualmente, se pueda fijar. En muchos problemas, como por ejemplo, en éste, el nivel de significación - como cota del p-valor - viene dado, por lo que - en principio - podríamos obviar su cálculo. Ésto, sin embargo, no es recomendable, pues el valor de significación fijado de antemano podría no ser, digamos, el acertado.


Así pues, entendemos el p-valor o nivel de significación observado (por contraposición al nivel de riesgo o nivel de significación prefijado $\alpha$) de una prueba de verificación/contraste de la hipótesis por inferencia estadística como el error de tipo I observado, y, por tanto, ha de venir dado por la probabilidad de obtener un valor igual o más extremo que el observado en la muestra, en el supuesto de que la hiótesis nula $H_0$ (que queremos verificar/contrastar frente a la hipótesis alternativa $H_1$) sea cierta/verdadera. Así, para poder rechazar la hipótesis nula $H_0$, en buena lógica deberemos encontrar que $\text{p-valor}\le \alpha$, teniendo que reafirmarla si encontramos que $\text{p-valor}\gt \alpha$.

Calcularemos pues el p-valor utilizando la distribución de probabilidad en el muestreo del estadístico de prueba asumiendo que la hipótesis fundamental es cierta. Al cálcular el p-valor nos podemos encontrar, según el caso, que el contraste se tenga que realizar por la cola superior, por la cola inferior, o bien de manera bilateral.

Llamando genéricamente $\hat{\theta}$ al estimador (estadístico) del test/contraste (y conocida su función de distribución de probabilidad, $F(\hat{\theta})$) —recordemos que en nuestro problema en concreto nuestro estimador sigue una distribución normal tipificada $Z$— y $\hat{\theta}_{\text{prueba}}$ al valor de dicho estadístico en la prueba (calculado) y que por supuesto depende del valor observado en la muestra:
  (i) Unilateral por la izquierda: $$\text{p-valor}=P\{\hat{\theta} \le \hat{\theta}_{\text{prueba}}|H_o\,\text{es cierta}\}=F(\hat{\theta})$$
  (ii) Unilateral por la derecha: $$\text{p-valor}=P\{\hat{\theta} \ge \theta_{\text{prueba}}|H_o\,\text{es cierta}\}=1-P\{\hat{\theta} \le \hat{\theta}_{\text{prueba}}|H_o\,\text{es cierta}\}=F(\hat{\theta}_{\text{prueba}})=1-F(\hat{\theta}_{\text{prueba}})$$
  (iii) Bilateral, y suponiendo simétrica la función de distribución de probabilidad $f(\hat{\theta})$ de $\hat{\theta}$ alrededor del valor de $\theta$ observado en la muestra y una vez realizada la tipificación de la variable a $Z=N(0,1)$: $$\text{p-valor}=P\{|z|\ge z_{\text{prueba}}\} = 2\,(1-F(z_{\text{prueba}}))$$


Procedamos, pues, a calcular el p-valor para este problema, que, repitámoslo, es la probabilidad de que, asumiendo que la hipótesis fundamental $H_0$ sea cierta, se obtenga un valor del estadístico de contraste más extremo (o igual) que el observado en la muestra. Al tratarse de un contraste unilateral por la derecha, tendremos —estamos en el caso (ii)— que $\text{p-valor}=1-F(z_0)$, donde $F(z)$ es una d. $N(0,1)$. Así que, como ya hemos calculado que $z_0=0'0995$, tenemos que $F(0'0995)=0'5396$, luego $\text{p-valor}=2\cdot(1-0'5396)=0'9208 \gt \alpha=0'05$, por consiguiente y como conclusión final validamos la certeza de la hipótesis fundamental y por tanto, según el test, podemos afirmar que la proporción del metal en cuestión que forma parte de la aleación es la correcta a un nivel de significación $\alpha$ de $0'05$.   $\square$

- - -

Referencias:
  [1] Compta, A., et. al., Matemàtiques II, Barcanova, Barcelona, 1993
  [2] Guàrdia, J.; Viader, M., Estadística, Castellnou, Barcelona, 1999
  [3] García Pérez, A., Estadística Básica con R, UNED, Madrid, 2010
  [4] Allepús, J., et. al., Exercicis d'inferència estadística, Cossetània, Valls, 2002
  [5] Gonick, L.; Smith, W, La Estadística en Cómic, Zendrera Zariquiey, Barcelona, 1999

lunes, 27 de enero de 2014

Contraste de hipótesis unilateral para la proproción de una población con muestras grandes

Enunciado:
Una empresa afirma que que, como máximo, el $6\,\%$ de los aparatos que fabrica son defectuosos. Se eligieron $300$ aparatos al azar y se encontró que $21$ de éstos eran defectuosos. Con un nivel de significación del $1\,\%$, ¿ se puede aceptar la afirmación de la marca ?.

Resolución:
Sea $p$ la proporción de aparatos defectuosos en la población, que tiene una distribución de probabilidad $B(1,p)$. Se plantea el contraste de la hipótesis nula $H_0:\,p \le p_0$ frente a la hipótesis alternativa $H_1:\,p \succ p_0$, donde $p_0$ representa la proporción enunciada por la empresa, es decir, $p_0=0'06$, y $\hat{p}$ denota el valor del estimador de la proporción de la poblacion, $p$, observado en la muestra seleccionada.

Tratándose de una muestra grande ( Teorema Central del Límite ), el estadístico del contraste es $\hat{P}$ tiene una distribución en el muestreo del tipo
    $\hat{P} \approx N(p_0\,,\,\sqrt{\dfrac{p_0\,(1-p_0)}{n}}$
y su variable tipificada es, por tanto,
    $Z \sim \dfrac{\hat{P}-p_0}{\sqrt{\dfrac{p_0\,(1-p_0)}{n}}} \approx N(0,1)$

Por todo ello, validaremos ( aceptaremos ) la hipótesis nula $H_0$ si se cumple la siguiente condición
    $P\{\hat{P} \le p_0 - c \}=1-\alpha$
( donde $c$ es proporcional al margen de error )
o lo que es lo mismo, tipificando la variable, si
    $P\{ Z \le -\dfrac{c}{\sqrt{\dfrac{p_0 \, (1-p_0)}{n}}} \}=1-\alpha \Leftrightarrow P\{ Z \ge -\dfrac{c}{\sqrt{\dfrac{p_0 \, (1-p_0)}{n}}}\} = \alpha $
que podemos expresar de la forma
    $P\{Z \ge z_{\alpha}\} = \alpha$
donde $z_{\alpha}$, que es igual a
    $-\dfrac{c}{\sqrt{\dfrac{p_0 \, (1-p_0)}{n}}}$
, corresponde a la abscisa de la función de densidad $f(z)$ de $Z \sim N(0,1)$ que deja a su derecha el $\alpha \cdot 100 \,\%$ ( respectivamente a su izquierda, el $(1-\alpha) \cdot 100 \,\%$ ) de la distribución, que podemos consultar en las tablas. En nuestro caso particular, se deberá cumplir que
    $P\{Z \ge z_{0'01}\}=0'01$
de donde obtenemos el valor crítico de la variable tipifica ( abscisa que separa la zona de aceptación de la de rechazo de $H_0$ ):
    $P\{Z \le z_{0'01}\}:=F(z_{0'01})=0'99 \underset{tablas \; de \; F(z)}{\rightarrow} z_{0'01} \approx 2'33$
luego el intervalo de aceptación para la variable tipificada $Z$ es $C^{*}=(-\infty\,,\,2'33]$

Veamos ahora si el valor del estadístico observado en la muestra cae dentro ( se aceptará $H_0$ ) o fuera ( se rechazará $H_0$ ):
    $Z_{observado}=\dfrac{0'07-0'06}{\sqrt{\dfrac{0'06\cdot (1-0'06)}{300}}} \approx 0'73 \in C^{*}$

Observación:     El intervalo de aceptación correspondiente a la variable aleatoria $\hat{p}$ es
    $C^{*}=(-\infty\,,\,p_0-z_{\alpha} \cdot \sqrt{\dfrac{p_0\,(1-p_0)}{n}}]$
        $=(-\infty\,,\,0'06-\big(- (2'33 \cdot \sqrt{\dfrac{0'06 \cdot (1-0'06)}{300}})\big)]$
        $=(-\infty\,,\,0'0919]$
y como $\hat{p}_{observado}=0'07 \in (-\infty\,,\,0'0919]$
validamos $H_0$ al caer dicho valor dentro del intervalo de aceptación de esta hipótesis

$\square$


[nota del autor]

domingo, 26 de enero de 2014

Contraste de hipótesis ( inferencias ) sobre la media de poblaciones no necesariamente normales y tamaños muestrales grandes.

Enunciado:
En el proceso de calibración de una balanza se ha pesado cien veces una pesa de prueba y se ha obtenido una media ( muestral ) de $1001\,\text{g}$ y una cuasidesviación típica de $4\,\text{g}$. A nivel de significación del $1\,\%$, ¿ podemos aceptar que la pesa de prueba sea de $1000\,\text{g}$ ?

Resolución:
Tratándose de muestras grandes y realizaciones independientes ( muestreo ) de la misma varianza, se cumplen las condiciones de validez del Teorema Central del Límite, luego podemos estimar la media poblacional mediante el estimador $\overline{x} \sim N(\mu\,,\,\sigma / \sqrt{n})$. Sin embargo, al desconocer la desviación típica, $\sigma$, de la población, empleamos con buena aproximación el estimador $\overline{x} \approx N(\mu\,,\,S / \sqrt{n})$, donde $S$ representa la cuasidesviación muestral la cual, sí tenemos como dato.

Planteamos el contraste de la hipótesis nula $H_0:\,\mu = \mu_0$, siendo $\mu_0=1000$ frente a la hipótesis alternativa $H_1:\,\mu \neq \mu_0$ ( contraste bilateral ), y por lo dicho arriba, podemos utilizar como estadístico del contraste la variable aleatoria $\overline{x}$ tipificada:
    $\dfrac{\overline{x}-\mu_0}{S/ \sqrt{n}} \approx N(0,1)$
de tal forma que aceptaremos $H_0$ si el valor observado de dicho estadístico $\overline{x}$ cae dentro del intervalo de aceptación de $H_0$, dado por
    $C^{*}=[\;\overline{x}-z_{\alpha / 2} \cdot \dfrac{S}{\sqrt{n}}\,,\,\overline{x}+z_{\alpha / 2} \cdot \dfrac{S}{\sqrt{n}} \;]$
esto es, si el valor del estadístico
    $\dfrac{\overline{x}-\mu_0}{S/ \sqrt{n}} \approx N(0,1)$
pertenece al intervalo
    $[-z_{\alpha /2}\,,\,z_{\alpha / 2}]$
donde el valor de la abscisa $z_{\alpha /2}$ es tal que
    $P\{ |Z| \ge z_{\alpha /2} \}=\alpha / 2$
( siendo $z_{\alpha / 2}$ la abscisa que deja a su derecha el $(\alpha /2)\cdot 100 \,\%$ - respectivamente a su izquierda, el $(1-\alpha /2)\cdot 100 \,\%$ - de la distribución de probabilidad )
luego, utilizando las tablas de $Z \sim N(0,1)$, encontramos que $z_{\alpha /2}=z_{0'01 /2}=z_{0'005} \approx 2'58$

Calculando el valor del estadístico para la muestra observada obtenemos
    $\dfrac{|1001-1000|}{4 / \sqrt{100}}=2'5 \in [-2'58\,,\,2'58]$
luego decidimos aceptar la hipótesis nula - aunque no con mucha fuerza, por encontrarse el valor observado del estimador muy cerca del extremo superior del intervalo -, es decir, aceptamos que "la masa de la pesa de prueba es de mil gramos", a nivel de significación $0'01$.


-oOo-

Observación (p-valor):     Calculemos, a modo de ampliación, el nivel de significación observado, al que llamamos p-valor ( el menor nivel de significación para poder rechazar la hipótesis nula, esto es, el menor valor de la probabilidad de rechazar la hipótesis nula siendo ésta cierta ), luego lo calculamos de la forma
    p-valor $:=P\{|Z|\succ z_{\alpha / 2}\,|\,H_0\}=P_{H_0}\{|Z|\succ 2'5\}=2\,P_{H_0}\{Z \succ 2'5\}$
                $\underset{\text{tablas } Z \sim N(0,1)}{=}0'0124$
valor que es ligeramente mayor que el nivel de significación impuesto de antemano, luego podemos aceptar la hipótesis nula, pero no con mucha fuerza, tal como ya se había comentado al calcular el intervalo de aceptación; ésto lo confirma. En efecto, por el significado del p-valor, es necesario que no sea pequeño ( pongamos que inferior a $0'01$ ) para poder aceptar la hipótesis nula; en nuestro caso, sobrepasa ligeramente esta cantidad.


[nota del autor]

Contraste de hipótesis sobre una proporción. Cálculo del p-valor (ampliación). Error de tipo I y error de tipo II. Potencia del contraste (ampliación).

Enunciado:
Se sabe que, hace un cierto tiempo, el $52\,\%$ de los ciudadanos estaban en contra de una cierta ley. Recientemente, se ha elaborado una encuesta a $400$ ciudadanos ( muestra aleatoria simple ), y se observó que $184$ de los mismos se mostraban contrarios a dicha ley. ¿ Puede afirmarse, con un coeficiente de significación del $0'01$, que la proporción de los ciudadanos ( en la población ) ha disminuido ?

Resolución:
De acuerdo con los datos, parece razonable plantear el contraste contraste de hipótesis unilateral:
    $H_0:\, p \ge p_0$ ( hipótesis nula o hipótesis estándar: se mantiene la misma situación, esto es: "la proporción de resultados en contra de dicha ley se mantiene o incluso aumenta" )
    $H_1:\, p \prec p_0$ ( hipótesis alternativa: "la proporción de resultados en contra de dicha ley disminuye" )
siendo $p_0$ el valor de la proporción de referencia ( en el pasado ), que es un dato del problema y que es igual a $0'52$

La característica en estudio corresponde a una variable aleatoria $X$ con distribución de Bernoulli, $X \sim B(1,p)$, luego el estadístico con el que procede realizar el contraste de hipótesis corresponde a una variable aleatoria
    $\dfrac{\hat{P}-p_0}{\sqrt{\dfrac{p_0\,(1-p_0)}{n}}} \approx N(0,1)$
donde $n$ es el tamaño de la muestra, que es nuestro caso es $n=400$

De acuerdo con el planteamiento del contraste, aceptaremos $H_0$ si el valor del estadístico $\hat{P}$ observado en la muestra es superior a $p_0$, es decir, si podemos encontrar una constante positiva $c$, con un nivel de confianza de $1-\alpha$, es decir, si
    $P\{\hat{P} \ge p_0 + c\}=1-\alpha$
que, tipificando, también podemos expresar de la forma
    $P\{\dfrac{\hat{P}-p_0}{\sqrt{\dfrac{p_0\,(1-p_0)}{n}}} \ge \dfrac{c}{\sqrt{\dfrac{p_0\,(1-p_0)}{n}}} \}=1-\alpha$
esto es
    $P\{Z \ge \dfrac{c}{\sqrt{\dfrac{p_0\,(1-p_0)}{n}}} \}=1-\alpha$
y, denotando por $z_{1-\alpha}$ al valor del miembro derecho de la desigualdad del argumento
    $z_{1-\alpha}:=\dfrac{c}{\sqrt{\dfrac{p_0\,(1-p_0)}{n}}}$
el cual representa la abscisa de la función de densidad $f(z)$ que deja a la derecha el $(1-\alpha)\cdot 100 \,\%$ de la distribución ( respectivamente a la izquierda, el $\alpha \cdot 100\, \%$ de la distribución )
y que obtener a partir de la consulta de la tabla $N(0,1)$ de la función de distribución de probabilidad $F(z)$ procediendo de la manera que sigue
podemos la condición expresada arriba de la forma
    $P\{Z \ge z_{1-\alpha}\}=1-\alpha$
es decir, y para el caso que nos ocupa, para un nivel de significación $\alpha=0'01$:
    $P\{Z \ge z_{1-0'01}\}=1-0'01$
esto es
    $P\{Z \ge z_{0'99}\}=0'99$
que, habida cuenta de que el valor de probabilidad $0'99$, no podemos obtenerlo directamente en las tablas, podemos escribir la probabilidad pedida de la forma
    $1-P\{Z \le z_{0'99}\}=0'99$
luego
    $P\{Z \le z_{0'99}\}=1-0'99=0'01$
y, por simetría de la función de densidad de probabilidad $f(z)$, es igual a
    $P\{Z \ge -z_{0'99}\}=0'01$
valor que sí encontramos directamente en las tablas y que corresponde a la abscisa
    $-z_{0'99}=2'33$ ( operando con dos decimales )
por tanto
    $z_{0'99}=-2'33$
luego el intervalo de valores del estadístico que corresponde a la región de aceptación de la hipótesis nula, $H_0$, es $C^{*}=[-2'33 \,,\, +\infty )$

Observamos que valor del estadístico del contraste en la muestra seleccionada es
        $\dfrac{0'46-0'52}{\sqrt{\dfrac{0'52\,(1-0'52)}{400}}} \approx -2'40 \notin C^{*}$
luego rechazamos $H_0$, y por tanto, aceptamos la hipótesis alternativa $H_1$ ( "la proporción en contra de dicha ley ha disminuido" ) con un coeficiente de significación de $0'01$ ( nivel de confianza del $99\,\%$ ).
$\square$

-oOo-

Observación 1. (Error de tipo I. Interpretando el coeficiente de significación del test. Calculando el p-valor):     Recordemos que el nivel de significación del test representa el error de tipo I, que se define como a probabilidad de rechazar la hipótesis nula, siendo ésta cierta. Así pues, cuánto más confiemos en la validez de la hipótesis nula, menor tendrá que ser el nivel de significación $\alpha$ que le asignemos de antemano, por lo tanto, éste es un punto delicado del contraste, de ahí la importancia de calcular el p-valor, o nivel de significación observado, al objeto de cotejar la decisión que tomemos a partir de la ubicación del valor observado del estadístico del contraste en la región de aceptación de la hipótesis nula o bien en la región crítica ( de rechazo de la hipótesis nula ).

El p-valor es el nivel de significación observado; en otras palabras: el menor coeficiente de significación - esto es, la probabilidad observada de rechazar H_0 siendo ésta cierta - con el que podríamos, por tanto, rechazar la hipótesis nula $H_0$. Si el p-valor que encontremos es pequeño, pongamos, inferior a $0'01$ ( la probabilidad de rechazar la hipótesis nula siendo ésta cierta es pequeña ) querrá decir que, en buena lógica, no podremos justificar la decisión de aceptarla y, en consecuencia, la rechazaremos ( aceptando la hipótesis alternativa ).

Calculemos pues el p-valor:
    p-valor:=Probabilidad_observada("rechazar $H_0$ siendo $H_0$ es cierta")=
      $=P\{Z \prec -2'33 | p_{0} \ge 0'52\}$
      $=P_{H_{0}}\{Z \succ 2'33\}$
      $=0'0099$
valor que es demasiado pequeño ( en particular, inferior al nivel de significación $\alpha=0'01$ fijado de antemano ), para poder aceptar la hipótesis nula $H_0$
luego, de acuerdo a este nivel de significación observado, se confirma la decisión de rechazar $H_0$ y aceptar la hipótesis nula.


Observación 2. ( Error de tipo II):     Además del error de tipo I ( que deberíamos cuidar de evitar, rebajando de antemano el coeficiente de significación del test pues, por ejemplo, en un juicio el no hacerlo supondría violar el principio de presunción de inocencia ), también debemos considerar otro tipo de error: el que proporciona la probabilidad de aceptar la hipótesis nula ( hipótesis estándar ) siendo ésta falsa ( en un juicio, por ejemplo, ésto correspondería a cometer el error de declarar inocente a un culpable). Éste otro error es el llamado error de tipo II ( menos importante que el primero, como es lógico).

Observación 3. ( Valorando la potencia del test):     El complemento a uno del error de tipo II es la probabilidad de rechazar la hipótesis nula siendo ésta falsa, probabilidad que se interpreta como la capacidad o potencia del contraste o test.

A modo de ejemplo, vamos a calcular la potencia del contraste en este ejercicio:

    potencia del test:=P(rechazar $H_0$ | $H_0$ falsa )
        =P( aceptar $H_1$ | $H_1$ cierta )
        =P( $p$ caiga a la izquierda de ($\hat{p}-c$) | $H_1$ cierta )
        $= P \{p\prec \hat{p}-z_{1-\alpha} \cdot \sqrt{\dfrac{p\,(1-p)}{n}} \;| \; p \prec p_0 \}$
pues el intervalo correspondiente a la zona crítica ( que corresponde a rechazar $H_0$ y, por tanto, a aceptar $H_1$ ) es
    $C=(-\infty\,,\, \hat{p}-z_{1-\alpha} \cdot \sqrt{\dfrac{p\,(1-p)}{n}}]$
por lo que seguimos el cálculo escribiendo que la última línea del mismo es igual a
    $P \{ \dfrac{p-\hat{p}}{\sqrt{\dfrac{p\,(1-p)}{n}}} \prec - z_{1-\alpha} \;| \; p \prec p_0 \}$
        $= P \{ \dfrac{\hat{p}-p}{\sqrt{\dfrac{p\,(1-p)}{n}}} \succ z_{1-\alpha} \;| \; p \prec p_0 \}$
luego, tomando un valor ligeramente superior a $-2'33$ ( valor de la abscisa encontrada antes, supuesta $H_0$ cierta ) para la nueva abscsisa $z$ compatible con la condición ( $H_1$ cierta ), como por ejemplo $-2'3$, y prosiguiendo el cálculo, encontramos
        $\approx P_{H_1} \{ \dfrac{\hat{p}-p}{\sqrt{\dfrac{p\,(1-p)}{n}}} \succ -2'3 \}$
es decir
        $= P_{H_1} \{ Z \succ -2'3 \}$
        $= 1-P_{H_1} \{ Z \prec -2'3 \}$
        $= 1-P_{H_1} \{ Z \succ 2'3 \}$
y consultando las tablas de la distribución $N(0,1)$ encontramos
        $= 1-0'0179$
        $\approx 0'98$
pudiendo valorar por tanto dicho test con una potencia del $98\,\%$. $\square$



- - -

Referencias:
  [1] Compta, A., et. al., Matemàtiques II, Barcanova, Barcelona, 1993
  [2] Guàrdia, J.; Viader, M., Estadística, Castellnou, Barcelona, 1999
  [3] García Pérez, A., Estadística Básica con R, UNED, Madrid, 2010
  [4] Allepús, J., et. al., Exercicis d'inferència estadística, Cossetània, Valls, 2002
  [5] Gonick, L.; Smith, W, La Estadística en Cómic, Zendrera Zariquiey, Barcelona, 1999