Mostrando entradas con la etiqueta p-valor. Mostrar todas las entradas
Mostrando entradas con la etiqueta p-valor. Mostrar todas las entradas

miércoles, 24 de marzo de 2021

Estimación de una proporción

ENUNCIADO. Se ha realizado una encuesta sobre los hábitos de lectura de la población universitaria, tomando una muestra aleatoria simple de $180$ personas, y obteniéndose como resultado que $117$ de dichas personas manifiestan leer, como mínimo, $1$ libro al mes. Hace $5$ años, la proporción de universitarios que declaraban leer, como mínimo $1$ libro al mes, era del $60\,\%$. Se pide:
(a) Realizar un contraste de hipótesis bilateral, a un nivel de significación $\alpha=0{,}05$ (nivel de confianza del $95\,\%$), para decidir si la población de universitarios que declaran leer como mínimo $1$ libro al mes sigue siendo del $60\,\%$ (hipótesis fundamental)
(b) ¿Qué tamaño muestral tendría que tener la muestra para poder rechazar la hipótesis fundamental?

SOLUCIÓN

(a)
1. Realización del test calculando la ubicación del valor observado en la muestra en el intervalo/zona de aceptación o bien en en la zona de rechazo de la misma:

Llamamos $p$ a la proporción en la población que corresponde a leer como mínimo $1$ libro al mes.

Denominamos $\hat{p}$ al estimador de la proporción en la población a partir de la información de la muestra, por lo que $\hat{p}$ es una variable aleatoria, que es función de las variables del muestreo, ya que $\hat{p}:=\dfrac{Y}{n}$, siendo $Y$ el número de veces que se verifica en la población una determinada clase $S$ caracterizada por la propiedad; es decir, $Y$ es el número de elementos de la muestra $(e_1,e_2,\ldots,e_n)$ que son de la clase $S$. Así, considerando las variables aleatorias de Bernouilli independientes del mismo parámetro $p:=P(S)$ $$X_i=\left\{ \begin{matrix} 1 & \text{si el elemento} \, e_i \in S \\ 0 & \text{si el elemento}\, e_i \in S \end{matrix} \right. \,\text{para}\, i=1,\ldots\,n$$ la variable $Y$ es la suma de las mismas $$\displaystyle Y=\dfrac{\displaystyle\sum_{i=1}^{n}\,X_i}{n}$$ por lo que tendremos que $Y$ es una variable aleatoria binomial $B(n,p)$, ya que se supone que la realización del muestro se realiza con reemplazamiento —démonos cuenta de que se puede pues considerar que la variable $\hat{p}:=\dfrac{Y}{n}$ es un caso particular del estimador de la media, $\bar{X}$.

Realizaremos el contraste de hipótesis (la estimación) manejando dicho estimador (estadístico).

Sabemos que el valor observado de la proporción medida en la muestra es $\hat{p}_{\text{observado}}=\dfrac{117}{180}=0{,}65$.
También tenemos que tener en cuenta, claro está, el tamaño de la muestra, que es $n=180$.

Si bien la variable aleatoria $Y$, y por tanto también $\hat{p}$, obedecen a una distribución binomial, podremos facilitar el cálculo aproximando $\hat{p}$ a una distribución normal. En efecto, por el Teorema del Límite Central, sabemos que la variable aleatoria del estadístico (estimador) $\hat{p}$ sigue una distribución aproximada normal de media $p$ y desviación estándar $\sqrt{\dfrac{p\cdot(1-p)}{n}}$, esto es, $\hat{p}$ es $N\left(p\,,\,\sqrt{\dfrac{p\cdot(1-p)}{n}}\right)$.

Para la población actual no conocemos el valor del parámetro $p$, por lo que tendremos que arreglárnos sustituyendo éste por algún valor aproximado del mismo, $p_0$, y que, según el enunciado, tomaremos el valor de éste es del $60\,\%$, que corresponde al que se conocía hace unos años en la población y al que llamaremos pongamos que $p_0$; así que establecemos $p\approx p_{0}=0,60$. Con todo esto ya podemos decir que el estadístico $\hat{p}$ (variable aleatoria asociada al estimador de la proporción de la población) sigue la siguiente distribución de probabilidad en el muestreo: $$\hat{p} \approx N \left( p_0 \,,\, \sqrt{ \dfrac{p_0 \cdot(1-p_0) }{n}} \right)$$
(a) Plateemos el test de hipótesis:
Queremos contrastar la hipótesis fundamental (o hipótesis nula) $H_0$ —nos parece bastante plausible, y por tanto confiamos en que sea cierta— en contraposición a la hipótesis alternativa $H_1$; y ello, con un nivel de significación del test prefijado $\alpha=5\,\%=0,05$ (y pot tanto con un nivel de confianza $1-\alpha=95\,\%=0,95$). Establecemos pues la hipótesis fundamental: $$H_0:\, p\approx p_0=0,60$$ frente a la hipótesis alternativa: $$H_1:\, p\approx p_0 \neq 0{,}60$$

Tratándose de un test (contraste) bilateral —habrá que manejar las dos colas (izquierda y derecha) de la función de densidad de probabilidad de la variable aleatoria del estadístico de contraste—, aceptaremos $H_0$ si $P\{p_0 -E \le \hat{p} \le p_0+E\} = 1-\alpha$, luego el intervalo de aceptación de $H_0$ viene dado por $$\text{IA}=(p_0-E\,,\,p_0+E)$$, siendo la amplitud de error $E=z_{\alpha/2}\cdot \sqrt{\dfrac{p_0 \cdot (1-p_0)}{n}}$

Al tipificar la variable $\hat{p}$, se pasa a la variable $$Z=\dfrac{\hat{p}-p_0}{\sqrt{p_0 \cdot (1-p_0)/n}}$$ que es una normal $N(0,1)$. Obtendremos, ahora, la abscisa crítica $z_{\alpha/2}$ —se determina de la misma forma que en los problemas de intervalos de confianza—, teniendo en cuenta que $P\{Z \le z_{\alpha/2}\} = 1-\alpha/2$; y, como $\alpha/2=0{,}05/2=0{,}025$, consultando las tablas de la función de distribución de probabilidad $N(0,1)$, para $P\{Z \le z_{\alpha/2}\} = 0{,}975$, encontramos $z_{\alpha/2}=1{,96}$

Así, la amplitud de error a la que llegamos es $E=1{,}96 \cdot \sqrt{0{,}6\cdot (1-0{,}6)/180}=0{,}0716$, luego el intervalo de aceptación de $H_0$, $\text{IA}$, debe cumplir que $\left|\hat{p}-p_0\right|=E$, luego $$\text{IA}=(0{,}6-0{,}0716\,,\,0{,}6+0{,}0716)$$ esto es $$\text{IA}=(0{,}5284\,,\,0{,}6716)$$
Y como la proporción medida en la muestra $\hat{p}=0{,}65 \in \text{IA}$, concluimos que debemos confiar en la aceptación de la hipótesis fundamental $H_0$, esto es, aceptamos que la proporción de la población de estudiantes que como mínimo leen un libro al mes se mantiene en un $60\,\%$, según un nivel de significación $\alpha=0,05$ (es decir, a un nivel de confianza del $95\,\%$).


-oOo-

2. Realización del test calculando el $\text{p-valor}$:


Otra manera de llegar a la misma conclusión consiste en calcular el p-valor (o valor-p) utilizando la distribución de probabilidad en el muestreo del estadístico de prueba asumiendo que la hipótesis fundamental es cierta. Subrayemos pues que entendemos el p-valor como el error de tipo I observado (no el establecido de antemano en el test y al que denominamos nivel de significación $\alpha$, que en nuestro caso es del $0.05$); dicho de otra manera, el p-valor es el mínimo nivel de significación necesario para poder rechazar la hipótesis fundamental $H_0$ que se ha aceptado como cierta en un principio (para realizar el cálculo del p-valor). Por tanto, una vez conocido el p-valor procederemos de la manera siguiente para realizar el contraste:
  Si $\text{p-valor}\le \alpha$ entonces deberemos rechazar la hipótesis fundamental $H_0$ (que habíamos supuesta cierta en un principio) y por tanto aceptaremos la hipótesis alternativa $H_1$
  En caso contrario, si $\text{p-valor}\gt \alpha$, no podremos rechazar la hipótesis fundamental $H_0$

Al cálcular el p-valor nos podemos encontrar que, según el caso, el contraste se tenga que realizar por la cola superior, por la cola inferior, o bien de manera bilateral. Este último caso es el que procede para este problema que nos ocupa ahora. Hagamos el cálculo:
  Como al estadístico del contraste corresponde una variable $Z=\dfrac{\hat{p}-p_0}{\sqrt{p_0 \cdot (1-p_0)/n)}}\sim N(0,1)$ (lo cual ya se ha justificado arriba) tenemos que, el valor observado del estadístico para la variable tipificada $Z$ del contraste (o valor de prueba del estadístico) es igual a $z_{\text{prueba}}:=\dfrac{\hat{p}_{\text{prueba}}-p_0}{\sqrt{p_0 \cdot (1-p_0)/n)}}=\dfrac{0,65-0,60}{\sqrt{0,60\cdot (1-0,60)/180)}}=1,3693$ , y al tener en cuenta la bilateralidad con la función de densidad de probabilidad de $Z\sim N(0,1)$ simétrica y centrada en el valor $z=0$, encontramos que $\text{p-valor}:=P\{Z \le - z_{\text{prueba} }\}+P\{Z \ge z_{\text{prueba} }\}=2\,P\{Z \ge z_{\text{prueba}}\}=2\cdot (1-P\{Z \le z_{\text{prueba}}\})=$
  $=2\cdot (1-P\{Z \le 1,3693\})=2\cdot (1-F(1,3693))\overset{\text{tablas de}\,F(z)}{=}2\cdot(1-0,9145)\approx 0,171 \gt \alpha=0,05$ de lo cual concluimos que no podemos rechazar la hipótesis fundamental $H_0$. Como cabía esperar, es la misma conclusión a la que hemos llegado razonando mediante los intervalos de aceptación y rechazo de la hipótesis fundamental.

Observación:
Por el significado del $\text{p-valor}$, démonos cuenta de que si hubiésemos tomado un nivel de significación $\alpha$ mayor que $0,05$ pero, eso sí, menor que $0,171$, la conclusión del test sería la misma: no rechazar la hipótesis fundamental $H_0$. Por el contrario, para valores de $\alpha$ mayores que $0,171$, esto es, para un contraste más «exigente» que eso, sí tendríamos que rechazar la hipótesis fundamental.


* * *


(b)
Si el tamaño muestral $n$ aumenta, entonces el intervalo de aceptación se estrecha (se reduce el error $E$, que es la amplitud de dicho intervalo), por tanto, a partir de un cierto valor de $n$, la proporción medida en la muestra caerá fuera del intervalo de aceptación (se situará en la zona de rechazo de la hipótesis fundamental), con lo cual, no podremos seguir dando apoyo a la hipótesis fundamental, debiendo aceptar la h. alternativa, y por consiguiente hay que concluir, en ese caso, que la proporción en la población no es del $60\,\%$. Veamos cuánto debe ser el valor mínimo de $n$ para que eso ocurra:

Por lo dicho anteriormente, para poder rechazar $H_0$, deberá cumplirse (condición crítica) que $\left|\hat{p}-p_0\right| = E$; por lo que imponiendo esta condición, $$0{,}65-0{,}60=1{,}96 \cdot \sqrt{0{,}6\cdot (1-0{,}6)/n}$$ es decir
$$0{,}05=1{,}96 \cdot \sqrt{0{,}6\cdot (1-0{,}6)/n}$$ elevando al cuadrado y despejando $n$ llegamos a $$n=\dfrac{0{,}6\cdot 0{,}4}{(0{,}05/1{,}96)^2} \approx 368$$

Con lo cual, para tamaños muestrales $n \ge 368$, tendremos que rechazar la hipótesis fundamental (a nivel de significación $\alpha=0{,}05 $). $\square$
- - -

Referencias:
  [1] Compta, A., et. al., Matemàtiques II, Barcanova, Barcelona, 1993
  [2] Guàrdia, J.; Viader, M., Estadística, Castellnou, Barcelona, 1999
  [3] García Pérez, A., Estadística Básica con R, UNED, Madrid, 2010
  [4] Allepús, J., et. al., Exercicis d'inferència estadística, Cossetània, Valls, 2002
  [5] Gonick, L.; Smith, W, La Estadística en Cómic, Zendrera Zariquiey, Barcelona, 1999

miércoles, 18 de marzo de 2015

Introducción al contraste de hipótesis

ENUNCIADO:
Consideremos una urna que contiene un número muy grande de bolas, la mitad de las cuales son blancas y la otra mitad rojas. Se han extraído $40$ bolas de dicha urna y se nos informa que han aparecido $8$ bolas rojas ( y $32$ bolas blancas ). ¿ Es razonable considerar representativa a dicha muestra ? Razonar la respuesta.

SOLUCIÓN:
Consideremos la hipótesis La muestra es representativa, esto es: la elección de las bolas, una a una, se ha realizado con reemplazamiento - las extracciones sucesivas son independientes - y removiendo bien las bolas antes de extraer la siguiente bola, es decir, de manera aleatoria.

Llamamos a esta hipótesis, hipótesis fundamental ( que denotamos por $H_0$ ), pues ésta respalda la presunción de que la muestra no ha sido amañada ( la muestra es representativa ), atribuyendo a la casualidad el hecho de que aparecen en la muestra menos bolas blancas de lo que podríamos aventurar, de acuerdo con el valor esperado, que rondaría la cantidad de unas $20$ bolas rojas.

En oposición a la hipótesis fundamental surge, lógicamente, la hipótesis alternativa, $H_{1}$: la muestra ha sido amañada, es decir, la muestra no es representativa.

De acuerdo con la medida de la muestra, y recurriendo a la teoría de la probabilidad, debemos contrastar una hipótesis frente a la otra. Para ello, razonamos del siguiente modo: Como la variable aleatoria número de bolas rojas que aparecen en la muestra debe seguir el modelo binomial $B(40,0'5)$ ( pruebas sucesivas e independientes de Bernouilli ), entonces al calcular la probabilidad de obtener a lo sumo $8$ bolas rojas en la muestra de tamaño $40$, si ésta ( a la que denominamos $p$-valor ) resulta lo suficientemente pequeña, será muy razonable rechazar la hipótesis fundamental.

Veamos qué obtenemos:
$$\displaystyle P\lbrace X \le 8 | H_0 \rbrace = \sum_{i=0}^{8}\,\binom{40}{i}\,0'5^{i}\,(1-0'5)^{40-i} \approx 0'00009$$
Como este valor ( $p$-valor ) es lo suficientemente pequeño ( muy pequeña, realmente ), es razonable rechazar la hipótesis nula, concluyendo, por lo que se ha expuesto arriba, que la muestra de bolas adolece de sesgo, posiblemente voluntario ( la muestra ha sido amañada ) y, por tanto, debemos concluir que dicha muestra no es representativa.


OBSERVACIÓN:
Como no siempre obtendremos valores de dicha probabilidad tan claramente pequeños, a menudo, para poder concluir si aceptamos o no la hipótesis fundamental, tendremos que decidir el valor de una cota -- que denominaremos nivel de significación del test ( y que denotaremos por $\alpha$ ) -- de tal modo que para valores mayores de la probabilidad calculada para el valor medido en la muestra ( aparecen $8$ bolas blancas ), nos lleve a aceptar la hipótesis fundamental ( o hipótesis nula ) y, por consiguiente, a emitir, como conclusión del test que, de acuerdo con dicho nivel de significación, debemos dar por válida la hipótesis fundamental.

Por ejemplo, ¿ qué decisión habríamos tomado de ser dicha probabilidad no tan pequeña ?, pongamos que $0'0534$, que es el resultado de plantear el mismo problema con una muestra de $25$ bolas, pues
$$\displaystyle P\lbrace X \le 8 | H_0 \rbrace = \sum_{i=0}^{8}\,\binom{25}{i}\,0'5^{i}\,(1-0'5)^{25-i} \approx 0'0534$$
Démonos cuenta de que, en esta nueva situación ( la probabilidad calculada ya no es tan pequeña como en la situación original ), conviniendo que para el nivel de significación del test, $\alpha$, que éste sea de $0'01$, es evidente que al ser menor que el de la probabilidad calculada, deberíamos, ahora, aceptar la hipótesis nula ( concluir que la muestra es representativa, a dicho nivel de significación ).

Y, por por el contrario, en el caso de ser dicha probabilidad calculada ( para el valor medido en la muestra, esto es, para $8$ bolas rojas ) menor que el nivel de significación, $\alpha$, pongamos que convengamos $\alpha=0'1$, deberíamos, para este otro nivel de significación, rechazar la hipótesis nula y, por tanto, aceptar la hipótesis alternativa.

COMENTARIOS:
a) Denominamos error de tipo I a $P( \text{rechazar} \, H_0 | H_0 \, \text{cierta} ) $ y, precisamente, es éste el valor del nivel de significación $\alpha$; por lo tanto, el $p-\text{valor}$ ( calculado arriba en el primer supuesto ) representa el nivel de significación observado, esto es, el error de tipo I observado; con lo cual, debemos entender el nivel de significación preestablecido del test, $\alpha$, como una cota del dicho nivel de significación, lo razonablemente pequeña. Tengamos en cuenta que de ser $\alpha$ muy pequeño, el test siempre conducirá a validar la hipótesis fundamental, mientras que si, por el contrario, es demasiado grande, el test siempre conducirá a rechazarla, en favor de la hipótesis alternativa. Así pues, cuánto más dudemos de la validez de la hipótesis fundamental, mayor debería ser el nivel de significación preestablecido, $\alpha$, del test.

b) Denominamos error de tipo II a $P( \text{aceptar} \, H_0 | H_0 \, \text{falsa} )$, que abreviamos como $\beta$, y, potencia del test, a $P( \text{rechazar} \, H_0 | H_0 \, \text{falsa})$, esto es, $1-\beta$. De esto se deduce que al disminuir el error de tipo II ( evitar el considerar como no significativos hechos no casuales ), aumenta la potencia del test; sin embargo, debemos tener en cuenta que al reducir el error de tipo II, aumenta, por contra, el error de tipo I ( es decir $\alpha$ ), que es el que se debería minimizar con preferencia a minimizar el de tipo II, pues de establecer dicha cota de error de tipo I grande ( de manera preestablecida ), ello abocaría a considerar indebidamente como significativas lo que podrían ser meras casualidades ( en el caso de un juicio, esto podría llevar a tomar la decisión de considerar culpable a un inocente [!] ).


$\square$

- - -

Referencias:
  [1] Compta, A., et. al., Matemàtiques II, Barcanova, Barcelona, 1993
  [2] Guàrdia, J.; Viader, M., Estadística, Castellnou, Barcelona, 1999
  [3] García Pérez, A., Estadística Básica con R, UNED, Madrid, 2010
  [4] Allepús, J., et. al., Exercicis d'inferència estadística, Cossetània, Valls, 2002
  [5] Gonick, L.; Smith, W, La Estadística en Cómic, Zendrera Zariquiey, Barcelona, 1999

miércoles, 12 de febrero de 2014

Contraste de hipótesis bilateral para una población aproximadamente normal ( muestras grandes ), siendo la desviación típica desconocida. Reflexiones sobre la necesidad del cálculo del p-valor.

Enunciado:
El porcentaje de un determinado metal que debe contener una cierta aleación es de $5'5\,\%$. Se toma una muestra de $200$ piezas de dicha aleación y se obtiene una media de $\bar{x}=5'2 \, \%$, con una desviación típica de $s=3'0\,\%$.
    a) ¿Se puede afirmar, desde el punto de vista de la inferencia estadística, que la proporción del metal en cuestión que forma parte de la aleación es la correcta, a nivel de significación $\alpha=0'05$?
    b) (Apartado de ampliación). Reflexionar sobre la necesidad del cálculo del nivel de significación observado, esto es, del llamado p-valor y calcularlo

Resolución:
  a)
Tratándose de muestras grandes, $n=200 \gt 30$, podemos aceptar razonablemente que la variable aleatoria de la población proporción del componente $A$ tiene una distribución aproximadamente normal $N(\mu\,,\,\sigma)$, con media $\mu$ desconocida y desviación típica $\sigma$.

De acuerdo con lo que se nos pide, Planteamos el siguiente contraste bilateral: la hipótesis estándar (la aleación tiene la proporción correcta en el metal componente), es decir, la hipótesis nula $H_0:\,\mu = \mu_0$ (donde $\mu_0=5'5$), frente a la hipótesis alternativa $H_1:\,\mu \neq \mu_0$

Por las características antes mencionadas, el estadístico del contraste sigue una distribución $\dfrac{\bar{x}-\mu_0}{S/\sqrt{n}} \approx N(0,1)$, donde $\bar{x}$ es el estadístico de la media muestral, $n$, el tamaño muestral y $S$ la cuasideviación típica de la muestra (que, por ser un estimador centrado, se puede utilizar para estimar bien la desviación típica, $\sigma$, de la población), y, siendo la desviación típica de la muestra $s$ (que es un dato del problema), sabemos que está relacionada con la cuasidesviación de la misma de la forma $S=\sqrt{\dfrac{n}{n-1}}\,\,s$, luego el valor de la cuasidesviación típica $S$ de la muestra es $S=\sqrt{\dfrac{100}{100-1}}\,\cdot 3 = 3'0151$ (aproximando a cuatro cifras decimales).

Teniendo en cuenta que el test es bilateral, aceptaremos $H_0$ si el valor observado del estadístico en la muestra dada cae en el intervalo de aceptación $C^{*}$ de la variable tipificada del estadístico, $Z$, $C_{Z}^{*}=\left[-z_{\alpha / 2}\,,\,z_{\alpha / 2}\right]$; es decir si $\dfrac{|\overline{x}-\mu_0|}{S/\sqrt{n}} \le z_{\alpha / 2}$, siendo el valor crítico $z_{\alpha/2}$ (que consultamos en las tablas de la función de distribución $F(z)$ de $Z \sim N(0,1)$) igual a $z_{0'05/2}=z_{0'025}=1'96$. Calculando el valor del estadístico en la muestra, vemos que $\bigg(\dfrac{|\overline{x}-\mu_0|}{S/\sqrt{n}}\bigg)_{\text{observada}}=\dfrac{|5'2-5'5|}{3'0151}=0'0995 \lt 1'96$, luego decidimos aceptar $H_0$ con un nivel de significación $\alpha=0'05$.

  b) [ Ampliación ]
Se nos pide, ahora, calcular, el nivel de significación observado (el p-valor) en contraposición al nivel de significación prefijado $\alpha$. El p-valor es el mínimo nivel de significación necesario para rechazar la hipótesis fundamental $H_0$. Recordemos que el error de tipo I representa la probabilidad de rechazar la hipótesis nula, siendo ésta cierta. El nivel de significación $\alpha$ (que no el p-valor) viene dado en el enunciado (o lo decidimos de manera razonable), es decir, viene fijado de antemano: en este caso se nos dice que es igual a $\alpha=0'05$. Démonos cuenta, no obstante, de que este nivel de significación prefijado, $\alpha=0'05$, no deja de conllevar cierta arbitrariedad, pues podríamos haber escogido un valor mayor o menor y, por tanto, la decisión de aceptar la hipótesis podría no haberse dado; por ello, y, por lo menos, para reforzar la decisión tomada, siempre es conveniente calcular, además, lo que denominamos p-valor, que es el nivel de significación observado, esto es, el valor del error de tipo I observado, que es el menor nivel de significación que tendríamos que fijar de antemano para rechazar la hipótesis nula con el valor del estadístico observado en la muestra.

En el caso singular en que el nivel de significación tuviese el máximo valor posible, $\alpha=1$ ( máximo error de tipo I), entonces los puntos críticos vendrían dados por $z_{\alpha / 2}=z_{1/2}=z_{0'5}=0$, luego el intervalo de aceptación de $H_0$ expresado en la variable tipificada $Z$ ( variable del estadístico del contraste ) se reduciría a un único valor, que en términos de la variable tipificada, sería el $0$; en otras palabras, el intervalo de aceptación de la hipótesis nula, $H_0$, correspondería a un único valor, esto es, a $C_{Z}^{*}=\{0\}$ y, por tanto, al no coincidir - con casi total probabilidad - el valor de $Z_{observado}$ con dicho valor en la realización del muestreo, cabría rechazar siempre la hipótesis nula - pero, cuidado, con un nivel de confianza en la decisión de $1-\alpha=1-1=0$, es decir del $0\,\%$ -, salvo en el extraño caso - raro, por altamente improbable - que éste fuese igual a cero, es decir, en el caso de que la media muestral observada, $\overline{x}$, coincidiese exactamente con el valor $\mu_0$. Así, pues, cuanto mayor es el nivel de significación del contraste fijado de antemano, $\alpha$, con mayor facilidad decidiremos rechazar la hipótesis nula, $H_0$, pues el intervalo de aceptación, $C^{*}$, tiende a tener amplitud cero, a contraerse en un punto, sin dar pie a que el valor observado del estadístico en la muestra caiga en él; sin embargo, a mayor nivel de significación corresponde menor nivel confianza en el resultado de la inferencia (menor confianza en la decisión tomada de rechazar $H_0$). En el símil sobre un jurado en cuanto a la decisión que debe tomar de un declarar culpable o inocente a un imputado, siendo la hipótesis nula "el imputado es inocente", ésto aseguraría la decisión de declararle culpable en cualquier caso; algo que da, ciertamente, mucho miedo.

Por el contrario, si el nivel de significación $\alpha$, fuese, también en caso extremo, igual a $\alpha=0$, caeríamos en una posición absolutamente conservadora: fe ciega en la hipótesis nula, $H_0$, anulando de plano el error de tipo I, es decir, conviniendo que es imposible rechazar la hipótesis nula, supuesta ésta cierta, pase lo que pase y, por tanto, por contra, haciendo máximo el error de tipo II; entonces los puntos críticos estarían en $-\infty$ y $+\infty$ (en un contraste bilateral), luego el intervalo de aceptación de la hipótesis nula sería toda la recta real, luego sería imposible rechazar la hipótesis nula a un nivel de confianza de $1-\alpha=1-0=1$, esto es, del $100\%$. En el caso del símil de aplicación a la toma de decisión de un jurado de declarar culpable o inocente a un imputado, esto correspondería a declarar inocente al imputado, al margen de que éste pueda ser o no culpable, lo cual, evidentemente, sería inquietante.

Es evidente, pues, que plantear un contraste de hipótesis en estos términos, tanto en un extremo como en otro, no tendría ningún sentido. Sin embargo, plantear dichos casos singulares y reflexionar sobre ellos nos puede ayudar a entender los conceptos y a poner las ideas en claro; de ahí que se hayan comentado, en este apartado de ampliación, aspectos referentes a: a) el error de tipo I (probabilidad de rechazar la hipótesis nula, siendo ésta cierta), y, por tanto, en relación directa con ésto, se ha tratado del nivel de significación prefijado, $\alpha$, así como del nivel de significación observado o p-valor, y del significado del coeficiente de confianza que cabe depositar en la decisión a tomar; y, b) el error de tipo II (probabilidad de aceptar la hipótesis alternativa siendo ésta falsa) y su relación con el error de tipo-I.

Luego, por lo que acabamos de decir, el nivel de significación prefijado $\alpha$, vendría a ser, pues, una aproximación al error de tipo I, es decir, al p-valor, que es, de hecho, en el que deberíamos fijarnos para decidir aceptar o rechazar la hipótesis nula (respectivamente aceptar la hipótesis alternativa). Veamos cómo: Un p-valor demasiado pequeño, (en particular, inferior a $\alpha$) o simplemente muy pequeño, pongamos inferior a $0'01$, nos llevaría a tener que rechazar la hipótesis nula $H_0$ (que se supone cierta), por no ser suficiente dicha probabilidad para poder acreditarla. Es decir, en realidad, para tomar la decisión de aceptar o rechazar la hipótesis nula, debemos guiarnos por el p-valor, más que por el nivel de significación que, eventualmente, se pueda fijar. En muchos problemas, como por ejemplo, en éste, el nivel de significación - como cota del p-valor - viene dado, por lo que - en principio - podríamos obviar su cálculo. Ésto, sin embargo, no es recomendable, pues el valor de significación fijado de antemano podría no ser, digamos, el acertado.


Así pues, entendemos el p-valor o nivel de significación observado (por contraposición al nivel de riesgo o nivel de significación prefijado $\alpha$) de una prueba de verificación/contraste de la hipótesis por inferencia estadística como el error de tipo I observado, y, por tanto, ha de venir dado por la probabilidad de obtener un valor igual o más extremo que el observado en la muestra, en el supuesto de que la hiótesis nula $H_0$ (que queremos verificar/contrastar frente a la hipótesis alternativa $H_1$) sea cierta/verdadera. Así, para poder rechazar la hipótesis nula $H_0$, en buena lógica deberemos encontrar que $\text{p-valor}\le \alpha$, teniendo que reafirmarla si encontramos que $\text{p-valor}\gt \alpha$.

Calcularemos pues el p-valor utilizando la distribución de probabilidad en el muestreo del estadístico de prueba asumiendo que la hipótesis fundamental es cierta. Al cálcular el p-valor nos podemos encontrar, según el caso, que el contraste se tenga que realizar por la cola superior, por la cola inferior, o bien de manera bilateral.

Llamando genéricamente $\hat{\theta}$ al estimador (estadístico) del test/contraste (y conocida su función de distribución de probabilidad, $F(\hat{\theta})$) —recordemos que en nuestro problema en concreto nuestro estimador sigue una distribución normal tipificada $Z$— y $\hat{\theta}_{\text{prueba}}$ al valor de dicho estadístico en la prueba (calculado) y que por supuesto depende del valor observado en la muestra:
  (i) Unilateral por la izquierda: $$\text{p-valor}=P\{\hat{\theta} \le \hat{\theta}_{\text{prueba}}|H_o\,\text{es cierta}\}=F(\hat{\theta})$$
  (ii) Unilateral por la derecha: $$\text{p-valor}=P\{\hat{\theta} \ge \theta_{\text{prueba}}|H_o\,\text{es cierta}\}=1-P\{\hat{\theta} \le \hat{\theta}_{\text{prueba}}|H_o\,\text{es cierta}\}=F(\hat{\theta}_{\text{prueba}})=1-F(\hat{\theta}_{\text{prueba}})$$
  (iii) Bilateral, y suponiendo simétrica la función de distribución de probabilidad $f(\hat{\theta})$ de $\hat{\theta}$ alrededor del valor de $\theta$ observado en la muestra y una vez realizada la tipificación de la variable a $Z=N(0,1)$: $$\text{p-valor}=P\{|z|\ge z_{\text{prueba}}\} = 2\,(1-F(z_{\text{prueba}}))$$


Procedamos, pues, a calcular el p-valor para este problema, que, repitámoslo, es la probabilidad de que, asumiendo que la hipótesis fundamental $H_0$ sea cierta, se obtenga un valor del estadístico de contraste más extremo (o igual) que el observado en la muestra. Al tratarse de un contraste unilateral por la derecha, tendremos —estamos en el caso (ii)— que $\text{p-valor}=1-F(z_0)$, donde $F(z)$ es una d. $N(0,1)$. Así que, como ya hemos calculado que $z_0=0'0995$, tenemos que $F(0'0995)=0'5396$, luego $\text{p-valor}=2\cdot(1-0'5396)=0'9208 \gt \alpha=0'05$, por consiguiente y como conclusión final validamos la certeza de la hipótesis fundamental y por tanto, según el test, podemos afirmar que la proporción del metal en cuestión que forma parte de la aleación es la correcta a un nivel de significación $\alpha$ de $0'05$.   $\square$

- - -

Referencias:
  [1] Compta, A., et. al., Matemàtiques II, Barcanova, Barcelona, 1993
  [2] Guàrdia, J.; Viader, M., Estadística, Castellnou, Barcelona, 1999
  [3] García Pérez, A., Estadística Básica con R, UNED, Madrid, 2010
  [4] Allepús, J., et. al., Exercicis d'inferència estadística, Cossetània, Valls, 2002
  [5] Gonick, L.; Smith, W, La Estadística en Cómic, Zendrera Zariquiey, Barcelona, 1999

domingo, 26 de enero de 2014

Contraste de hipótesis ( inferencias ) sobre la media de poblaciones no necesariamente normales y tamaños muestrales grandes.

Enunciado:
En el proceso de calibración de una balanza se ha pesado cien veces una pesa de prueba y se ha obtenido una media ( muestral ) de $1001\,\text{g}$ y una cuasidesviación típica de $4\,\text{g}$. A nivel de significación del $1\,\%$, ¿ podemos aceptar que la pesa de prueba sea de $1000\,\text{g}$ ?

Resolución:
Tratándose de muestras grandes y realizaciones independientes ( muestreo ) de la misma varianza, se cumplen las condiciones de validez del Teorema Central del Límite, luego podemos estimar la media poblacional mediante el estimador $\overline{x} \sim N(\mu\,,\,\sigma / \sqrt{n})$. Sin embargo, al desconocer la desviación típica, $\sigma$, de la población, empleamos con buena aproximación el estimador $\overline{x} \approx N(\mu\,,\,S / \sqrt{n})$, donde $S$ representa la cuasidesviación muestral la cual, sí tenemos como dato.

Planteamos el contraste de la hipótesis nula $H_0:\,\mu = \mu_0$, siendo $\mu_0=1000$ frente a la hipótesis alternativa $H_1:\,\mu \neq \mu_0$ ( contraste bilateral ), y por lo dicho arriba, podemos utilizar como estadístico del contraste la variable aleatoria $\overline{x}$ tipificada:
    $\dfrac{\overline{x}-\mu_0}{S/ \sqrt{n}} \approx N(0,1)$
de tal forma que aceptaremos $H_0$ si el valor observado de dicho estadístico $\overline{x}$ cae dentro del intervalo de aceptación de $H_0$, dado por
    $C^{*}=[\;\overline{x}-z_{\alpha / 2} \cdot \dfrac{S}{\sqrt{n}}\,,\,\overline{x}+z_{\alpha / 2} \cdot \dfrac{S}{\sqrt{n}} \;]$
esto es, si el valor del estadístico
    $\dfrac{\overline{x}-\mu_0}{S/ \sqrt{n}} \approx N(0,1)$
pertenece al intervalo
    $[-z_{\alpha /2}\,,\,z_{\alpha / 2}]$
donde el valor de la abscisa $z_{\alpha /2}$ es tal que
    $P\{ |Z| \ge z_{\alpha /2} \}=\alpha / 2$
( siendo $z_{\alpha / 2}$ la abscisa que deja a su derecha el $(\alpha /2)\cdot 100 \,\%$ - respectivamente a su izquierda, el $(1-\alpha /2)\cdot 100 \,\%$ - de la distribución de probabilidad )
luego, utilizando las tablas de $Z \sim N(0,1)$, encontramos que $z_{\alpha /2}=z_{0'01 /2}=z_{0'005} \approx 2'58$

Calculando el valor del estadístico para la muestra observada obtenemos
    $\dfrac{|1001-1000|}{4 / \sqrt{100}}=2'5 \in [-2'58\,,\,2'58]$
luego decidimos aceptar la hipótesis nula - aunque no con mucha fuerza, por encontrarse el valor observado del estimador muy cerca del extremo superior del intervalo -, es decir, aceptamos que "la masa de la pesa de prueba es de mil gramos", a nivel de significación $0'01$.


-oOo-

Observación (p-valor):     Calculemos, a modo de ampliación, el nivel de significación observado, al que llamamos p-valor ( el menor nivel de significación para poder rechazar la hipótesis nula, esto es, el menor valor de la probabilidad de rechazar la hipótesis nula siendo ésta cierta ), luego lo calculamos de la forma
    p-valor $:=P\{|Z|\succ z_{\alpha / 2}\,|\,H_0\}=P_{H_0}\{|Z|\succ 2'5\}=2\,P_{H_0}\{Z \succ 2'5\}$
                $\underset{\text{tablas } Z \sim N(0,1)}{=}0'0124$
valor que es ligeramente mayor que el nivel de significación impuesto de antemano, luego podemos aceptar la hipótesis nula, pero no con mucha fuerza, tal como ya se había comentado al calcular el intervalo de aceptación; ésto lo confirma. En efecto, por el significado del p-valor, es necesario que no sea pequeño ( pongamos que inferior a $0'01$ ) para poder aceptar la hipótesis nula; en nuestro caso, sobrepasa ligeramente esta cantidad.


[nota del autor]

Contraste de hipótesis sobre una proporción. Cálculo del p-valor (ampliación). Error de tipo I y error de tipo II. Potencia del contraste (ampliación).

Enunciado:
Se sabe que, hace un cierto tiempo, el $52\,\%$ de los ciudadanos estaban en contra de una cierta ley. Recientemente, se ha elaborado una encuesta a $400$ ciudadanos ( muestra aleatoria simple ), y se observó que $184$ de los mismos se mostraban contrarios a dicha ley. ¿ Puede afirmarse, con un coeficiente de significación del $0'01$, que la proporción de los ciudadanos ( en la población ) ha disminuido ?

Resolución:
De acuerdo con los datos, parece razonable plantear el contraste contraste de hipótesis unilateral:
    $H_0:\, p \ge p_0$ ( hipótesis nula o hipótesis estándar: se mantiene la misma situación, esto es: "la proporción de resultados en contra de dicha ley se mantiene o incluso aumenta" )
    $H_1:\, p \prec p_0$ ( hipótesis alternativa: "la proporción de resultados en contra de dicha ley disminuye" )
siendo $p_0$ el valor de la proporción de referencia ( en el pasado ), que es un dato del problema y que es igual a $0'52$

La característica en estudio corresponde a una variable aleatoria $X$ con distribución de Bernoulli, $X \sim B(1,p)$, luego el estadístico con el que procede realizar el contraste de hipótesis corresponde a una variable aleatoria
    $\dfrac{\hat{P}-p_0}{\sqrt{\dfrac{p_0\,(1-p_0)}{n}}} \approx N(0,1)$
donde $n$ es el tamaño de la muestra, que es nuestro caso es $n=400$

De acuerdo con el planteamiento del contraste, aceptaremos $H_0$ si el valor del estadístico $\hat{P}$ observado en la muestra es superior a $p_0$, es decir, si podemos encontrar una constante positiva $c$, con un nivel de confianza de $1-\alpha$, es decir, si
    $P\{\hat{P} \ge p_0 + c\}=1-\alpha$
que, tipificando, también podemos expresar de la forma
    $P\{\dfrac{\hat{P}-p_0}{\sqrt{\dfrac{p_0\,(1-p_0)}{n}}} \ge \dfrac{c}{\sqrt{\dfrac{p_0\,(1-p_0)}{n}}} \}=1-\alpha$
esto es
    $P\{Z \ge \dfrac{c}{\sqrt{\dfrac{p_0\,(1-p_0)}{n}}} \}=1-\alpha$
y, denotando por $z_{1-\alpha}$ al valor del miembro derecho de la desigualdad del argumento
    $z_{1-\alpha}:=\dfrac{c}{\sqrt{\dfrac{p_0\,(1-p_0)}{n}}}$
el cual representa la abscisa de la función de densidad $f(z)$ que deja a la derecha el $(1-\alpha)\cdot 100 \,\%$ de la distribución ( respectivamente a la izquierda, el $\alpha \cdot 100\, \%$ de la distribución )
y que obtener a partir de la consulta de la tabla $N(0,1)$ de la función de distribución de probabilidad $F(z)$ procediendo de la manera que sigue
podemos la condición expresada arriba de la forma
    $P\{Z \ge z_{1-\alpha}\}=1-\alpha$
es decir, y para el caso que nos ocupa, para un nivel de significación $\alpha=0'01$:
    $P\{Z \ge z_{1-0'01}\}=1-0'01$
esto es
    $P\{Z \ge z_{0'99}\}=0'99$
que, habida cuenta de que el valor de probabilidad $0'99$, no podemos obtenerlo directamente en las tablas, podemos escribir la probabilidad pedida de la forma
    $1-P\{Z \le z_{0'99}\}=0'99$
luego
    $P\{Z \le z_{0'99}\}=1-0'99=0'01$
y, por simetría de la función de densidad de probabilidad $f(z)$, es igual a
    $P\{Z \ge -z_{0'99}\}=0'01$
valor que sí encontramos directamente en las tablas y que corresponde a la abscisa
    $-z_{0'99}=2'33$ ( operando con dos decimales )
por tanto
    $z_{0'99}=-2'33$
luego el intervalo de valores del estadístico que corresponde a la región de aceptación de la hipótesis nula, $H_0$, es $C^{*}=[-2'33 \,,\, +\infty )$

Observamos que valor del estadístico del contraste en la muestra seleccionada es
        $\dfrac{0'46-0'52}{\sqrt{\dfrac{0'52\,(1-0'52)}{400}}} \approx -2'40 \notin C^{*}$
luego rechazamos $H_0$, y por tanto, aceptamos la hipótesis alternativa $H_1$ ( "la proporción en contra de dicha ley ha disminuido" ) con un coeficiente de significación de $0'01$ ( nivel de confianza del $99\,\%$ ).
$\square$

-oOo-

Observación 1. (Error de tipo I. Interpretando el coeficiente de significación del test. Calculando el p-valor):     Recordemos que el nivel de significación del test representa el error de tipo I, que se define como a probabilidad de rechazar la hipótesis nula, siendo ésta cierta. Así pues, cuánto más confiemos en la validez de la hipótesis nula, menor tendrá que ser el nivel de significación $\alpha$ que le asignemos de antemano, por lo tanto, éste es un punto delicado del contraste, de ahí la importancia de calcular el p-valor, o nivel de significación observado, al objeto de cotejar la decisión que tomemos a partir de la ubicación del valor observado del estadístico del contraste en la región de aceptación de la hipótesis nula o bien en la región crítica ( de rechazo de la hipótesis nula ).

El p-valor es el nivel de significación observado; en otras palabras: el menor coeficiente de significación - esto es, la probabilidad observada de rechazar H_0 siendo ésta cierta - con el que podríamos, por tanto, rechazar la hipótesis nula $H_0$. Si el p-valor que encontremos es pequeño, pongamos, inferior a $0'01$ ( la probabilidad de rechazar la hipótesis nula siendo ésta cierta es pequeña ) querrá decir que, en buena lógica, no podremos justificar la decisión de aceptarla y, en consecuencia, la rechazaremos ( aceptando la hipótesis alternativa ).

Calculemos pues el p-valor:
    p-valor:=Probabilidad_observada("rechazar $H_0$ siendo $H_0$ es cierta")=
      $=P\{Z \prec -2'33 | p_{0} \ge 0'52\}$
      $=P_{H_{0}}\{Z \succ 2'33\}$
      $=0'0099$
valor que es demasiado pequeño ( en particular, inferior al nivel de significación $\alpha=0'01$ fijado de antemano ), para poder aceptar la hipótesis nula $H_0$
luego, de acuerdo a este nivel de significación observado, se confirma la decisión de rechazar $H_0$ y aceptar la hipótesis nula.


Observación 2. ( Error de tipo II):     Además del error de tipo I ( que deberíamos cuidar de evitar, rebajando de antemano el coeficiente de significación del test pues, por ejemplo, en un juicio el no hacerlo supondría violar el principio de presunción de inocencia ), también debemos considerar otro tipo de error: el que proporciona la probabilidad de aceptar la hipótesis nula ( hipótesis estándar ) siendo ésta falsa ( en un juicio, por ejemplo, ésto correspondería a cometer el error de declarar inocente a un culpable). Éste otro error es el llamado error de tipo II ( menos importante que el primero, como es lógico).

Observación 3. ( Valorando la potencia del test):     El complemento a uno del error de tipo II es la probabilidad de rechazar la hipótesis nula siendo ésta falsa, probabilidad que se interpreta como la capacidad o potencia del contraste o test.

A modo de ejemplo, vamos a calcular la potencia del contraste en este ejercicio:

    potencia del test:=P(rechazar $H_0$ | $H_0$ falsa )
        =P( aceptar $H_1$ | $H_1$ cierta )
        =P( $p$ caiga a la izquierda de ($\hat{p}-c$) | $H_1$ cierta )
        $= P \{p\prec \hat{p}-z_{1-\alpha} \cdot \sqrt{\dfrac{p\,(1-p)}{n}} \;| \; p \prec p_0 \}$
pues el intervalo correspondiente a la zona crítica ( que corresponde a rechazar $H_0$ y, por tanto, a aceptar $H_1$ ) es
    $C=(-\infty\,,\, \hat{p}-z_{1-\alpha} \cdot \sqrt{\dfrac{p\,(1-p)}{n}}]$
por lo que seguimos el cálculo escribiendo que la última línea del mismo es igual a
    $P \{ \dfrac{p-\hat{p}}{\sqrt{\dfrac{p\,(1-p)}{n}}} \prec - z_{1-\alpha} \;| \; p \prec p_0 \}$
        $= P \{ \dfrac{\hat{p}-p}{\sqrt{\dfrac{p\,(1-p)}{n}}} \succ z_{1-\alpha} \;| \; p \prec p_0 \}$
luego, tomando un valor ligeramente superior a $-2'33$ ( valor de la abscisa encontrada antes, supuesta $H_0$ cierta ) para la nueva abscsisa $z$ compatible con la condición ( $H_1$ cierta ), como por ejemplo $-2'3$, y prosiguiendo el cálculo, encontramos
        $\approx P_{H_1} \{ \dfrac{\hat{p}-p}{\sqrt{\dfrac{p\,(1-p)}{n}}} \succ -2'3 \}$
es decir
        $= P_{H_1} \{ Z \succ -2'3 \}$
        $= 1-P_{H_1} \{ Z \prec -2'3 \}$
        $= 1-P_{H_1} \{ Z \succ 2'3 \}$
y consultando las tablas de la distribución $N(0,1)$ encontramos
        $= 1-0'0179$
        $\approx 0'98$
pudiendo valorar por tanto dicho test con una potencia del $98\,\%$. $\square$



- - -

Referencias:
  [1] Compta, A., et. al., Matemàtiques II, Barcanova, Barcelona, 1993
  [2] Guàrdia, J.; Viader, M., Estadística, Castellnou, Barcelona, 1999
  [3] García Pérez, A., Estadística Básica con R, UNED, Madrid, 2010
  [4] Allepús, J., et. al., Exercicis d'inferència estadística, Cossetània, Valls, 2002
  [5] Gonick, L.; Smith, W, La Estadística en Cómic, Zendrera Zariquiey, Barcelona, 1999