logo

TechCodeview

Comprensión de las pruebas de hipótesis

La prueba de hipótesis implica formular supuestos sobre parámetros poblacionales basados ​​en estadísticas de muestra y evaluar rigurosamente estos supuestos frente a evidencia empírica. Este artículo arroja luz sobre la importancia de la prueba de hipótesis y los pasos críticos involucrados en el proceso.

¿Qué es la prueba de hipótesis?

La prueba de hipótesis es un método estadístico que se utiliza para tomar una decisión estadística utilizando datos experimentales. La prueba de hipótesis es básicamente una suposición que hacemos sobre un parámetro de población. Evalúa dos afirmaciones mutuamente excluyentes sobre una población para determinar cuál está mejor respaldada por los datos de la muestra.



Ejemplo: Dices que la altura promedio en la clase es 30 o que un niño es más alto que una niña. Todo esto es una suposición que estamos asumiendo y necesitamos alguna forma estadística de demostrarlo. Necesitamos alguna conclusión matemática, sea lo que sea lo que supongamos que es cierto.

Definición de hipótesis

  • Hipótesis nula (H 0 ): En estadística, la hipótesis nula es una afirmación general o posición predeterminada de que no existe relación entre dos casos medidos o ninguna relación entre grupos. En otras palabras, es una suposición básica o hecha en base al conocimiento del problema.
    Ejemplo : La producción media de una empresa es de 50 unidades/día H.0: mu= 50.
  • Hipótesis alternativa (H 1 ): La hipótesis alternativa es la hipótesis utilizada en la prueba de hipótesis que es contraria a la hipótesis nula.
    Ejemplo: la producción de una empresa no es igual a 50 unidades por día, es decir, H1: mu orte 50.

Términos clave de la prueba de hipótesis

  • Nivel de significancia : Se refiere al grado de significancia en el que aceptamos o rechazamos la hipótesis nula. No es posible tener una precisión del 100% para aceptar una hipótesis, por lo que seleccionamos un nivel de significancia que suele ser del 5%. Esto normalmente se denota con alfay generalmente es 0,05 o 5 %, lo que significa que su resultado debe tener un 95 % de confianza para dar un tipo de resultado similar en cada muestra.
  • Valor p: El valor p , o probabilidad calculada, es la probabilidad de encontrar los resultados observados/extremos cuando la hipótesis nula (H0) de un problema dado por el estudio es verdadera. Si su valor P es menor que el nivel de significancia elegido, entonces rechaza la hipótesis nula, es decir, acepta que su muestra afirma respaldar la hipótesis alternativa.
  • Estadística de prueba: La estadística de prueba es un valor numérico calculado a partir de datos de muestra durante una prueba de hipótesis, que se utiliza para determinar si se rechaza la hipótesis nula. Se compara con un valor crítico o valor p para tomar decisiones sobre la significancia estadística de los resultados observados.
  • Valor crítico : El valor crítico en estadística es un umbral o punto de corte que se utiliza para determinar si se rechaza la hipótesis nula en una prueba de hipótesis.
  • Grados de libertad: Los grados de libertad están asociados con la variabilidad o libertad que uno tiene al estimar un parámetro. Los grados de libertad están relacionados con el tamaño de la muestra y determinan la forma.

¿Por qué utilizamos pruebas de hipótesis?

La prueba de hipótesis es un procedimiento importante en estadística. La prueba de hipótesis evalúa dos afirmaciones poblacionales mutuamente excluyentes para determinar cuál está más respaldada por datos de muestra. Cuando decimos que los hallazgos son estadísticamente significativos, gracias a la prueba de hipótesis.

Prueba de una y dos colas

La prueba de una cola se centra en una dirección, ya sea mayor o menor que un valor específico. Utilizamos una prueba de una cola cuando existe una expectativa direccional clara basada en conocimientos o teorías previos. La región crítica se encuentra en un solo lado de la curva de distribución. Si la muestra cae en esta región crítica, la hipótesis nula se rechaza a favor de la hipótesis alternativa.



Prueba de una cola

Hay dos tipos de pruebas de una cola:

  • Prueba de cola izquierda (lado izquierdo): La hipótesis alternativa afirma que el valor verdadero del parámetro es menor que la hipótesis nula. Ejemplo: h0​: mu geq 50y h1:
  • y h1: mu>50

Prueba de dos colas

Una prueba de dos colas considera ambas direcciones, mayor y menor que un valor específico. Usamos una prueba de dos colas cuando no existe una expectativa direccional específica y queremos detectar cualquier diferencia significativa.

Ejemplo: h0: en =50 y H1: mu eq 50



¿Qué son los errores tipo 1 y tipo 2 en las pruebas de hipótesis?

En la prueba de hipótesis, Errores tipo I y tipo II Hay dos posibles errores que los investigadores pueden cometer al sacar conclusiones sobre una población basándose en una muestra de datos. Estos errores están asociados con las decisiones tomadas respecto de la hipótesis nula y la hipótesis alternativa.

  • Error tipo I: Cuando rechazamos la hipótesis nula, aunque esa hipótesis fuera cierta. El error de tipo I se indica con alfa ( alfa).
  • Errores tipo II: Cuando aceptamos la hipótesis nula, pero es falsa. Los errores de tipo II se denotan por beta( eta).


La hipótesis nula es verdadera

La hipótesis nula es falsa

La hipótesis nula es verdadera (aceptar)

Decisión correcta

Error tipo II (falso negativo)

La hipótesis alternativa es verdadera (rechazada)

Error tipo I (falso positivo)

cadena a int en java

Decisión correcta

¿Cómo funciona la prueba de hipótesis?

Paso 1: definir la hipótesis nula y alternativa

Plantee la hipótesis nula ( H_0), que no representa ningún efecto, y la hipótesis alternativa ( H_1​), sugiriendo un efecto o diferencia.

Primero identificamos el problema sobre el cual queremos hacer una suposición teniendo en cuenta que nuestras suposiciones deben ser contradictorias entre sí, suponiendo Datos normalmente distribuidos.

Paso 2: elija el nivel de significancia

Seleccione un nivel de significancia ( alfa), normalmente 0,05, para determinar el umbral para rechazar la hipótesis nula. Proporciona validez a nuestra prueba de hipótesis, asegurando que tengamos datos suficientes para respaldar nuestras afirmaciones. Por lo general, determinamos nuestro nivel de significancia antes de la prueba. El valor p es el criterio utilizado para calcular nuestro valor de significancia.

Paso 3 – Recopilar y analizar datos.

Reúna datos relevantes a través de la observación o la experimentación. Analizar los datos utilizando métodos estadísticos apropiados para obtener una estadística de prueba.

Paso 4: Calcular la estadística de prueba

Los datos de las pruebas se evalúan. En este paso buscamos varios puntajes según las características de los datos. La elección del estadístico de prueba depende del tipo de prueba de hipótesis que se realice.

Hay varias pruebas de hipótesis, cada una apropiada para varios objetivos para calcular nuestra prueba. Esto podría ser un prueba Z , chi-cuadrado , prueba T , etcétera.

  1. prueba Z : Si se conocen las medias poblacionales y las desviaciones estándar. Comúnmente se utiliza la estadística Z.
  2. prueba t : Si se desconocen las desviaciones estándar de la población. y el tamaño de la muestra es pequeño, por lo que la estadística de la prueba t es más apropiada.
  3. prueba de chi-cuadrado : La prueba de chi-cuadrado se utiliza para datos categóricos o para probar la independencia en tablas de contingencia.
  4. prueba F : La prueba F se utiliza a menudo en el análisis de varianza (ANOVA) para comparar varianzas o probar la igualdad de medias entre múltiples grupos.

Tenemos un conjunto de datos más pequeño, por lo que la prueba T es más apropiada para probar nuestra hipótesis.

El estadístico T es una medida de la diferencia entre las medias de dos grupos en relación con la variabilidad dentro de cada grupo. Se calcula como la diferencia entre las medias muestrales dividida por el error estándar de la diferencia. También se conoce como valor t o puntuación t.

Paso 5: Comparación de estadísticas de prueba:

En esta etapa, decidimos dónde debemos aceptar la hipótesis nula o rechazarla. Hay dos formas de decidir dónde debemos aceptar o rechazar la hipótesis nula.

Método A: uso de valores críticos

Comparando la estadística de prueba y el valor crítico tabulado tenemos,

  • Si Estadístico de Prueba>Valor Crítico: Rechazar la hipótesis nula.
  • Si estadística de prueba ≤ valor crítico: no se rechaza la hipótesis nula.

Nota: Los valores críticos son valores umbral predeterminados que se utilizan para tomar una decisión en la prueba de hipótesis. Para determinar valores criticos Para las pruebas de hipótesis, normalmente nos referimos a una tabla de distribución estadística, como la distribución normal o las tablas de distribución t basadas en.

Método B: uso de valores P

También podemos llegar a una conclusión usando el valor p,

  • Si el valor p es menor o igual al nivel de significancia, es decir ( pleqalfa), rechazas la hipótesis nula. Esto indica que es poco probable que los resultados observados hayan ocurrido únicamente por casualidad, lo que proporciona evidencia a favor de la hipótesis alternativa.
  • Si el valor p es mayor que el nivel de significancia, es decir ( pgeq alfa), no se puede rechazar la hipótesis nula. Esto sugiere que los resultados observados son consistentes con lo que se esperaría bajo la hipótesis nula.

Nota : El valor p es la probabilidad de obtener un estadístico de prueba tan extremo o más extremo que el observado en la muestra, asumiendo que la hipótesis nula es verdadera. Para determinar valor p Para las pruebas de hipótesis, normalmente nos referimos a una tabla de distribución estadística, como la distribución normal o las tablas de distribución t basadas en.

Paso 7- Interpretar los resultados

Por fin, podemos concluir nuestro experimento usando el método A o B.

Calcular la estadística de prueba

Para validar nuestra hipótesis sobre un parámetro poblacional utilizamos funciones estadísticas . Usamos el puntaje z, el valor p y el nivel de significancia (alfa) para generar evidencia de nuestra hipótesis de datos distribuidos normalmente .

1. Estadística Z:

Cuando se conocen las medias poblacionales y las desviaciones estándar.

z = frac{ar{x} - mu}{frac{sigma}{sqrt{n}}}

dónde,

  • ar{x}es la media muestral,
  • μ representa la media poblacional,
  • σ es la desviación estándar
  • y n es el tamaño de la muestra.

2. Estadística T

La prueba T se utiliza cuando n<30,

El cálculo del estadístico t viene dado por:

t=frac{x̄-Μ}{s/sqrt{n}}

dónde,

  • t = puntuación t,
  • x̄ = media muestral
  • μ = media poblacional,
  • s = desviación estándar de la muestra,
  • n = tamaño de la muestra

3. Prueba de chi-cuadrado

Prueba de chi-cuadrado para datos categóricos de independencia (distribución no normal) utilizando:

chi^2 = sum frac{(O_{ij} - E_{ij})^2}{E_{ij}}

dónde,

configuración del navegador de internet
  • O_ {ij}es la frecuencia observada en la celda {ij}
  • i,j son el índice de filas y columnas respectivamente.
  • E_ {ij}es la frecuencia esperada en la celda {ij}, calculado como:
    frac{{ ext{{Total de fila}} imes ext{{Total de columna}}}}{{ ext{{Total de observaciones}}}}

Ejemplo de prueba de hipótesis de la vida real

Examinemos las pruebas de hipótesis utilizando dos situaciones de la vida real.

Caso A: D ¿Un nuevo fármaco afecta la presión arterial?

Imagine que una empresa farmacéutica ha desarrollado un nuevo fármaco que cree que puede reducir eficazmente la presión arterial en pacientes con hipertensión. Antes de lanzar el fármaco al mercado, es necesario realizar un estudio para evaluar su impacto sobre la presión arterial.

Datos:

  • Antes del tratamiento: 120, 122, 118, 130, 125, 128, 115, 121, 123, 119
  • Después del tratamiento: 115, 120, 112, 128, 122, 125, 110, 117, 119, 114

Paso 1 : Definir la hipótesis

  • Hipótesis nula : (H0)El nuevo fármaco no tiene ningún efecto sobre la presión arterial.
  • Hipótesis alternativa : (H1)El nuevo fármaco tiene un efecto sobre la presión arterial.

Paso 2: Definir el nivel de significancia

Consideremos el nivel de significancia en 0,05, lo que indica el rechazo de la hipótesis nula.

Si la evidencia sugiere menos del 5% de probabilidad de observar los resultados debido a la variación aleatoria.

Paso 3 : Calcule la estadística de prueba

Usando prueba T pareada analizar los datos para obtener un estadístico de prueba y un valor p.

La estadística de prueba (p. ej., estadística T) se calcula en función de las diferencias entre las mediciones de presión arterial antes y después del tratamiento.

t = metro/(s/√n)

Dónde:

  • metro = media de la diferencia, es decir X después, X antes
  • s = desviación estándar de la diferencia (d), es decir d i ​= X después, i ​− X antes,
  • norte = tamaño de la muestra,

entonces, m= -3,9, s= 1,8 y n= 10

Calculamos el estadístico T = -9 según la fórmula para la prueba t pareada.

Paso 4: Encuentra el valor p

El estadístico t calculado es -9 y los grados de libertad df = 9, puede encontrar el valor p utilizando un software estadístico o una tabla de distribución t.

por lo tanto, valor p = 8.538051223166285e-06

Paso 5: Resultado

  • Si el valor p es menor o igual a 0,05, los investigadores rechazan la hipótesis nula.
  • Si el valor p es mayor que 0,05, no rechazan la hipótesis nula.

Conclusión: Dado que el valor p (8,538051223166285e-06) es menor que el nivel de significancia (0,05), los investigadores rechazan la hipótesis nula. Existe evidencia estadísticamente significativa de que la presión arterial promedio antes y después del tratamiento con el nuevo medicamento es diferente.

Implementación de Python de pruebas de hipótesis

Creemos una prueba de hipótesis con Python, donde probamos si un nuevo medicamento afecta la presión arterial. Para este ejemplo, utilizaremos una prueba T pareada. Usaremos el scipy.stats> biblioteca para la prueba T.

Implementaremos nuestro primer problema de la vida real a través de Python,

Python3

import> numpy as np> from> scipy>import> stats> # Data> before_treatment>=> np.array([>120>,>122>,>118>,>130>,>125>,>128>,>115>,>121>,>123>,>119>])> after_treatment>=> np.array([>115>,>120>,>112>,>128>,>122>,>125>,>110>,>117>,>119>,>114>])> # Step 1: Null and Alternate Hypotheses> # Null Hypothesis: The new drug has no effect on blood pressure.> # Alternate Hypothesis: The new drug has an effect on blood pressure.> null_hypothesis>=> 'The new drug has no effect on blood pressure.'> alternate_hypothesis>=> 'The new drug has an effect on blood pressure.'> # Step 2: Significance Level> alpha>=> 0.05> # Step 3: Paired T-test> t_statistic, p_value>=> stats.ttest_rel(after_treatment, before_treatment)> # Step 4: Calculate T-statistic manually> m>=> np.mean(after_treatment>-> before_treatment)> s>=> np.std(after_treatment>-> before_treatment, ddof>=>1>)># using ddof=1 for sample standard deviation> n>=> len>(before_treatment)> t_statistic_manual>=> m>/> (s>/> np.sqrt(n))> # Step 5: Decision> if> p_value <>=> alpha:> >decision>=> 'Reject'> else>:> >decision>=> 'Fail to reject'> # Conclusion> if> decision>=>=> 'Reject'>:> >conclusion>=> 'There is statistically significant evidence that the average blood pressure before and after treatment with the new drug is different.'> else>:> >conclusion>=> 'There is insufficient evidence to claim a significant difference in average blood pressure before and after treatment with the new drug.'> # Display results> print>(>'T-statistic (from scipy):'>, t_statistic)> print>(>'P-value (from scipy):'>, p_value)> print>(>'T-statistic (calculated manually):'>, t_statistic_manual)> print>(f>'Decision: {decision} the null hypothesis at alpha={alpha}.'>)> print>(>'Conclusion:'>, conclusion)> 
>
>

Producción: 

T-statistic (from scipy): -9.0 P-value (from scipy): 8.538051223166285e-06 T-statistic (calculated manually): -9.0 Decision: Reject the null hypothesis at alpha=0.05. Conclusion: There is statistically significant evidence that the average blood pressure before and after treatment with the new drug is different.>

En el ejemplo anterior, dado el estadístico T de aproximadamente -9 y un valor p extremadamente pequeño, los resultados indican un caso sólido para rechazar la hipótesis nula con un nivel de significancia de 0,05.

  • Los resultados sugieren que el nuevo fármaco, tratamiento o intervención tiene un efecto significativo en la reducción de la presión arterial.
  • La estadística T negativa indica que la presión arterial media después del tratamiento es significativamente menor que la media poblacional supuesta antes del tratamiento.

Caso B : Nivel de colesterol en una población.

Datos: Se toma una muestra de 25 individuos y se miden sus niveles de colesterol.

Niveles de colesterol (mg/dL): 205, 198, 210, 190, 215, 205, 200, 192, 198, 205, 198, 202, 208, 200, 205, 198, 205, 210, 192, 205, 198, 205, 210, 192, 205.

Media de poblaciones = 200

Desviación estándar de la población (σ): 5 mg/dL (dada para este problema)

Paso 1: Definir la hipótesis

  • Hipótesis nula (H 0 ): El nivel promedio de colesterol en una población es de 200 mg/dL.
  • Hipótesis alternativa (H 1 ): El nivel promedio de colesterol en una población es diferente de 200 mg/dL.

Paso 2: Definir el nivel de significancia

Como no se da la dirección de la desviación, asumimos una prueba de dos colas y, con base en una tabla de distribución normal, los valores críticos para un nivel de significancia de 0,05 (dos colas) se pueden calcular mediante la tabla z y son aproximadamente -1,96 y 1,96.

Paso 3 : Calcule la estadística de prueba

El estadístico de prueba se calcula utilizando la fórmula z. CON = (203,8 - 200) / (5 div sqrt{25})y obtenemos en consecuencia, CON =2.039999999999992.

Paso 4: Resultado

Dado que el valor absoluto del estadístico de prueba (2.04) es mayor que el valor crítico (1.96), rechazamos la hipótesis nula. Y concluir que existe evidencia estadísticamente significativa de que el nivel promedio de colesterol en la población es diferente a 200 mg/dL.

Implementación de Python de pruebas de hipótesis

Python3

import> scipy.stats as stats> import> math> import> numpy as np> # Given data> sample_data>=> np.array(> >[>205>,>198>,>210>,>190>,>215>,>205>,>200>,>192>,>198>,>205>,>198>,>202>,>208>,>200>,>205>,>198>,>205>,>210>,>192>,>205>,>198>,>205>,>210>,>192>,>205>])> population_std_dev>=> 5> population_mean>=> 200> sample_size>=> len>(sample_data)> # Step 1: Define the Hypotheses> # Null Hypothesis (H0): The average cholesterol level in a population is 200 mg/dL.> # Alternate Hypothesis (H1): The average cholesterol level in a population is different from 200 mg/dL.> # Step 2: Define the Significance Level> alpha>=> 0.05> # Two-tailed test> # Critical values for a significance level of 0.05 (two-tailed)> critical_value_left>=> stats.norm.ppf(alpha>/>2>)> critical_value_right>=> ->critical_value_left> # Step 3: Compute the test statistic> sample_mean>=> sample_data.mean()> z_score>=> (sample_mean>-> population_mean)>/> > >(population_std_dev>/> math.sqrt(sample_size))> # Step 4: Result> # Check if the absolute value of the test statistic is greater than the critical values> if> abs>(z_score)>>max>(>abs>(critical_value_left),>abs>(critical_value_right)):> >print>(>'Reject the null hypothesis.'>)> >print>(>'There is statistically significant evidence that the average cholesterol level in the population is different from 200 mg/dL.'>)> else>:> >print>(>'Fail to reject the null hypothesis.'>)> >print>(>'There is not enough evidence to conclude that the average cholesterol level in the population is different from 200 mg/dL.'>)> 
>
>

Producción: 

Reject the null hypothesis. There is statistically significant evidence that the average cholesterol level in the population is different from 200 mg/dL.>

Limitaciones de la prueba de hipótesis

  • Aunque es una técnica útil, la prueba de hipótesis no ofrece una comprensión integral del tema que se está estudiando. Sin reflejar plenamente la complejidad o el contexto completo de los fenómenos, se concentra en ciertas hipótesis y significancia estadística.
  • La precisión de los resultados de las pruebas de hipótesis depende de la calidad de los datos disponibles y de la idoneidad de los métodos estadísticos utilizados. Los datos inexactos o las hipótesis mal formuladas pueden llevar a conclusiones incorrectas.
  • Depender únicamente de la prueba de hipótesis puede hacer que los analistas pasen por alto patrones o relaciones importantes en los datos que no son capturados por las hipótesis específicas que se están probando. Esta limitación subraya la importancia de complementar la prueba de hipótesis con otros enfoques analíticos.

Conclusión

Las pruebas de hipótesis son una piedra angular del análisis estadístico, ya que permiten a los científicos de datos sortear incertidumbres y extraer inferencias creíbles a partir de datos de muestra. Al definir sistemáticamente hipótesis nulas y alternativas, elegir niveles de significancia y aprovechar pruebas estadísticas, los investigadores pueden evaluar la validez de sus supuestos. El artículo también aclara la distinción crítica entre errores de Tipo I y Tipo II, proporcionando una comprensión integral del proceso de toma de decisiones matizado inherente a la prueba de hipótesis. El ejemplo de la vida real de probar el efecto de un nuevo fármaco sobre la presión arterial mediante una prueba T pareada muestra la aplicación práctica de estos principios y subraya la importancia del rigor estadístico en la toma de decisiones basada en datos.

Preguntas frecuentes (FAQ)

1. ¿Cuáles son los 3 tipos de prueba de hipótesis?

Hay tres tipos de pruebas de hipótesis: de cola derecha, de cola izquierda y de dos colas. Las pruebas de cola derecha evalúan si un parámetro es mayor y las de cola izquierda si es menor. Las pruebas de dos colas comprueban diferencias no direccionales, mayores o menores.

2. ¿Cuáles son los 4 componentes de la prueba de hipótesis?

Hipótesis nula ( Ho): No existe ningún efecto o diferencia.

Hipótesis alternativa ( H_1): Existe un efecto o diferencia.

Nivel significativo ( alfa): Riesgo de rechazar la hipótesis nula cuando es verdadera (error tipo I).

Estadístico de prueba: Valor numérico que representa la evidencia observada contra la hipótesis nula.

3. ¿Qué son las pruebas de hipótesis en ML?

Método estadístico para evaluar el rendimiento y validez de modelos de aprendizaje automático. Prueba hipótesis específicas sobre el comportamiento del modelo, como si las características influyen en las predicciones o si un modelo se generaliza bien a datos no vistos.

4. ¿Cuál es la diferencia entre Pytest y la hipótesis en Python?

Pytest tiene como objetivo un marco de prueba general para el código Python, mientras que Hypothesis es un marco de prueba basado en propiedades para Python, que se centra en generar casos de prueba basados ​​en propiedades específicas del código.