El aprendizaje automático es una rama de la Inteligencia Artificial que permite a las máquinas realizar análisis de datos y hacer predicciones. Sin embargo, si el modelo de aprendizaje automático no es preciso, puede cometer errores de predicción, y estos errores de predicción generalmente se conocen como sesgo y varianza. En el aprendizaje automático, estos errores siempre estarán presentes ya que siempre hay una ligera diferencia entre las predicciones del modelo y las predicciones reales. El objetivo principal de los analistas de ciencia de datos/ML es reducir estos errores para obtener resultados más precisos. En este tema, analizaremos el sesgo y la varianza, la compensación entre sesgo y varianza, el desajuste y el sobreajuste. Pero antes de comenzar, primero comprendamos qué son los errores en el aprendizaje automático.
¿Errores en el aprendizaje automático?
En el aprendizaje automático, un error es una medida de la precisión con la que un algoritmo puede hacer predicciones para un conjunto de datos previamente desconocido. Sobre la base de estos errores, se selecciona el modelo de aprendizaje automático que pueda funcionar mejor en un conjunto de datos en particular. Existen principalmente dos tipos de errores en el aprendizaje automático, que son:
independientemente del algoritmo que se haya utilizado. La causa de estos errores son variables desconocidas cuyo valor no se puede reducir.
¿Qué es el sesgo?
En general, un modelo de aprendizaje automático analiza los datos, encuentra patrones en ellos y hace predicciones. Durante el entrenamiento, el modelo aprende estos patrones en el conjunto de datos y los aplica para probar datos para realizar predicciones. Al realizar predicciones, se produce una diferencia entre los valores de predicción realizados por el modelo y los valores reales/valores esperados. , y esta diferencia se conoce como errores de sesgo o Errores por sesgo . Se puede definir como la incapacidad de los algoritmos de aprendizaje automático, como la regresión lineal, para capturar la verdadera relación entre los puntos de datos. Cada algoritmo comienza con cierta cantidad de sesgo porque el sesgo se produce a partir de suposiciones en el modelo, lo que hace que la función objetivo sea fácil de aprender. Un modelo tiene:
Python imprime con 2 decimales
Generalmente, un algoritmo lineal tiene un alto sesgo, ya que les hace aprender rápido. Cuanto más simple sea el algoritmo, mayor será el sesgo que probablemente se introduzca. Mientras que un algoritmo no lineal suele tener un sesgo bajo.
Algunos ejemplos de algoritmos de aprendizaje automático con bajo sesgo son árboles de decisión, k-vecinos más cercanos y máquinas de vectores de soporte . Al mismo tiempo, un algoritmo con alto sesgo es Regresión Lineal, Análisis Discriminante Lineal y Regresión Logística.
Formas de reducir el alto sesgo:
El alto sesgo se produce principalmente debido a un modelo mucho más simple. A continuación se muestran algunas formas de reducir el alto sesgo:
- Aumente las características de entrada a medida que el modelo no esté adaptado.
- Disminuir el plazo de regularización.
- Utilice modelos más complejos, como incluir algunas características polinómicas.
¿Qué es un error de variación?
La varianza especificaría la cantidad de variación en la predicción si se utilizaran diferentes datos de entrenamiento. En palabras simples, La varianza indica en qué medida una variable aleatoria es diferente de su valor esperado. Idealmente, un modelo no debería variar demasiado de un conjunto de datos de entrenamiento a otro, lo que significa que el algoritmo debería ser bueno para comprender el mapeo oculto entre las variables de entrada y salida. Los errores de varianza son cualquiera de varianza baja o varianza alta.
Baja varianza significa que hay una pequeña variación en la predicción de la función objetivo con cambios en el conjunto de datos de entrenamiento. Al mismo tiempo, Alta varianza muestra una gran variación en la predicción de la función objetivo con cambios en el conjunto de datos de entrenamiento.
Un modelo que muestra una alta variación aprende mucho y funciona bien con el conjunto de datos de entrenamiento, y no se generaliza bien con el conjunto de datos invisible. Como resultado, dicho modelo da buenos resultados con el conjunto de datos de entrenamiento pero muestra altas tasas de error en el conjunto de datos de prueba.
organización y arquitectura de la computadora
Dado que, con una varianza alta, el modelo aprende demasiado del conjunto de datos, se produce un sobreajuste del modelo. Un modelo con alta variación tiene los siguientes problemas:
- Un modelo de alta varianza conduce a un sobreajuste.
- Incrementar las complejidades del modelo.
Por lo general, los algoritmos no lineales tienen mucha flexibilidad para adaptarse al modelo y tienen una gran varianza.
Algunos ejemplos de algoritmos de aprendizaje automático con baja varianza son, Regresión lineal, regresión logística y análisis discriminante lineal . Al mismo tiempo, los algoritmos con alta varianza son árbol de decisión, máquina de vectores de soporte y K-vecinos más cercanos.
Formas de reducir la alta variación:
- Reduzca las características de entrada o la cantidad de parámetros a medida que un modelo está sobreajustado.
- No utilice un modelo muy complejo.
- Aumentar los datos de entrenamiento.
- Incrementar el plazo de Regularización.
Diferentes combinaciones de sesgo-varianza
Hay cuatro combinaciones posibles de sesgo y variaciones, que se representan en el siguiente diagrama:
cobertura del estado de cuenta
La combinación de bajo sesgo y baja varianza muestra un modelo ideal de aprendizaje automático. Sin embargo, esto no es posible en la práctica.
Con un alto sesgo y una alta varianza, las predicciones son inconsistentes y también inexactas en promedio.
¿Cómo identificar una alta varianza o un alto sesgo?
Se puede identificar una alta varianza si el modelo tiene:
- Error de entrenamiento bajo y error de prueba alto.
Se puede identificar un alto sesgo si el modelo tiene:
- El alto error de entrenamiento y el error de prueba son casi similares al error de entrenamiento.
Compensación entre sesgo y varianza
Al construir el modelo de aprendizaje automático, es muy importante tener en cuenta el sesgo y la variación para evitar el sobreajuste y el desajuste del modelo. Si el modelo es muy simple con menos parámetros, puede tener una varianza baja y un sesgo alto. Mientras que, si el modelo tiene una gran cantidad de parámetros, tendrá una alta varianza y un sesgo bajo. Por lo tanto, es necesario hacer un equilibrio entre los errores de sesgo y de varianza, y este equilibrio entre el error de sesgo y el error de varianza se conoce como la compensación sesgo-varianza.
Para una predicción precisa del modelo, los algoritmos necesitan una varianza y un sesgo bajos. Pero esto no es posible porque el sesgo y la varianza están relacionados entre sí:
- Si disminuimos la varianza, aumentará el sesgo.
- Si disminuimos el sesgo, aumentará la varianza.
La compensación entre sesgo y varianza es una cuestión central en el aprendizaje supervisado. Idealmente, necesitamos un modelo que capture con precisión las regularidades en los datos de entrenamiento y que al mismo tiempo se generalice bien con el conjunto de datos invisible. Desafortunadamente, hacer esto no es posible simultáneamente. Porque un algoritmo de alta varianza puede funcionar bien con datos de entrenamiento, pero puede provocar un sobreajuste de datos ruidosos. Mientras que el algoritmo de alto sesgo genera un modelo mucho más simple que puede que ni siquiera capture regularidades importantes en los datos. Por lo tanto, necesitamos encontrar un punto óptimo entre el sesgo y la varianza para crear un modelo óptimo.
Por lo tanto, la El equilibrio entre sesgo y varianza consiste en encontrar el punto óptimo para lograr un equilibrio entre los errores de sesgo y varianza.