Los hiperparámetros en el aprendizaje automático son aquellos parámetros que el usuario define explícitamente para controlar el proceso de aprendizaje. Estos hiperparámetros se utilizan para mejorar el aprendizaje del modelo y sus valores se establecen antes de iniciar el proceso de aprendizaje del modelo.

En este tema, vamos a discutir uno de los conceptos más importantes del aprendizaje automático, es decir, los hiperparámetros, sus ejemplos, ajuste de hiperparámetros, categorías de hiperparámetros, ¿en qué se diferencia el hiperparámetro del parámetro en el aprendizaje automático? Pero antes de comenzar, primero comprendamos el hiperparámetro.

¿Qué son los hiperparámetros?

En Machine Learning/Deep Learning, un modelo está representado por sus parámetros. Por el contrario, un proceso de entrenamiento implica seleccionar los hiperparámetros mejores/óptimos que utilizan los algoritmos de aprendizaje para proporcionar el mejor resultado. Entonces, ¿cuáles son estos hiperparámetros? La respuesta es, ' Los hiperparámetros se definen como los parámetros que define explícitamente el usuario para controlar el proceso de aprendizaje.

Aquí el prefijo 'hyper' sugiere que los parámetros son parámetros de nivel superior que se utilizan para controlar el proceso de aprendizaje. El valor del hiperparámetro lo selecciona y establece el ingeniero de aprendizaje automático antes de que el algoritmo de aprendizaje comience a entrenar el modelo. Por lo tanto, estos son externos al modelo y sus valores no se pueden cambiar durante el proceso de capacitación. .

número java a cadena

Algunos ejemplos de hiperparámetros en aprendizaje automático

• El algoritmo k en kNN o K-vecino más cercano
• Tasa de aprendizaje para entrenar una red neuronal
• Relación de división de prueba de tren
• Tamaño del lote
• Número de épocas
• Ramas en el árbol de decisión
• Número de clusters en el algoritmo de clustering

¿Diferencia entre parámetro e hiperparámetro?

Siempre existe una gran confusión entre parámetros e hiperparámetros o hiperparámetros del modelo. Entonces, para aclarar esta confusión, comprendamos la diferencia entre ambos y cómo se relacionan entre sí.

Parámetros del modelo:

Los parámetros del modelo son variables de configuración internas del modelo y el modelo las aprende por sí solo. Por ejemplo , W Pesos o Coeficientes de variables independientes en el modelo de regresión lineal . o Pesos o Coeficientes de variables independientes en SVM, peso y sesgos de una red neuronal, centroide de cluster en clustering. Algunos puntos clave para los parámetros del modelo son los siguientes:

• Son utilizados por el modelo para hacer predicciones.
• El modelo los aprende a partir de los propios datos.
• Por lo general, estos no se configuran manualmente.
• Estas son la parte del modelo y la clave para un algoritmo de aprendizaje automático.

Hiperparámetros del modelo:

Los hiperparámetros son aquellos parámetros que el usuario define explícitamente para controlar el proceso de aprendizaje. Algunos puntos clave para los parámetros del modelo son los siguientes:

• Por lo general, el ingeniero de aprendizaje automático los define manualmente.
• No se puede saber cuál es el mejor valor exacto de los hiperparámetros para el problema dado. El mejor valor puede determinarse mediante la regla general o mediante prueba y error.
• Algunos ejemplos de hiperparámetros son la tasa de aprendizaje para entrenar una red neuronal, K en el algoritmo KNN,

Categorías de hiperparámetros

En términos generales, los hiperparámetros se pueden dividir en dos categorías, que se detallan a continuación:

Hiperparámetro para optimización Hiperparámetro para modelos específicos

Hiperparámetro para optimización

El proceso de seleccionar los mejores hiperparámetros para usar se conoce como ajuste de hiperparámetros, y el proceso de ajuste también se conoce como optimización de hiperparámetros. Los parámetros de optimización se utilizan para optimizar el modelo.

Algunos de los parámetros de optimización populares se detallan a continuación:

Tasa de aprendizaje:La tasa de aprendizaje es el hiperparámetro en los algoritmos de optimización que controla cuánto necesita cambiar el modelo en respuesta al error estimado cada vez que se actualizan los pesos del modelo. Es uno de los parámetros cruciales al construir una red neuronal y también determina la frecuencia de verificación cruzada con los parámetros del modelo. Seleccionar la tasa de aprendizaje optimizada es una tarea desafiante porque si la tasa de aprendizaje es muy menor, puede ralentizar el proceso de capacitación. Por otro lado, si la tasa de aprendizaje es demasiado grande, es posible que el modelo no se optimice adecuadamente.

Nota: La tasa de aprendizaje es un hiperparámetro crucial para optimizar el modelo, por lo que si es necesario ajustar solo un hiperparámetro, se sugiere ajustar la tasa de aprendizaje.

Tamaño del lote:Para mejorar la velocidad del proceso de aprendizaje, el conjunto de entrenamiento se divide en diferentes subconjuntos, que se conocen como lote. Número de épocas: Una época se puede definir como el ciclo completo de entrenamiento del modelo de aprendizaje automático. Epoch representa un proceso de aprendizaje iterativo. El número de épocas varía de un modelo a otro y se crean varios modelos con más de una época. Para determinar el número correcto de épocas, se tiene en cuenta un error de validación. El número de épocas aumenta hasta que se reduce un error de validación. Si no hay mejora en el error de reducción para las épocas consecutivas, entonces indica que se debe dejar de aumentar el número de épocas.

Hiperparámetro para modelos específicos

Los hiperparámetros que intervienen en la estructura del modelo se conocen como hiperparámetros de modelos específicos. Estos se detallan a continuación:

Varias unidades ocultas:Las unidades ocultas son parte de las redes neuronales, que se refieren a los componentes que comprenden las capas de procesadores entre las unidades de entrada y salida en una red neuronal.

Es importante especificar el número de hiperparámetros de unidades ocultas para la red neuronal. Debe estar entre el tamaño de la capa de entrada y el tamaño de la capa de salida. Más específicamente, el número de unidades ocultas debe ser 2/3 del tamaño de la capa de entrada, más el tamaño de la capa de salida.

Para funciones complejas, es necesario especificar el número de unidades ocultas, pero no debe ajustarse demasiado al modelo.

Número de capas:Una red neuronal se compone de componentes dispuestos verticalmente, que se denominan capas. Hay principalmente capas de entrada, capas ocultas y capas de salida . Una red neuronal de 3 capas ofrece un mejor rendimiento que una red de 2 capas. Para una red neuronal convolucional, una mayor cantidad de capas crea un mejor modelo.

Conclusión

Los hiperparámetros son los parámetros que se definen explícitamente para controlar el proceso de aprendizaje antes de aplicar un algoritmo de aprendizaje automático a un conjunto de datos. Se utilizan para especificar la capacidad de aprendizaje y la complejidad del modelo. Algunos de los hiperparámetros se utilizan para la optimización de los modelos, como el tamaño del lote, la tasa de aprendizaje, etc., y algunos son específicos de los modelos, como el número de capas ocultas, etc.