Aprendizaje automático es una rama de la inteligencia artificial que se centra en el desarrollo de algoritmos y modelos estadísticos que pueden aprender de los datos y hacer predicciones sobre ellos. Regresión lineal También es un tipo de algoritmo de aprendizaje automático, más específicamente un algoritmo de aprendizaje automático supervisado que aprende de los conjuntos de datos etiquetados y asigna los puntos de datos a las funciones lineales más optimizadas. que se puede utilizar para la predicción de nuevos conjuntos de datos.

En primer lugar, debemos saber qué son los algoritmos de aprendizaje automático supervisados. Es un tipo de aprendizaje automático en el que el algoritmo aprende de datos etiquetados. Datos etiquetados significa el conjunto de datos cuyo valor objetivo respectivo ya se conoce. El aprendizaje supervisado tiene dos tipos:

• Clasificación : Predice la clase del conjunto de datos en función de la variable de entrada independiente. La clase son los valores categóricos o discretos. ¿Como que la imagen de un animal es un gato o un perro?
• Regresión : Predice las variables de salida continuas en función de la variable de entrada independiente. como la predicción de los precios de la vivienda en función de diferentes parámetros como la antigüedad de la vivienda, la distancia a la carretera principal, la ubicación, la zona, etc.

Aquí, discutiremos uno de los tipos más simples de regresión, es decir, Regresión lineal.

Tabla de contenidos

• ¿Qué es la regresión lineal?
• Tipos de regresión lineal
• ¿Cuál es la mejor Línea Fit?
• Función de costo para regresión lineal
• Supuestos de regresión lineal simple
• Supuestos de regresión lineal múltiple
• Métricas de evaluación para regresión lineal
• Implementación de Python de regresión lineal
• Técnicas de regularización para modelos lineales
• Aplicaciones de la regresión lineal
• Ventajas y desventajas de la regresión lineal
• Regresión lineal: preguntas frecuentes (FAQ)

¿Qué es la regresión lineal?

La regresión lineal es un tipo de aprendizaje automático supervisado Algoritmo que calcula la relación lineal entre la variable dependiente y una o más características independientes ajustando una ecuación lineal a los datos observados.

Cuando sólo hay una característica independiente, se le conoce como Regresión lineal simple , y cuando hay más de una característica, se conoce como Regresión lineal múltiple .

De manera similar, cuando hay una sola variable dependiente, se considera Regresión lineal univariante , mientras que cuando hay más de una variable dependiente, se conoce como Regresión multivariada .

¿Por qué es importante la regresión lineal?

La interpretabilidad de la regresión lineal es una fortaleza notable. La ecuación del modelo proporciona coeficientes claros que aclaran el impacto de cada variable independiente sobre la variable dependiente, lo que facilita una comprensión más profunda de la dinámica subyacente. Su simplicidad es una virtud, ya que la regresión lineal es transparente, fácil de implementar y sirve como concepto fundamental para algoritmos más complejos.

La regresión lineal no es simplemente una herramienta predictiva; constituye la base de varios modelos avanzados. Técnicas como la regularización y las máquinas de vectores de soporte se inspiran en la regresión lineal, ampliando su utilidad. Además, la regresión lineal es una piedra angular en la prueba de supuestos, ya que permite a los investigadores validar supuestos clave sobre los datos.

Tipos de regresión lineal

Hay dos tipos principales de regresión lineal:

Regresión lineal simple

Esta es la forma más simple de regresión lineal e involucra solo una variable independiente y una variable dependiente. La ecuación de regresión lineal simple es:
y=eta_{0}+eta_{1}X
dónde:

• Y es la variable dependiente
• X es la variable independiente
• β0 es la intersección
• β1 es la pendiente

Regresión lineal múltiple

Esto involucra más de una variable independiente y una variable dependiente. La ecuación para la regresión lineal múltiple es:
y=eta_{0}+eta_{1}X+eta_{2}X+………eta_{n}X
dónde:

• Y es la variable dependiente
• X1, X2,…, Xp son las variables independientes
• β0 es la intersección
• β1, β2,…, βn son las pendientes

El objetivo del algoritmo es encontrar la mejor línea de ajuste ecuación que puede predecir los valores en función de las variables independientes.

En el conjunto de registros de regresión están presentes con valores X e Y y estos valores se usan para aprender una función, por lo que si desea predecir Y a partir de una X desconocida, puede usar esta función aprendida. En la regresión tenemos que encontrar el valor de Y. Por lo tanto, se requiere una función que prediga Y continua en el caso de regresión dada X como características independientes.

Bourne Again Shell

¿Cuál es la mejor Línea Fit?

Nuestro objetivo principal al utilizar la regresión lineal es localizar la línea de mejor ajuste, lo que implica que el error entre los valores previstos y reales debe mantenerse al mínimo. Habrá el menor error en la línea de mejor ajuste.

La mejor ecuación de Fit Line proporciona una línea recta que representa la relación entre las variables dependientes e independientes. La pendiente de la línea indica cuánto cambia la variable dependiente por un cambio unitario en las variables independientes.

Regresión lineal

Aquí, Y se denomina variable dependiente o objetivo y X se denomina variable independiente, también conocida como predictor de Y. Hay muchos tipos de funciones o módulos que se pueden utilizar para la regresión. Una función lineal es el tipo de función más simple. Aquí, X puede ser una característica única o múltiples características que representan el problema.

La regresión lineal realiza la tarea de predecir el valor de una variable dependiente (y) en función de una variable independiente dada (x)). De ahí el nombre de Regresión Lineal. En la figura anterior, X (entrada) es la experiencia laboral e Y (salida) es el salario de una persona. La recta de regresión es la recta que mejor se ajusta a nuestro modelo.

Utilizamos la función de costo para calcular los mejores valores a fin de obtener la línea de mejor ajuste, ya que diferentes valores para los pesos o el coeficiente de las líneas dan como resultado diferentes líneas de regresión.

comparar en java

Función de hipótesis en regresión lineal

Como asumimos anteriormente, nuestra característica independiente es la experiencia, es decir, X y el salario respectivo Y es la variable dependiente. Supongamos que existe una relación lineal entre X e Y, entonces el salario se puede predecir usando:

hat{Y} = heta_1 + heta_2X

O

hat{y}_i = heta_1 + heta_2x_i

Aquí,

• y_i epsilon Y ;; (i= 1,2, cdots , n) son etiquetas para datos (aprendizaje supervisado)
• x_i epsilon X ;; (i= 1,2, cdots , n) son los datos de entrenamiento independientes de entrada (univariados: una variable de entrada (parámetro))
• hat{y_i} epsilon hat{Y} ;; (i= 1,2, cdots , n) son los valores predichos.

El modelo obtiene la mejor línea de ajuste de regresión al encontrar el mejor θ₁y θ₂valores.

• i ₁ : interceptar
• i ₂ : coeficiente de x

Una vez que encontremos el mejor θ₁y θ₂valores, obtenemos la línea de mejor ajuste. Entonces, cuando finalmente usemos nuestro modelo para la predicción, predecirá el valor de y para el valor de entrada de x.

Cómo actualizar θ ₁ y θ ₂ valores para obtener la línea de mejor ajuste?

Para lograr la línea de regresión de mejor ajuste, el modelo tiene como objetivo predecir el valor objetivohat{Y} tal que la diferencia de error entre el valor predichohat{Y} y el valor verdadero Y es mínimo. Entonces, es muy importante actualizar el θ₁y θ₂valores, para alcanzar el mejor valor que minimice el error entre el valor y predicho (pred) y el valor y verdadero (y).

minimizefrac{1}{n}sum_{i=1}^{n}(hat{y_i}-y_i)^2

Función de costo para regresión lineal

El función de costo o el función de pérdida no es más que el error o la diferencia entre el valor predichohat{Y} y el valor verdadero Y.

En regresión lineal, el Error cuadrático medio (MSE) Se emplea la función de costo, que calcula el promedio de los errores al cuadrado entre los valores predichos.hat{y}_i y los valores reales{y}_i . El propósito es determinar los valores óptimos para la intersección. heta_1 y el coeficiente de la característica de entrada. heta_2 proporcionando la línea de mejor ajuste para los puntos de datos dados. La ecuación lineal que expresa esta relación eshat{y}_i = heta_1 + heta_2x_i .

La función MSE se puede calcular como:

ext{Cost function}(J) = frac{1}{n}sum_{n}^{i}(hat{y_i}-y_i)^2

Utilizando la función MSE, se aplica el proceso iterativo de descenso de gradiente para actualizar los valores de heta_1 & heta_2 . Esto garantiza que el valor de MSE converja a los mínimos globales, lo que significa el ajuste más preciso de la línea de regresión lineal al conjunto de datos.

Este proceso implica ajustar continuamente los parámetros ( heta_1) y ( heta_2) en función de los gradientes calculados a partir del MSE. El resultado final es una línea de regresión lineal que minimiza las diferencias cuadráticas generales entre los valores previstos y reales, proporcionando una representación óptima de la relación subyacente en los datos.

Descenso de gradiente para regresión lineal

Se puede entrenar un modelo de regresión lineal utilizando el algoritmo de optimización. descenso de gradiente modificando iterativamente los parámetros del modelo para reducir la error cuadrático medio (MSE) del modelo en un conjunto de datos de entrenamiento. Para actualizar θ₁y θ₂valores para reducir la función de costo (minimizando el valor RMSE) y lograr la línea de mejor ajuste que el modelo utiliza Descenso de gradiente. La idea es comenzar con θ aleatorio.₁y θ₂valores y luego actualizar iterativamente los valores, alcanzando el costo mínimo.

versión java linux

Un gradiente no es más que una derivada que define los efectos sobre las salidas de la función con un poco de variación en las entradas.

Diferenciamos la función de costo (J) con respecto a heta_1

egin {aligned} {J}’_{ heta_1} &=frac{partial J( heta_1, heta_2)}{partial heta_1} &= frac{partial}{partial heta_1} left[frac{1}{n} left(sum_{i=1}^{n}(hat{y}_i-y_i)^2 ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}2(hat{y}_i-y_i) left(frac{partial}{partial heta_1}(hat{y}_i-y_i) ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}2(hat{y}_i-y_i) left(frac{partial}{partial heta_1}( heta_1 + heta_2x_i-y_i) ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}2(hat{y}_i-y_i) left(1+0-0 ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}(hat{y}_i-y_i) left(2 ight ) ight] &= frac{2}{n}sum_{i=1}^{n}(hat{y}_i-y_i) end {aligned}

Diferenciamos la función de costo (J) con respecto a heta_2

egin {aligned} {J}’_{ heta_2} &=frac{partial J( heta_1, heta_2)}{partial heta_2} &= frac{partial}{partial heta_2} left[frac{1}{n} left(sum_{i=1}^{n}(hat{y}_i-y_i)^2 ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}2(hat{y}_i-y_i) left(frac{partial}{partial heta_2}(hat{y}_i-y_i) ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}2(hat{y}_i-y_i) left(frac{partial}{partial heta_2}( heta_1 + heta_2x_i-y_i) ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}2(hat{y}_i-y_i) left(0+x_i-0 ight ) ight] &= frac{1}{n}left[sum_{i=1}^{n}(hat{y}_i-y_i) left(2x_i ight ) ight] &= frac{2}{n}sum_{i=1}^{n}(hat{y}_i-y_i)cdot x_i end {aligned}

Encontrar los coeficientes de una ecuación lineal que mejor se ajuste a los datos de entrenamiento es el objetivo de la regresión lineal. Moviéndose en la dirección del gradiente negativo del error cuadrático medio con respecto a los coeficientes, los coeficientes se pueden cambiar. Y el respectivo intercepto y coeficiente de X será sialpha es la tasa de aprendizaje.

Descenso de gradiente

egin{aligned} heta_1 &= heta_1 – alpha left( {J}’_{ heta_1} ight) &= heta_1 -alpha left( frac{2}{n}sum_{i=1}^{n}(hat{y}_i-y_i) ight) end{aligned} egin{aligned} heta_2 &= heta_2 – alpha left({J}’_{ heta_2} ight) &= heta_2 – alpha left(frac{2}{n}sum_{i=1}^{n}(hat{y}_i-y_i)cdot x_i ight) end{aligned}

Supuestos de regresión lineal simple

La regresión lineal es una herramienta poderosa para comprender y predecir el comportamiento de una variable; sin embargo, debe cumplir algunas condiciones para ser soluciones precisas y confiables.

1. Linealidad : Las variables independientes y dependientes tienen una relación lineal entre sí. Esto implica que los cambios en la variable dependiente siguen a los de las variables independientes de forma lineal. Esto significa que debe haber una línea recta que pueda trazarse a través de los puntos de datos. Si la relación no es lineal, entonces la regresión lineal no será un modelo preciso.
   
2. Independencia : Las observaciones del conjunto de datos son independientes entre sí. Esto significa que el valor de la variable dependiente para una observación no depende del valor de la variable dependiente para otra observación. Si las observaciones no son independientes, entonces la regresión lineal no será un modelo preciso.
3. homocedasticidad : En todos los niveles de las variables independientes, la varianza de los errores es constante. Esto indica que la cantidad de la(s) variable(s) independiente(s) no tiene impacto en la varianza de los errores. Si la varianza de los residuos no es constante, entonces la regresión lineal no será un modelo preciso.
   

   Homoscedasticidad en regresión lineal

4. Normalidad : Los residuos deben distribuirse normalmente. Esto significa que los residuos deben seguir una curva en forma de campana. Si los residuos no se distribuyen normalmente, entonces la regresión lineal no será un modelo preciso.

Supuestos de regresión lineal múltiple

Para la regresión lineal múltiple, se aplican los cuatro supuestos de la regresión lineal simple. Además de esto, a continuación se muestran algunos más:

1. Sin multicolinealidad : No existe una alta correlación entre las variables independientes. Esto indica que existe poca o ninguna correlación entre las variables independientes. La multicolinealidad ocurre cuando dos o más variables independientes están altamente correlacionadas entre sí, lo que puede dificultar la determinación del efecto individual de cada variable sobre la variable dependiente. Si hay multicolinealidad, entonces la regresión lineal múltiple no será un modelo preciso.
2. Aditividad: El modelo supone que el efecto de los cambios en una variable predictiva sobre la variable de respuesta es consistente independientemente de los valores de las otras variables. Este supuesto implica que no existe interacción entre variables en sus efectos sobre la variable dependiente.
3. Selección de características: En la regresión lineal múltiple, es fundamental seleccionar cuidadosamente las variables independientes que se incluirán en el modelo. Incluir variables irrelevantes o redundantes puede llevar a un sobreajuste y complicar la interpretación del modelo.
4. Sobreajuste: El sobreajuste ocurre cuando el modelo se ajusta demasiado a los datos de entrenamiento, capturando ruido o fluctuaciones aleatorias que no representan la verdadera relación subyacente entre las variables. Esto puede provocar un rendimiento deficiente de la generalización de datos nuevos e invisibles.

Multicolinealidad

Multicolinealidad Es un fenómeno estadístico que ocurre cuando dos o más variables independientes en un modelo de regresión múltiple están altamente correlacionadas, lo que dificulta evaluar los efectos individuales de cada variable sobre la variable dependiente.

La detección de multicolinealidad incluye dos técnicas:

• Matriz de correlación: Examinar la matriz de correlación entre las variables independientes es una forma común de detectar multicolinealidad. Las correlaciones altas (cercanas a 1 o -1) indican una posible multicolinealidad.
• VIF (Factor de inflación de varianza): VIF es una medida que cuantifica cuánto aumenta la varianza de un coeficiente de regresión estimado si sus predictores están correlacionados. Un VIF alto (normalmente superior a 10) sugiere multicolinealidad.

Métricas de evaluación para regresión lineal

Una variedad de medidas de evaluación se puede utilizar para determinar la solidez de cualquier modelo de regresión lineal. Estas métricas de evaluación a menudo dan una indicación de qué tan bien el modelo está produciendo los resultados observados.

Las medidas más comunes son:

Error cuadrático medio (MSE)

Error cuadrático medio (MSE) es una métrica de evaluación que calcula el promedio de las diferencias al cuadrado entre los valores reales y previstos para todos los puntos de datos. La diferencia se eleva al cuadrado para garantizar que las diferencias negativas y positivas no se cancelen entre sí.

MSE = frac{1}{n}sum_{i=1}^{n}left ( y_i – widehat{y_{i}} ight )^2

Aquí,

• n es el número de puntos de datos.
• y_ies el valor real u observado para i^thpunto de datos.
• widehat{y_{i}} es el valor predicho para i^thpunto de datos.

MSE es una forma de cuantificar la precisión de las predicciones de un modelo. MSE es sensible a los valores atípicos ya que los errores grandes contribuyen significativamente a la puntuación general.

Error absoluto medio (MAE)

Error absoluto medio es una métrica de evaluación utilizada para calcular la precisión de un modelo de regresión. MAE mide la diferencia absoluta promedio entre los valores previstos y los valores reales.

Matemáticamente, MAE se expresa como:

MAE =frac{1}{n} sum_{i=1}^{n}|Y_i – widehat{Y_i}|

Aquí,

• N es el numero de observaciones
• Y_irepresenta los valores reales.
• widehat{Y_i} representa los valores predichos

Un valor MAE más bajo indica un mejor rendimiento del modelo. No es sensible a los valores atípicos ya que consideramos diferencias absolutas.

Error cuadrático medio (RMSE)

La raíz cuadrada de la varianza de los residuos es la Error cuadrático medio . Describe qué tan bien los puntos de datos observados coinciden con los valores esperados, o el ajuste absoluto del modelo a los datos.

En notación matemática se puede expresar como:
RMSE=sqrt{frac{RSS}{n}}=sqrtfrac{{{sum_{i=2}^{n}(y^{actual}_{i}}- y_{i}^{predicted})^2}}{n}
En lugar de dividir el número total de puntos de datos del modelo por el número de grados de libertad, se debe dividir la suma de los residuos al cuadrado para obtener una estimación insesgada. Entonces, esta cifra se denomina error estándar residual (RSE).

objeto de matriz en java

En notación matemática se puede expresar como:
RMSE=sqrt{frac{RSS}{n}}=sqrtfrac{{{sum_{i=2}^{n}(y^{actual}_{i}}- y_{i}^{predicted})^2}}{(n-2)}

RSME no es una métrica tan buena como R-cuadrado. El error cuadrático medio puede fluctuar cuando las unidades de las variables varían, ya que su valor depende de las unidades de las variables (no es una medida normalizada).

Coeficiente de determinación (R-cuadrado)

R-cuadrado Es una estadística que indica cuánta variación puede explicar o capturar el modelo desarrollado. Siempre está en el rango de 0 a 1. En general, cuanto mejor coincida el modelo con los datos, mayor será el número R cuadrado.
En notación matemática se puede expresar como:
R^{2}=1-(^{frac{RSS}{TSS}})

• Suma residual de cuadrados (RSS): La La suma de cuadrados del residuo para cada punto de datos en la gráfica o datos se conoce como suma de cuadrados residual, o RSS. Es una medida de la diferencia entre el resultado observado y lo anticipado.
  RSS=sum_{i=2}^{n}(y_{i}-b_{0}-b_{1}x_{i})^{2}
• Suma Total de Cuadrados (TSS): La suma de los errores de los puntos de datos de la media de la variable de respuesta se conoce como suma total de cuadrados o TSS.
  TSS= sum_{}^{}(y-overline{y_{i}})^2

La métrica R cuadrado es una medida de la proporción de varianza en la variable dependiente que se explica con las variables independientes en el modelo.

Error de R cuadrado ajustado

R ajustado²Mide la proporción de varianza en la variable dependiente que se explica por variables independientes en un modelo de regresión. Cuadrado R ajustado cuenta el número de predictores en el modelo y penaliza al modelo por incluir predictores irrelevantes que no contribuyen significativamente a explicar la varianza en las variables dependientes.

Matemáticamente, R ajustado²se expresa como:

Adjusted , R^2 = 1 – (frac{(1-R^2).(n-1)}{n-k-1})

Aquí,

• N es el numero de observaciones
• k es el número de predictores en el modelo
• R²es coeficiente de determinación

El cuadrado R ajustado ayuda a evitar el sobreajuste. Penaliza al modelo con predictores adicionales que no contribuyen significativamente a explicar la varianza en la variable dependiente.

Implementación de Python de regresión lineal

Importe las bibliotecas necesarias:

Cargue el conjunto de datos y separe las variables de entrada y de destino.

Aquí está el enlace para el conjunto de datos: Enlace al conjunto de datos

Construya el modelo de regresión lineal y trace la línea de regresión

Pasos:

• En la propagación directa, la función de regresión lineal Y=mx+c se aplica asignando inicialmente un valor aleatorio del parámetro (m & c).
• Hemos escrito la función para encontrar la función de costo, es decir, la media.