Nombra las cosas pensando en quien lee, no en quien escribe.
Nombra las cosas pensando en quien lee, no en quien escribe.
Regresión Lineal
La regresión lineal es el primer y más importante algoritmo de aprendizaje supervisado. El modelo afirma que el objetivo y es una función lineal de las características mathbf{x} in mathbb{R}^D más ruido gaussiano: y = mathbf{x}^top boldsymbolbeta + varepsilon, quad varepsilon sim mathcal{N}(0, sigma
Regresión lineal: ; solución cerrada .
Sin la solución cerrada y la vista MLE de mínimos cuadrados, no puedes derivar Ridge, Lasso, regresión bayesiana, filtros de Kalman ni la capa de salida lineal de una red neuronal de forma principiada.
La regresión lineal es el primer y más importante algoritmo de aprendizaje supervisado. El modelo afirma que el objetivo es una función lineal de las características más ruido gaussiano: Dados datos de entrenamiento , apilamos las características en la matriz de diseño y los objetivos en , dando la forma matricial .
La solución de mínimos cuadrados minimiza la suma de residuales al cuadrado: Igualar el gradiente a cero da las ecuaciones normales . Cuando es invertible, El término es la pseudo-inversa de Moore-Penrose — lo más cercano a una inversa cuando es alta y delgada.
Desde el punto de vista probabilístico, este mismo es la MLE: bajo ruido gaussiano con fijo, maximizar equivale a minimizar el error cuadrático. La regresión lineal es uno de esos casos raros donde ERM y MLE coinciden exactamente, y ambos admiten una solución cerrada — sin optimización iterativa.
La ingeniería de características extiende dramáticamente el alcance. Reemplazar con da regresión polinomial — sigue siendo lineal *en los parámetros*, de ahí 'regresión lineal'. Funciones de base radial, splines, características de Fourier e incluso características aleatorias de redes neuronales encajan en esta plantilla: elige un mapa de características , luego resuelve un problema lineal de mínimos cuadrados. Esta es la mirada de modelo lineal generalizado y la base de los métodos de kernel.
Cuando (más características que muestras) o cuando las características están correlacionadas, es singular y la solución no es única. La regresión Ridge agrega una penalización : — siempre invertible, numéricamente estable, y equivalente a MAP con previa gaussiana. Lasso (penalización ) produce soluciones esparcidas y es el caballo de batalla para selección de características. Ambos son convexos y están implementados en toda librería de ML del planeta.
Python (in browser)
Esperado: Both vectors agree (modulo numerical noise)
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
Características rezagadas, medias móviles, descomposición estacional y componentes de Fourier alimentan regresiones lineales para pronosticar demanda minorista, carga eléctrica o tráfico.
Modelos lineales sobre características construidas (colaborativas + contenido + popularidad) siguen siendo el respaldo en producción cuando los modelos profundos son lentos o poco explicables.
Cuando (millones de SNPs, decenas de miles de columnas TF-IDF), la regularización L1+L2 híbrida encoge características irrelevantes y estabiliza el resto.
from sklearn.linear_model import ElasticNetCV
model = ElasticNetCV(l1_ratio=[.1,.5,.9], cv=5).fit(X, y)La primera y última capa de casi toda red neuronal es nn.Linear — una regresión lineal. Todo lo intermedio aprende el adecuado.
import torch.nn as nn
fc = nn.Linear(in_features=512, out_features=1)Pon a prueba tu comprensión. Puntos por acierto + racha + velocidad.
3 preguntas rápidas. Acertá 2 para marcar esta lección como completada.