Adquiriendo señal…
Adquiriendo señal…
Lección 2 de 10· Inteligencia artificial
0 de 10 lecciones · 0 %
Casi todo modelo de IA moderno se reduce a lo mismo: representar la información como números, combinar esos números con parámetros ajustables, medir cuánto se equivoca el modelo, y mover los parámetros en la dirección que reduce el error. Para entender ese proceso bastan cuatro ideas: vectores, el producto punto, la derivada y el gradiente.
Un vector es simplemente una lista ordenada de números. En IA se usan para representar casi cualquier cosa: los píxeles de una imagen, las características de una vivienda (metros cuadrados, número de habitaciones, antigüedad) o las palabras de un texto. Un vector de tres características de una vivienda podría escribirse:
Dos vectores del mismo tamaño se pueden combinar con el producto punto (o producto escalar): se multiplican las componentes una a una y se suman los resultados.
Esta operación es el corazón de casi cualquier modelo: un vector de pesos (los parámetros que el modelo aprende) se combina con un vector de entradas para producir una predicción. La regresión lineal de la lección 3 y cada neurona de la red de la lección 5 no son más que un producto punto seguido, a veces, de una función adicional.
La derivada de una función mide cómo cambia cuando cambia una cantidad infinitesimal: es la pendiente de la recta tangente a la curva en un punto. Se escribe o .
Intuición: si , la función está subiendo en ese punto; si , está bajando; si , el punto es (potencialmente) un mínimo o un máximo local. Un ejemplo que usaremos mucho: para , la derivada es . Lejos de la pendiente es pronunciada; cerca de es casi plana, porque es justo el mínimo de la parábola.
Cuando una función depende de varias variables (por ejemplo, todos los pesos de un modelo), la generalización de la derivada es el gradiente: el vector formado por la derivada parcial respecto a cada variable. El gradiente apunta en la dirección en la que la función crece más rápido.
Como queremos minimizar el error del modelo (no maximizarlo), el algoritmo de descenso de gradiente da pasos en la dirección contraria al gradiente:
Aquí (letra griega eta) es la tasa de aprendizaje (learning rate): controla el tamaño de cada paso. Si es demasiado pequeña, el descenso converge muy lentamente; si es demasiado grande, el paso se pasa del mínimo y puede oscilar o incluso divergir. Este es exactamente el fenómeno que puedes explorar a continuación minimizando con distintos valores de learning rate y punto inicial:
Descenso de gradiente sobre f(x) = x²
Valor final de x: 0.0050
Prueba primero una tasa de aprendizaje pequeña (por ejemplo 0.05): verás que el punto desciende poco a poco por la parábola hacia el mínimo en . Luego prueba una tasa grande (cercana a 1.1): el punto empieza a rebotar de un lado a otro de la parábola, y si la tasa es demasiado alta, cada rebote es más grande que el anterior — el algoritmo diverge en lugar de converger. Este mismo mecanismo, aplicado a millones de pesos en lugar de a una sola variable , es el que entrena la regresión lineal (lección 3), la regresión logística (lección 4) y la red neuronal (lección 5).
Tomemos una función de dos pesos con forma de valle: . Sus derivadas parciales son y , así que el gradiente es:
Partimos de , donde . El gradiente vale . Con , el paso es y el nuevo punto es , donde : el error ha bajado de 8 a 2.72 en un solo paso. Fíjate en que la componente se ha movido el doble que aunque estaba más cerca del mínimo: en esa dirección la función es cuatro veces más empinada.
Esa diferencia de pendientes es la clave de la estabilidad. La curvatura de en cada dirección (su segunda derivada) vale y . En cada paso, la distancia al mínimo en cada dirección se multiplica por , y el descenso solo converge si todos esos factores tienen valor absoluto menor que 1:
Con los factores son y : converge sin oscilar. Con el factor de la dirección empinada es : converge, pero cambiando de signo en cada paso (zigzag). Con es : diverge. El cociente entre la curvatura mayor y la menor, , se llama número de condición: cuanto mayor es, más alargado es el valle y más lento el descenso en la dirección plana.
El laboratorio muestra una superficie de error de dos pesos vista desde arriba, con la trayectoria del descenso y una flecha con el próximo paso . Elige el escenario «Valle alargado (κ = 8)», cuyas curvaturas son 1 y 8, y pulsa «Entrenar» con : el punto avanza en zigzag y la lectura «Contracción por paso» coincide con el valor teórico . Sube luego el deslizador de la tasa de aprendizaje a 0.26, por encima de , y verás que el estado pasa a «diverge». Arrastra el punto de partida sobre el mapa y comprueba también que el gradiente analítico coincide con el numérico calculado por diferencias finitas.
En el punto w = (2, 1) de f(w₁, w₂) = w₁² + 4w₂², ¿hacia dónde apunta el paso del descenso de gradiente?
Cierre de la lección
Sigue el recorrido de la lección paso a paso.
Con una cuenta desbloqueas el cuestionario, el foro de dudas y el tutor con IA de esta lección, además del registro de progreso y el certificado verificable al terminar «Inteligencia Artificial».