Trayectorias óptimas: bang-bang, Pontryagin y programación dinámica · Control óptimo y LQR: llegar con el mínimo esfuerzo · CO.DE Academy
Lección 8 de 9· Control y estimación
Trayectorias óptimas: bang-bang, Pontryagin y programación dinámica
0 de 9 lecciones · 0 %
01 / 03
En los videos
8.1 Tiempo mínimo y combustible mínimo: con un tope de 1 m/s² el bang-bang lleva la nave 8 m en 5.66 s con una sola conmutación; con plazo de 10 s, pulso–costeo–pulso gasta 1.75 m/s, como una transferencia de Hohmann.
8.2 El principio de Pontryagin: el hamiltoniano, los coestados y la regla «u minimiza H»; resuelto por tiro, el empuje de energía mínima es lineal en el tiempo y coincide con el gramiano de la lección 2.
8.3 Programación dinámica y MPC: el principio de optimalidad de Bellman en un grafo de 27 caminos, la función de valor de una nave cuantizada y el control predictivo como recursión truncada.
Rápido y barato son dos problemas
Un satélite que debe reorientarse para tomar una imagen quiere llegar ya; un vehículo de transferencia con el tanque justo quiere gastar lo mínimo aunque tarde. El LQR minimiza un costo cuadrático, que no es ninguno de los dos. Esta lección resuelve los dos problemas «de verdad» para la nave y presenta las dos herramientas generales que lo permiten: el principio del mínimo de Pontryagin y la programación dinámica de Bellman.
Tiempo mínimo: bang-bang
La nave parte en reposo a d=8 m y debe llegar en reposo, con ∣u∣≤a=1 m/s². Si se acelera a tope y se frena a tope, por simetría cada mitad dura t1 y recorre d/2=21at12:
t1=d/a=2.83s,Tmin=2d/a=5.66s.
En el plano de fases, con u=±a constante las trayectorias son parábolas x=x0±(v2−v02)/(2a). Solo dos llegan a la meta: la curva de conmutaciónx=−v∣v∣/(2a). La ley óptima en lazo cerrado es: empuja hacia la meta hasta tocar la curva, luego frena a tope. Desde −8 m conmuta en x=−4 m, v=2.83 m/s. Comparación: el LQR recortado al mismo tope tarda 6.3 s; sin tope llegaría en 3 s pidiendo 6.7 m/s².
Combustible mínimo
Con plazo fijo T=10 s, el combustible es Δv=∫0T∣u∣dt. Bang-bang gasta aTmin=5.66 m/s. La estrategia pulso–costeo–pulso acelera a tope t1, deja la nave a velocidad at1 durante T−2t1 y frena t1. Deducción: la distancia recorrida es at12+at1(T−2t1)=at1(T−t1)=d, una cuadrática en t1 cuya raíz menor es
t1=2T−T2−4d/a=210−68=0.88s,Δv=2at1=1.75m/s.
Es la misma lógica que una transferencia de Hohmann: dos impulsos y costear. La energía mínima del mismo plazo gasta 2.40 m/s; un LQR recortado de ejemplo, 2.24; setenta controles al azar que llegan, ninguno por debajo de 1.75.
El principio de Pontryagin
Para x˙=f(x,u) y costo J=∫0Tℓ(x,u)dt se define el hamiltonianoH=ℓ+λ⊤f, con coestados λ(t). El principio afirma que en la trayectoria óptima
λ˙=−∂x∂H,u∗(t)=argmin∣u∣≤aH(x,u,λ).
Ejemplo resuelto completo: energía mínima. Nave de −8 m a la meta en T=6 s, de reposo a reposo, con ℓ=u2/2. Entonces H=u2/2+λ1v+λ2u.
Coestados: λ˙1=−∂H/∂x=0 y λ˙2=−∂H/∂v=−λ1. Luego λ1=α (constante) y λ2=β−αt (recta).
Control: H es una parábola en u con mínimo en ∂H/∂u=u+λ2=0, así que u=αt−β: lineal en t.
Condiciones de contorno: v(T)=−βT+αT2/2=0 y x(T)=−8−βT2/2+αT3/6=0. De la primera β=αT/2; sustituyendo, αT3(1/6−1/4)=8, es decir α=−96/T3=−0.444 y β=−1.333.
Resultado: u(t)=1.333−0.444t, sale con 1.33 m/s², cruza cero a los 3 s y llega frenando. El costo es J=6d2/T3=1.78, y el hamiltoniano permanece constante en −0.89 (sus términos cambian, su suma no). Es la misma rampa que dio el gramiano en la lección 2. En la práctica las constantes (α,β) se buscan por tiro: se prueban, se integra estado y coestado y se corrige hasta caer en la meta.
Con combustible, ℓ=∣u∣: H=∣u∣+λ2u+… es lineal a tramos en u. Su mínimo está en u=0 si ∣λ2∣<1 y en u=∓a si ∣λ2∣>1. Como λ2 es una recta, cruza los umbrales a lo sumo dos veces: bang–off–bang, exactamente el pulso–costeo–pulso deducido arriba.
Programación dinámica
Principio de optimalidad (Bellman): si el camino óptimo pasa por un nodo, lo que sigue desde ese nodo también es óptimo. En el grafo del video (inicio, tres etapas de tres nodos, meta) hay 27 caminos; la fuerza bruta encuentra el mínimo, 9. El algoritmo voraz, que toma la arista más barata en cada momento, termina en 12. La programación dinámica calcula hacia atrás el costo que falta desde cada nodo, V(n)=minm[c(n,m)+V(m)], y obtiene 9 visitando cada arista una sola vez.
Para la nave, la función de valorV(x) es el costo mínimo para llegar a la meta desde x. En una malla de 63 estados cuantizados la recursión converge en 8 etapas y coincide con Dijkstra y la fuerza bruta (54 desde la salida). Si el sistema es lineal y el costo cuadrático, la recursión de Bellman es exactamente la de Riccati, con V(x)=x⊤Px: en una malla fina, la cuadrática ajustada difiere de la P de Riccati un 1.3 %. Y el control predictivo de la lección 6 es esa misma recursión truncada a N etapas: con N=1 el costo sube casi un 29 %, con 3 ya solo un 0.02 %, y con P como costo terminal todo horizonte da igual.
Playground · python
1 de 6
Con L = |u| y |u| ≤ a, el hamiltoniano es lineal a tramos en u. ¿Qué control lo minimiza cuando |λ₂| < 1?
Qué deja fuera este modelo
Conmutación instantánea. Un propulsor real no pasa de +a a −a en cero segundos; el bang-bang ideal produce vibración (chattering) y se suaviza con una zona muerta o con un costo mixto.
Masa constante. Con la masa variable de un cohete el problema de combustible cambia (ecuación de Tsiolkovski); el Δv sigue siendo la moneda.
Pontryagin da condiciones necesarias. Los candidatos que salen del principio deben compararse; en problemas no convexos puede haber varios.
La maldición de la dimensión. La programación dinámica en malla crece exponencialmente con el número de estados: sirve para dos, no para doce. Por eso se usa Riccati (cuando el problema es LQ) o el MPC (truncando el horizonte).
Con todas las piezas sobre la mesa, la lección 9 las aplica a tres misiones: un encuentro orbital, una maniobra de actitud y el diseño completo de un controlador.
Laboratorio interactivo
Rápido y barato en el plano de fases
Cierre de la lección
Lo que sigue: video
Sigue el recorrido de la lección paso a paso.
Crea una cuenta gratis para continuar
Con una cuenta desbloqueas el cuestionario, el foro de dudas y el tutor con IA de esta lección, además del registro de progreso y el certificado verificable al terminar «Control óptimo y LQR: llegar con el mínimo esfuerzo».