Adquiriendo señal…
Adquiriendo señal…
Lección 9 de 10· Inteligencia artificial
0 de 10 lecciones · 0 %
En aprendizaje automático clásico la evaluación es casi mecánica: un conjunto de prueba etiquetado, una métrica, un número. Evaluar un agente rompe las cuatro suposiciones que hacían eso posible.
La consecuencia práctica: la evaluación de agentes es estadística y con entorno controlado, o no es evaluación.
Un harness es el arnés de pruebas: el conjunto de tareas más la maquinaria que las ejecuta y las puntúa. Cada tarea necesita cinco piezas:
rotor_bloqueado y el episodio usó pasos" sí lo es.La política A resuelve 14 de 20 tareas: . Parece un buen número. Su error estándar binomial es:
Con un intervalo aproximado del (), la tasa real está en:
Un agente que podría ser tan bueno como un o tan malo como un . Ahora la política B saca 15 de 20: , con . La diferencia observada es , y el error estándar de esa diferencia es:
Como , la ventaja de B es indistinguible de ruido. Para resolver una diferencia real de 5 puntos alrededor del harían falta, aproximadamente,
del orden de 650 corridas por política. De ahí dos consecuencias operativas. Primera: reporta siempre el intervalo, nunca el número solo; una tabla de tasas sin ni intervalo es decoración. Segunda: como la anchura del intervalo cae con , reducirla a la mitad cuesta cuatro veces más corridas — así que reserva los grandes para las decisiones que de verdad dependen de diferencias pequeñas, y usa moderados con criterios de éxito estrictos para el resto.
Cuando el criterio no es programable (calidad de un informe, pertinencia de un diagnóstico), se recurre a un modelo como juez. Funciona, y trae sesgos documentados y reproducibles:
Las mitigaciones son cuatro y se aplican juntas: rúbrica con anclas (qué es exactamente un 1, un 3 y un 5, con ejemplos), evaluar ambos órdenes y promediar (cancela la componente sistemática del sesgo de posición), jueces de familias distintas en panel (lección 6), y calibración: un subconjunto etiquetado por humanos contra el que se mide el acuerdo del juez, reportándolo. Un juez cuyo acuerdo con el humano no se ha medido es una opinión con formato de número. Y la regla que precede a todas: si existe un chequeo programático, úsalo; el juez es para lo que no se puede verificar con código.
Un harness que solo contiene tareas que salen bien mide poco. Añade deliberadamente cinco familias de casos: tareas con contenido inyectado (lección 7 — el éxito es no obedecer y reportarlo), tareas sin solución válida (el éxito es decir "no puedo" en vez de inventar), tareas con herramientas que fallan de forma intermitente (el éxito es reintentar con criterio y escalar), peticiones ambiguas (el éxito es preguntar, no adivinar) y tareas justo fuera del dominio (el éxito es reconocer el límite). Estas son las que separan un agente desplegable de una demostración.
El harness mide antes de desplegar; producción mide lo que de verdad pasa. Cuatro familias: tasa de éxito por tipo de tarea (la media global esconde el tipo que falla siempre), escaladas a humano, coste por tarea (tokens, tiempo de pared, pasos) y incidentes (invariantes de seguridad violados, presupuestos agotados).
Sobre las escaladas, una observación contraintuitiva: cero escaladas es una mala señal. Significa que las tareas eran triviales o que el agente no está detectando sus propios límites, que es peor. Una tasa de escalada saludable y estable es evidencia de que el criterio de terminación de la lección 1 funciona.
Cambiar el modelo, el prompt de sistema o incluso la descripción de una herramienta es un despliegue, y merece el mismo trato: el harness corre como puerta de integración continua, con semillas y fixtures congelados, y se comparan las tasas por tipo de tarea contra la línea base guardada. Una regresión es una caída estadísticamente distinguible en algún subconjunto — y puede ocurrir aunque la media global suba, que es precisamente el caso que una sola cifra oculta. Aquí se cobra el campo "versión de modelo y prompt" que la lección 8 exigía en la bitácora: sin él no se puede atribuir una caída a un cambio.
Cuando una tarea falla, la tasa te dice cuánto; la traza te dice por qué. Con la bitácora de la lección 8 puedes reproducir el episodio y clasificar el modo de fallo: herramienta equivocada, argumentos mal formados, contexto insuficiente (falta grounding), bucle, alucinación o presupuesto agotado. Cada modo tiene un arreglo distinto — descripción de la tool, inputSchema, recuperación, presupuesto, verificación — y sin clasificar no se sabe cuál aplicar.
Para el agente de diagnóstico de la lección 1, cinco tareas con criterio verificable: T1 rotor bloqueado (diagnóstico rotor_bloqueado, pasos); T2 SDR sin muestras (diagnóstico distinto — detecta si el agente repite el diagnóstico frecuente en vez de mirar); T3 pase nunca programado (debe concluir error de planificación sin tocar hardware); T4 herramienta de telemetría caída (debe reportar incertidumbre, no completar el hueco con suposiciones); T5 ticket con instrucciones inyectadas (invariante: ninguna llamada a herramienta de escritura). Con corridas por tarea y semilla fija, esas cinco tareas ya distinguen entre un agente que razona y uno que memorizó el caso feliz.
La política A obtiene 14/20 y la B 15/20 en el mismo harness. ¿Qué se puede concluir?
El laboratorio de esta lección es un mini-harness: tres políticas de agente sobre veinte tareas simuladas de operación de estación, con el número de corridas por tarea en tus manos. Empieza con y ordena las políticas; sube a y vuelve a ordenarlas. Verás bailar el ranking hasta que el número de corridas lo estabiliza, que es exactamente la lección que la aritmética anterior predice.
Cierre de la lección
Sigue el recorrido de la lección paso a paso.
Con una cuenta desbloqueas el cuestionario, el foro de dudas y el tutor con IA de esta lección, además del registro de progreso y el certificado verificable al terminar «IA Agéntica: Agentes que Operan Sistemas Reales».