La lógica de orquestación que envuelve al LLM produce hoy más variación de rendimiento que el propio modelo.
Slide 2 · El hallazgo
Mismo modelo. Mismo benchmark.
× 0 ×
de diferencia en rendimiento.
Modificando solo la infraestructura del harness, su coding agent saltó del puesto 30+ al puesto 5.
Slide 3 · El arnés del caballo
Por qué se llama harness.
Un LLM en bruto es un caballo desbocado capaz de generar miles de líneas de código. El arnés son las riendas que le pones para que el galope sea útil — el ingeniero ya no escribe el código, diseña el arnés que sujeta al modelo.
01
Contexto
Qué información ve el modelo y en qué orden.
02
Herramientas
Qué acciones puede ejecutar — pocas, simples, generales.
03
Memoria
Qué recuerda fuera de su ventana de contexto.
04
Validación
Cómo demuestra que su trabajo es correcto.
Slide 4 · La ecuación
Agent = Model + Harness
Si no eres el modelo, eres el harness. — LangChain
El harness es el sistema operativo del LLM
"Todo lo que no son pesos del modelo" — prompts del sistema, herramientas, orquestación, memoria, verificación, seguridad.
Slide 5 · Los 5 patrones canónicos · Anthropic
Topologías de orquestación
Todo agente en producción combina varios. Esas decisiones arquitectónicas son las que generan el gap de 6×.
Prompt Chaining
Cadena lineal: cada paso usa la salida del anterior.
Útil: Pipelines deterministas con etapas claras.
Routing
Un clasificador decide a qué especialista delegar.
Útil: Triaje de entradas heterogéneas.
Parallelization
Distribución paralela a trabajadores y agregación al final.
Útil: Recuperación multifuente, ensembles.
Orch-Workers
Maestro descompone, trabajadores ejecutan, maestro integra.
Útil: Tareas complejas con sub-objetivos dinámicos.
Eval-Optimizer
Bucle generador-evaluador con criterio de aceptación.
Útil: Cuando hay un "está bien" objetivable.
Slide 6 · Antes de los papers
Sin representación, no hay ablación.
Dos sistemas que nominalmente diferían en una decisión de diseño, en realidad diferían simultáneamente en prompts, herramientas, verificadores y semántica de estado. Imposible aislar qué cambio causa qué efecto.
Sistema A
- prompts
- herramientas
- verificadores
- semántica de estado
≠
Sistema B
- prompts
- herramientas
- verificadores
- semántica de estado
Cuatro variables cambiando a la vez. Atribuir el delta a uno solo es estadística — no es ingeniería.
Modo de fallo 1
One-Shotting
El agente intenta resolver toda la tarea en un único disparo y agota el contexto antes de cerrar el último paso.
parse → plan → write → test → fix → 💥 context exhaustedModo de fallo 2
Premature Completion
Una sesión posterior ve progreso parcial (3/6) y declara victoria sin verificar el resto.
load_state(3/6) → "looks done ✓" — y nunca lo estuvo.Slide 7 · Paper 1 · NLAH · Tsinghua · Marzo 2026
Hacer el harness explícito para poder ablararlo.
Pan et al. proponen escribir la lógica de control del agente en lenguaje natural estructurado, separada en tres capas con responsabilidades distintas.
SWAP
NLAH
Lógica específica de tareaContractsRolesStagesFailure taxonomy
Se intercambia entre tareas. Es lo que defines tú para tu dominio.
FIXED
Runtime Charter
Reglas universales- cómo se vinculan los
contracts - cómo persiste el
state - cómo se gestionan los agentes hijos
Compartido entre tareas. Las "leyes físicas" del runtime.
INFRA
Backend
Herramientas y primitivas- herramientas de terminal
- interfaz multi-agente
- primitivas
spawn & wait
La infraestructura de bajo nivel. Igual para todos los arneses.
Lo que esto desbloquea
Ablación limpia, por fin.
Fijas el Charter, intercambias el NLAH → testeas diseño del harness. Fijas el NLAH, cambias el Charter → testeas política del runtime.
Dos mecanismos lo sostienen.
Execution Contracts (firmas de función para agentes) + File-Backed State (memoria con la ruta del fichero como dirección).
Slide 8 · El experimento de migración · OS-Symphony → NLAH
Misma lógica. Mismo modelo. +16.8 pts.
Tomas un harness escrito en código nativo. Lo migras a representación NLAH. No tocas el algoritmo. No cambias el modelo. Solo cambias cómo se expresa.
Antes · Arnés en código OS-Symphony
screenshot()
find_element()
click()
verify()
// bucle de reparación ↺ 0.4%precisión
361'runtime
1,200llamadas LLM
Misma estrategia
Distinta representación
Distinta representación
Después · Arnés en lenguaje natural NLAH
Task Definition ✓ objective & scope completion contract State Schema ✓ file-backed runtime state artifact paths Completion Criteria ✓ artifact-backed verification
0.2%precisión
141'runtime
34llamadas LLM
▲ +0 pts precisión (representación pura)
▼ −61% runtime
▼ −97% llamadas LLM
La representación es decisión arquitectónica, no estilística. Cómo escribes el harness vale tanto como qué hace.
Slide 9 · The Ablation Surprise
Más estructura ≠ mejor agente.
SWE-Bench Verified · GPT-5.4 · razonamiento máximo. ~75% resueltos con 6 módulos activos — y también con LLM + herramientas y nada más. 14× el cómputo para el mismo resultado.
Ensanchar caro
Lo que parece ayudar — pero perjudica.
- VerificadoresComprobaciones automáticas extra entre pasos.SWE −0.8OS −8.4
- Búsqueda multi-candidatoGenerar varias respuestas y elegir la mejor.SWE −2.4OS −5.6
Estrechar disciplinado
Lo que realmente mejora.
- Auto-evoluciónBucle de reintento con criterio de aceptación. Estrecho hasta que el fallo justifique ampliar.SWE +4.8OS +2.7★ ÚNICO MÓDULO CONSISTENTEMENTE ÚTIL
" Estrechar con disciplina vence a ensanchar con dinero, siempre. "
Slide 10 · Paper 2 · Meta-Harness · Stanford · Marzo 2026
Si el harness es código, se puede optimizar.
DSPy (Khattab, 2023) ajusta prompts dentro de un pipeline fijo. Meta-Harness reescribe el pipeline entero: estructura, recuperación, memoria, topología.
Bucle de optimización · 10M tokens/iter · 400× más feedback que cualquier método previo
Las trazas son irremplazables. Sin ellos: 50% → 34.6% (−15.4 pts). Con resúmenes en lugar de en bruto: 34.9% (−15.1 pts). La señal vive en los detalles en bruto. No hay atajo.
Slide 11 · Lo que cambia el cálculo
Un harness optimizado se transfiere.
El activo reutilizable ya no es el modelo. Es el harness. Optimizas con uno, mejoras los otros cinco.
1
Cambia la economía del producto. Invertir en el harness rinde más que esperar al próximo modelo.
2
Reduce la dependencia del proveedor. El activo portable es la lógica del harness, no el contrato con el proveedor.
3
Reabre el mercado para modelos pequeños. Haiku batiendo a Opus es la prueba.
Slide 12 · Las tres eras
Cada era absorbe la anterior.
Tres disciplinas en cuatro años. Cada una contiene a la previa y añade una capa de control.
2026
Harness Engineering
+ orquestación · memoria · verificación · seguridad
2024
Context Engineering
+ recuperación · ventana · prioridad de información
2022
Prompt Engineering
+ instrucción · few-shot · interpretación de roles
El harness engineering no reemplaza saber escribir prompts ni gestionar contexto. Los incluye — y añade orquestación, memoria, verificación y seguridad como problemas de primer orden.
Slide 13 · La forma extraña que toma la disciplina
Es un oficio de sustracción tanto como de adición.
Cada componente del harness codifica una asunción sobre lo que el modelo no puede hacer solo. Cuando el modelo aprende a hacerlo, el componente debe morir — o pasa a estorbar.
HERRAMIENTAS −80%
Vercel
Quitó el 80% de las herramientas de un agente
→ mejores resultados
REESCRITURAS ×5
Manus
Reescribió su harness 5 veces en 6 meses
→ cada vez más simple
REINICIOS −100%
Anthropic
Eliminó context resets cuando Opus 4.6 dejó de necesitarlos
→ asunción caducada, removida
El principio
El espacio del harness no se encoge a medida que los modelos mejoran. Se mueve.
El trabajo maduro de harness engineering no es construir estructura — es podarla a medida que el modelo absorbe lo que antes la justificaba.
Slide 14 · Cómo se ve un arnés mínimo
Lo que escribes el lunes.
Toda la teoría aterriza en una estructura de ficheros sorprendentemente pequeña. Esto es lo que copia BettaTech en su repo de ejemplo — y lo que cualquier equipo puede tener montado en una tarde.
proyecto/
├── AGENTS.md
├── init.sh
├── featurelist.json
├── progress/
│ ├── current.md
│ └── history.md
└── .claude/agents/
├── leader.md
├── implementer.md
└── reviewer.mdAGENTS.md Punto de entrada
Reglas, mapa del repo, convenciones. Lo primero que cada agente lee.
init.sh Gate de pre-trabajo
Verifica entorno y tests antes de dejar trabajar. Si falla → para.
featurelist.json Tareas estructuradas
Lista pendiente con criterios de aceptación. Estado: done · pendiente.
progress/ Memoria compartida
Los subagentes escriben aquí — anti teléfono descompuesto.
.claude/agents/ Roles del arnés
leader · implementer · reviewer. Cada uno con su .md de contrato.
El repo es el sistema. No hay magia — todo son ficheros que el agente lee antes de empezar y donde escribe lo que va aprendiendo.
Slide 15 · Conclusiones
Cinco hallazgos que reformulan el campo.
Cambio de paradigma, no optimización
La pregunta operativa cambia: deja de ser "qué modelo elijo" y pasa a ser "qué estructura quito". Invierte el reflejo de añadir verificadores y multi-candidate.
El harness es el activo de primer nivel
Si un harness mejora 5 modelos sin retoque, vale más que cualquier modelo individual. Cambia la economía del producto y reduce la dependencia del proveedor.
La representación es decisión arquitectónica
El +16.8 pts de NLAH solo por cambiar de código a lenguaje natural estructurado implica que la elección de DSL/prompt-as-code es un parámetro de rendimiento, no estilístico.
La verificación naive es trampa cara
Añadir verificadores y búsqueda multi-candidato empeora el rendimiento mientras dispara el coste. Lo único que ayuda consistentemente es estrechar el loop del propio agente.
La disciplina es de sustracción
Vercel −80% herramientas. Manus 5 reescrituras. Anthropic eliminando reinicios de contexto. El harness se mantiene vivo podándolo, no engordándolo.
Si construyes agentes, ya eres un harness engineer — lo llames así o no. La pregunta deja de ser qué modelo elegir. Pasa a ser qué estructura eliminar.
Slide 16 · Cierre
Ya no es cuestión de qué modelo elegir.
Es cuestión de qué estructura quitar.
Papers de referencia
- Pan et al. · Natural-Language Agent Harnesses · Tsinghua · marzo 2026
- Khattab et al. · Meta-Harness · Stanford · marzo 2026
- DeepMind · AutoHarness · 2025
- AgentSpec DSL · ICSE 2026
Convergencia de autores
- Lopopolo (OpenAI) · "el código es libre, el harness es lo escaso"
- Horthy (HumanLayer) · 12-Factor Agents
- Pan + Khattab · NLAH + Meta-Harness
Próximo paso accionable
- Identifica qué asunción caducada sigue viva en tu harness.
- Mídela. Quítala. Mide otra vez.
- Repite hasta que el harness solo tenga lo que demuestra valor.
1 / 16
Navigation