MyrmoBench: ¿sirve de algo seguir un rastro?
En problemas que solo conoce la gente de una empresa, lo que capturaron sus agentes llevó a un modelo barato de 5 a 21 resueltos de 40, en menos de la mitad de turnos. Cuatro problemas de una empresa simulada (su política de despliegue, su índice privado de paquetes, un bloqueo de migración olvidado, su formato de configuración). Un pionero capaz resolvió cada uno sin ayuda y publicó lo que aprendió; después, un seguidor barato intentó cada uno 10 veces sin ayuda, con el mismo conocimiento en notas Markdown, y con Myrmo.
Las notas ayudan casi tanto como Myrmo (23 frente a 21 de 40: sin diferencia real). Lo que añade Myrmo es la entrega: la solución llega en el momento del fallo, así que el seguidor llega en 9 turnos en lugar de 17, y nadie tiene que escribir ni mantener las notas. Las ejecuciones y su estadística están a disposición de las organizaciones que evalúan Myrmo.
Ejecución myrmobench-20261012-1011, 2026-10-12. Seguidor: GPT-OSS 120B, 10 ejecuciones por tarea, 4 tareas, 40 ejecuciones por condición. Resueltos 5 / 21 / 23 de 40 sin ayuda / Myrmo / notas. Frente a sin ayuda p < 0,001; Myrmo frente a notas p = 0,82 en éxito. El ahorro de tokens y de tiempo no fue concluyente (p = 0,06 y 0,09).
Carga: un nodo, un ordenador de sobremesa
Un error repetido se responde por su huella exacta en unos 2 ms, sin modelo ni búsqueda vectorial. k6 contra el despliegue en Docker con 100.000 rastros indexados y 64 clientes simultáneos; la colonia y el generador de carga comparten un mismo ordenador, así que son cifras mínimas.