Claude Mythos vuelve a poner sobre la mesa una pregunta incómoda: ¿están avanzando los modelos de IA más rápido que nuestra capacidad para medirlos? Las evaluaciones atribuidas a METR apuntan a que el modelo de Anthropic habría alcanzado un horizonte de tareas de al menos 16 horas, una cifra que supera el rango útil de algunos benchmarks actuales.

Qué mide METR

METR evalúa cuánto tiempo de trabajo humano puede sustituir o resolver un modelo de IA en tareas de software y razonamiento operativo. La métrica no dice que el sistema trabaje 16 horas seguidas como una persona, sino que puede resolver tareas que a un humano competente le llevarían ese orden de magnitud.

Distintos análisis especializados, como los publicados por OfficeChai y Revolution in AI, recogen que Mythos habría llegado al límite superior de la evaluación en el criterio del 50% de éxito.

El matiz importante: fiabilidad

Una cosa es resolver una tarea la mitad de las veces y otra muy distinta hacerlo con fiabilidad empresarial. Por eso el dato más interesante no es solo el máximo de 16 horas, sino cómo se comporta el modelo cuando se exige mayor porcentaje de acierto.

Ahí aparece el debate real: los modelos son cada vez más capaces, pero el coste de los fallos también crece. En tareas largas, un error al final puede arruinar horas de trabajo previo.

Qué significa para empresas y gobiernos

Si estos resultados se consolidan, los agentes de IA estarán cada vez más cerca de encargarse de proyectos completos: depurar sistemas, analizar repositorios, preparar migraciones o ejecutar flujos internos. Eso dispara la productividad, pero también los riesgos de seguridad, dependencia y supervisión.

Mythos no es solo una mejora incremental. Es una señal de que las herramientas de evaluación empiezan a quedarse cortas ante modelos más autónomos.

---

Ampliación: por qué los benchmarks de “horizonte temporal” son tan relevantes

Los benchmarks tradicionales de IA suelen medir respuestas aisladas: resolver un problema matemático, escribir código corto, contestar preguntas o superar pruebas académicas. El enfoque de METR es distinto porque intenta medir algo más parecido al trabajo real: cuánto tiempo humano puede abarcar una IA cuando se le da una tarea compleja y abierta.

Este tipo de evaluación importa porque el valor económico de la IA no está solo en contestar mejor, sino en sostener trabajo durante más tiempo. Un agente útil para empresas debe investigar, planificar, ejecutar, corregir errores y mantener coherencia durante horas. Esa persistencia es lo que separa a un asistente potente de un trabajador digital parcial.

La diferencia entre capacidad y confianza

Que un modelo alcance tareas de muchas horas no significa que sea fiable para soltarlo sin supervisión. En entornos profesionales, una tasa de éxito del 50% puede ser insuficiente. Para código crítico, finanzas, seguridad o legal, el estándar necesario se acerca mucho más al 90% o 99%, y aun así necesita revisión humana.

Ahí aparece una distinción clave: los modelos pueden ser muy capaces y, al mismo tiempo, peligrosos si se usan sin control. Cuanto más larga es la tarea, más difícil resulta detectar en qué punto se desvió. Un error pequeño al principio puede contaminar todo el resultado.

Qué significa para programadores y equipos técnicos

El impacto más inmediato se verá en desarrollo de software. Modelos capaces de sostener tareas largas podrán migrar repositorios, escribir pruebas, buscar vulnerabilidades, revisar dependencias o preparar documentación técnica. Eso no elimina al programador, pero cambia su función: menos ejecución manual y más dirección, revisión y arquitectura.

También aumenta el riesgo de dependencia. Si un equipo acepta cambios generados por IA sin entenderlos, acumula deuda técnica invisible. Por eso las empresas que adopten agentes avanzados necesitarán procesos nuevos: entornos sandbox, revisión obligatoria, control de permisos y trazabilidad de acciones.

El benchmark se queda corto, y eso también es noticia

Uno de los puntos más llamativos es que el benchmark pueda quedarse sin tareas suficientemente difíciles. Eso obliga a crear nuevas evaluaciones con horizontes más largos, tareas más realistas y criterios de seguridad más exigentes.

La lectura de fondo es clara: medir IA se ha convertido en una carrera propia. Si no sabemos medir bien las capacidades, tampoco sabremos regularlas, asegurarlas ni integrarlas con garantías en empresas.