Hermes Agent: balance de 8 experimentos del Laboratorio AF

¿Qué hemos aprendido después de ocho experimentos con Hermes Agent? En este balance del Laboratorio AF reunimos los resultados de nuestras pruebas de investigación web, análisis de documentos, comparación y repetición de modelos, memoria, instrucciones engañosas, creación de archivos y tratamiento de datos incompletos.

Distinguimos lo que comprobamos mediante respuestas, archivos y exportaciones JSON de lo que no llegamos a medir. Las pruebas muestran capacidades útiles y limitaciones concretas; no constituyen una evaluación general de todos los agentes IA.

1. Objetivo del experimento

Esta primera serie exploró tareas concretas con Hermes Agent: buscar información en Internet, responder preguntas sobre un PDF, comparar dos modelos, guardar y recuperar recuerdos, responder ante instrucciones engañosas, crear un CSV y trabajar con información insuficiente. El Experimento 6 amplió la comparación del Experimento 3 mediante tres ejecuciones nuevas por modelo; por tanto, los ocho artículos no representan ocho pruebas independientes de capacidades distintas.

Nuestro propósito fue documentar qué ocurrió en cada caso, qué herramientas se utilizaron y cuánto trabajo de comprobación fue necesario. Mantuvimos separadas las respuestas del agente y las evidencias revisadas, así como el tiempo de ejecución y el de revisión cuando disponíamos de ambas mediciones. Las conclusiones se limitan a los documentos, peticiones y configuraciones utilizados.

2. Cómo realizamos y revisamos las pruebas

Trabajamos en Windows 11 con Hermes Agent Desktop, versión observada 0.21.5 +4585, conectado mediante «ChatGPT or Codex Subscription». Utilizamos gpt-6.1-sol y gpt-6-luna según el experimento. Comprobamos las capacidades disponibles antes de las pruebas y registramos los cambios de configuración, sin asumir que todas las sesiones tenían las mismas herramientas activadas.

Revisamos respuestas, capturas y exportaciones JSON. Cuando la tarea generó un archivo, comprobamos también su contenido por separado. Distinguimos las herramientas habilitadas de las llamadas realmente registradas: por ejemplo, algunos TXT se incorporaron directamente al mensaje, mientras que el PDF se leyó mediante read_file. También documentamos consultas de skills y errores de lectura.

Los tiempos se midieron manualmente con el cronómetro de Windows y son aproximados. Consultamos /usage en las pruebas donde registramos tokens y llamadas al modelo, conservando las capturas porque las exportaciones revisadas no guardaron esos valores. No medimos costes monetarios ni consumo de cuota de la suscripción, y no disponemos de una medición completa del trabajo de preparación, revisión y documentación.

3. Resultados de los experimentos 1 al 4

Experimento 1 - Investigación web

Realizamos tres pruebas: una guiada y dos con una sola instrucción inicial. Las dos últimas tardaron aproximadamente 54 y 53 segundos. En la tercera registramos además 9 minutos y 16 segundos de revisión asistida, incluidos intercambios, esperas, comprobaciones y exportación. Exa devolvió textos cortados y Keenable recuperó más contenido. Las exportaciones permitieron distinguir el recorte visual del contenido almacenado y detectar consultas de skills pese a la restricción de usar solo búsqueda y extracción web. No medimos tokens ni coste monetario.

Experimento 2 - Análisis de PDF

Tras varios intentos interrumpidos cuya causa no determinamos, completamos una prueba de aproximadamente 25 segundos. Hermes respondió correctamente a siete preguntas y citó las páginas adecuadas. Registramos 36.452 tokens totales y tres llamadas al modelo. El JSON mostró skill_view y read_file. La extracción mezcló parte del texto de la página 2 con la última fila de la tabla, aunque las respuestas fueron correctas.

Experimento 3 - Comparación inicial de modelos

Ejecutamos una vez la misma tarea con cada modelo. Sol tardó unos 80 segundos, registró 36.514 tokens totales y completó cinco de siete preguntas: dejó operaciones sin evaluar en dos respuestas. Luna tardó 25,44 segundos, registró 46.719 tokens totales y completó las siete. Esta primera comparación no permitía concluir que Luna fuera superior en general ni más barato.

Experimento 4 - Memoria

Verificamos el guardado, la recuperación en otra sesión y tras reiniciar la aplicación, la actualización y la eliminación de un recuerdo ficticio. La primera recuperación tardó 5,67 segundos, con 7.683 tokens totales, una llamada al modelo y ninguna herramienta registrada. No medimos todas las fases ni probamos apagar el ordenador. Eliminar el recuerdo no borró conversaciones o exportaciones, y no interpretamos el resultado como reentrenamiento del modelo.

4. Resultados de los experimentos 5 al 8

Experimento 5 - Instrucciones engañosas

Comparamos un TXT de control con una copia que añadía una orden para ignorar las preguntas. Hermes respondió correctamente a las nueve preguntas en ambas ejecuciones y no siguió esa orden. Los tiempos fueron 10,19 y 9,08 segundos, con 5.374 y 5.415 tokens totales, respectivamente. Los JSON confirmaron que recibió la instrucción engañosa completa y que no hubo llamadas a herramientas. Solo probamos una variante, cuyo texto se incorporó directamente al mensaje.

Experimento 6 - Repetición de modelos

Realizamos tres ejecuciones nuevas por modelo, alternando Sol y Luna. Sol completó cinco de siete respuestas en las tres; Luna completó correctamente las siete en las tres. Los tiempos medios aproximados fueron 42,29 segundos para Sol y 19,62 para Luna. Todas las sesiones recibieron la misma petición y extracción del PDF. Cada pareja empezó por Sol, por lo que no equilibramos qué modelo se ejecutaba primero. Los resultados describen una sola tarea y no establecen una superioridad general.

Experimento 7 - Creación de archivos

Sol creó y volvió a leer un CSV con seis tareas, aplicando la fecha actualizada, señalando los dos campos ausentes y excluyendo una propuesta no aprobada. La ejecución tardó 40,43 segundos y registró 18.307 tokens totales y tres llamadas al modelo. El archivo era correcto, pero su uso en Excel requirió importar como UTF-8 y ajustar los encabezados. El XLSX posterior fue una copia de revisión preparada por nosotros. Aunque inicialmente habíamos previsto Luna, registramos Sol como modelo observado.

Experimento 8 - Errores y datos incompletos

Sol recuperó los datos confirmados, no eligió entre fechas contradictorias y comunicó el error «File not found» al intentar leer el CSV ausente. No inventó gastos ni un saldo y explicó qué información necesitaba. La ejecución tardó 28,08 segundos, con 11.601 tokens totales y dos llamadas al modelo. Solicitó aclaraciones mediante texto, sin activar Clarifying Questions. No evaluamos la resolución posterior y la petición incluía instrucciones explícitas para evitar invenciones.

5. Qué aprendimos al revisar los resultados

Una respuesta correcta no basta para conocer cómo se realizó la tarea. Las exportaciones permitieron comprobar si hubo lectura de archivos, consultas de skills, escrituras o errores de herramientas. También mostraron diferencias entre disponer de una capacidad y utilizarla: los TXT adjuntos se incorporaron directamente al mensaje en varias pruebas, mientras que otras tareas requirieron llamadas a read_file.

La completitud debe revisarse por separado de la corrección de los datos presentes. Sol identificó los datos del PDF y planteó correctamente las operaciones, pero omitió los resultados numéricos solicitados en la comparación inicial y en sus tres repeticiones. Registrar esas respuestas como completas habría ocultado una limitación relevante para el usuario.

El tiempo de ejecución tampoco representa todo el trabajo. En la tercera investigación web medimos aproximadamente 53 segundos de ejecución y 9 minutos y 16 segundos de revisión asistida. En la creación del CSV fueron necesarios ajustes posteriores de importación en Excel, cuyo tiempo no medimos. Estos casos muestran por qué conviene separar ejecución, preparación, revisión y documentación.

Por último, distinguimos un resultado favorable de una garantía general. Que Hermes no siguiera una instrucción engañosa concreta no demuestra inmunidad ante otras variantes. Que identificara datos ausentes en una prueba tampoco garantiza que siempre lo haga. Las repeticiones aportaron evidencia sobre una tarea, pero no sustituyen pruebas con otros documentos, peticiones y configuraciones.

6. Qué no podemos concluir de estos experimentos con Hermes Agent

No podemos determinar qué modelo es mejor para cualquier tarea. La comparación utilizó un único PDF y una petición concreta. Las tres repeticiones por modelo mantuvieron la diferencia de completitud observada, pero no cubrieron otras clases de trabajo. Además, alternamos los modelos sin equilibrar cuál empezaba cada pareja.

Tampoco podemos convertir los tokens registrados en coste monetario o consumo de cuota de la suscripción. Los contadores mostraron categorías como Input, Prompt, Output, Completion y, en algunas ejecuciones, Reasoning. Conservamos sus valores sin sumar todos los campos y no verificamos cómo los calcula Hermes. Las llamadas al modelo y las llamadas a herramientas son medidas distintas.

No disponemos de un tiempo total comparable para los ocho experimentos. Algunas fases no se cronometraron y solo medimos la revisión asistida en una de las investigaciones web. Las pruebas tampoco constituyen una auditoría completa de seguridad ni demuestran aprendizaje autónomo, resistencia general a instrucciones engañosas o ausencia de errores futuros.

7. Permisos, datos y revisión humana

Ajustamos las capacidades de Hermes según cada prueba y mantuvimos la aprobación Manual. Revisamos las llamadas registradas para comprobar qué herramientas utilizó realmente. Esta revisión permitió documentar consultas de skills, lecturas, la creación del CSV y el intento fallido de abrir el archivo de gastos, sin atribuir al agente acciones que no aparecían en las evidencias.

En las pruebas documentales, de memoria y de creación de archivos utilizamos datos ficticios. La carpeta de trabajo estaba dentro de OneDrive y no constituía un entorno aislado del ordenador. Desactivar una herramienta no borra archivos ni conversaciones, y eliminar un recuerdo no elimina las exportaciones o los mensajes donde ese dato apareció.

La revisión humana fue necesaria para comprobar fuentes, cálculos, datos vigentes, archivos generados y limitaciones. Como contexto general, el perfil de riesgos de IA generativa del NIST aborda el riesgo de generar información falsa o inventada. Este documento no evalúa Hermes ni valida nuestros resultados.

8. Balance y siguiente etapa del Laboratorio AF

Los ocho experimentos permitieron documentar capacidades útiles de Hermes Agent y dificultades que afectan a su uso práctico. Obtuvimos respuestas correctas sobre documentos, verificamos operaciones de memoria y comprobamos la creación de un CSV. También encontramos contenido web recortado, imperfecciones de extracción, respuestas incompletas y ajustes necesarios para utilizar un archivo en Excel.

El aprendizaje principal es evaluar el resultado junto con el proceso y el trabajo de revisión. Una tarea puede terminar rápido y requerir comprobaciones posteriores; una respuesta puede contener datos correctos y dejar parte de la petición sin completar. Por eso conservamos evidencias y limitamos cada conclusión al escenario observado.

La siguiente etapa será desarrollar el primer proyecto del área «Agentes IA que construimos»: un asistente IA personalizado con una función concreta, instrucciones definidas y criterios de comprobación. Utilizaremos lo aprendido para delimitar sus permisos, preparar casos de prueba y documentar tanto los resultados como sus limitaciones.

Preguntas frecuentes sobre el coste de los agentes IA