Fiabilidad de modelos IA con Hermes Agent: Experimento 6 del Laboratorio AF

En el Experimento 6 del Laboratorio AF evaluamos la fiabilidad de modelos IA con Hermes Agent al repetir una misma tarea. Ampliamos la comparación del Experimento 3 con tres ejecuciones nuevas de gpt-6.1-sol y tres de gpt-6-luna, utilizando el mismo PDF ficticio y la misma petición.

Alternamos los modelos y revisamos las respuestas, los cálculos, los tiempos aproximados, los contadores de tokens y las herramientas registradas. Sol dejó sin completar los resultados numéricos en sus tres ejecuciones; Luna respondió correctamente a las siete preguntas en las tres.

1. Objetivo del experimento

El objetivo fue comprobar si los resultados de la comparación inicial entre Sol y Luna se repetían al ejecutar varias veces la misma tarea. Evaluamos la exactitud y completitud de siete respuestas sobre un PDF ficticio, incluidas las operaciones de gasto, presupuesto disponible y porcentaje de aprobación. También comprobamos las referencias a páginas y el reconocimiento de datos ausentes.

Realizamos tres ejecuciones nuevas por modelo, en sesiones independientes y en el orden Sol → Luna → Sol → Luna → Sol → Luna. Mantuvimos el mismo documento, petición y configuración de razonamiento. Esta serie permite observar la consistencia en una tarea concreta; no establece la fiabilidad general de los modelos ni permite garantizar su comportamiento en otras tareas.

2. Herramientas utilizadas

Utilizamos Hermes Agent Desktop, versión observada 0.21.5 +4585, conectado mediante el proveedor «ChatGPT or Codex Subscription». Los modelos comparados fueron gpt-6.1-sol y gpt-6-luna, ambos con razonamiento Medio, modo Rápido desactivado y aprobación Manual.

El documento de prueba fue el PDF ficticio «Proyecto Faro: Informe de seguimiento», utilizado en los experimentos 2 y 3. Medimos los tiempos aproximados con el cronómetro de Reloj de Windows y consultamos /usage inmediatamente después de cada respuesta. Guardamos las capturas de los contadores y exportamos las seis sesiones en JSON para revisar las respuestas y las llamadas reales a herramientas.

Mantuvimos activados únicamente Skills, File Operations y Clarifying Questions. Las seis ejecuciones utilizaron skill_view y read_file. Luna añadió skills_list en sus ejecuciones segunda y tercera. Las exportaciones confirmaron que todas recibieron la misma petición y el mismo texto extraído del PDF.

Puedes consultar la documentación oficial de Hermes Agent para conocer su configuración y herramientas. Los resultados de esta comparación se basan en las respuestas, las exportaciones JSON y las capturas conservadas

3. Entorno de trabajo

Realizamos las seis pruebas en Windows 11. Utilizamos el archivo Experimento-02-Documento-prueba-AF.pdf, guardado en C:\Users\anton\OneDrive\Documentos\Laboratorio-AF-Hermes. Conservamos las nuevas exportaciones y capturas en la subcarpeta Experimento-06-Fiabilidad-modelos. Esta ubicación dentro de OneDrive no constituye un entorno aislado del ordenador.

El PDF contiene tres páginas con datos ficticios del Proyecto Faro. Incluye responsables, una meta y una fecha actualizadas, un presupuesto máximo, cuatro partidas de gasto, resultados de un lote revisado y dos riesgos con sus medidas. También identifica información que no consta, como el proveedor de la licencia, el tipo de IVA aplicable y el coste mensual de mantenimiento.

Cerramos y reabrimos Hermes antes de cada ejecución y utilizamos una sesión nueva para cada prueba. Alternamos Sol y Luna, manteniendo el documento y la petición. Los tiempos corresponden a mediciones manuales de ejecución; no incluyen la preparación, la revisión posterior ni la documentación.

4. Instalación y configuración

No instalamos de nuevo Hermes. Antes de empezar, activamos Skills y comprobamos que solo quedaban habilitados Skills, File Operations y Clarifying Questions. Los demás conjuntos de herramientas permanecieron desactivados, incluidos Memory, Session Search, búsqueda web, navegador, ejecución de código, control del ordenador, terminal y delegación.

En cada sesión seleccionamos el modelo correspondiente y comprobamos el razonamiento Medio, el modo Rápido desactivado y la aprobación Manual. Adjuntamos el PDF original y pegamos la misma petición recuperada de las exportaciones del Experimento 3, sin añadir correcciones ni pistas sobre los resultados anteriores.

Al consultar /usage antes de la primera ejecución, la sesión vacía no mostró valores. Por tanto, no registramos una lectura inicial de cero. Después de cada respuesta consultamos el comando inmediatamente y guardamos sus valores mediante una captura, antes de cerrar Hermes o introducir otros mensajes.

5. Pruebas prácticas

Recuperamos la petición original de los JSON del Experimento 3 y comprobamos que era idéntica para Sol y Luna. Pedía leer únicamente el PDF mediante read_file y responder siete preguntas sobre responsables, datos vigentes, presupuesto, gastos y saldo disponible, porcentaje de aprobación, información ausente y riesgos con sus medidas.

La petición exigía citar las páginas, distinguir los datos del documento de los cálculos y responder «No consta en el documento» cuando faltara información. También prohibía consultar Internet, otras conversaciones u otros archivos, crear o modificar archivos y utilizar terminal, ejecución de código, control del escritorio o delegación.

Realizamos las seis ejecuciones en este orden: Sol 1, Luna 1, Sol 2, Luna 2, Sol 3 y Luna 3. Cerramos y reabrimos Hermes entre pruebas y abrimos una sesión nueva para cada una. No enviamos correcciones ni solicitudes para completar las respuestas, de modo que evaluamos la primera respuesta final de cada ejecución.

La referencia de revisión incluía una meta vigente de 150 documentos y una entrega el 18 de diciembre de 2026, que sustituían 120 documentos y el 15 de diciembre. Los cálculos esperados eran 600 + 1.080 + 240 + 320 = 2.240 euros de gastos, 4.800 − 2.240 = 2.560 euros disponibles y 34 ÷ 40 × 100 = 85 % de aprobación. Consideramos incompleta una respuesta que mostrara la operación sin entregar el resultado solicitado.

Después de cada ejecución guardamos el tiempo aproximado, la captura de /usage y el JSON de la sesión. Las seis exportaciones confirmaron la misma petición y el mismo texto extraído. La extracción siguió mezclando parte del contenido de la página 2 con la última fila de la tabla; registramos esta limitación al revisar las respuestas.

6. Resultados de fiabilidad de modelos IA con Hermes Agent

Sol obtuvo cinco de siete respuestas completas en cada una de sus tres ejecuciones. Identificó correctamente los responsables, los datos vigentes, el presupuesto, la información ausente y los riesgos. En los puntos 4 y 5 mostró las operaciones, pero no entregó los resultados de gasto total, presupuesto disponible y porcentaje de aprobación.

En las tres respuestas, Sol alegó que necesitaba una herramienta de cálculo para evaluar esas operaciones. Registramos esa explicación sin verificar la regla que invocaba y sin corregir las respuestas. Por tanto, el problema observado fue de completitud: faltaron los resultados numéricos solicitados, aunque las operaciones planteadas eran correctas.

Luna obtuvo siete de siete respuestas completas y correctas en sus tres ejecuciones. Entregó los cálculos de 2.240 euros gastados, 2.560 euros disponibles y 85 % de aprobación, identificó los datos ausentes y citó páginas adecuadas. En esta serie, las tres respuestas de Luna completaron la tarea y las tres de Sol repitieron las mismas omisiones.

Los tiempos aproximados de Sol fueron 45,02, 41,00 y 40,86 segundos. Los de Luna fueron 16,60, 21,57 y 20,68 segundos. El tiempo medio fue de 42,29 segundos para Sol y 19,62 segundos para Luna. Estas mediciones manuales excluyen la preparación, revisión y documentación, y no permiten predecir los tiempos de otras tareas.

Los contadores de tokens totales mostraron 32.232, 32.121 y 32.189 para Sol; y 31.772, 40.958 y 40.997 para Luna. Sol registró tres llamadas al modelo en cada ejecución. Luna registró tres en la primera y cuatro en la segunda y tercera. En estas dos últimas añadió skills_list antes de skill_view y read_file. Los tokens no equivalen directamente a coste monetario ni a consumo de cuota.

Las exportaciones de Sol y de Luna 1 contenían seis mensajes; las de Luna 2 y Luna 3, ocho. Todas confirmaron la misma petición y extracción del PDF. La serie alternó los modelos, pero cada pareja empezó por Sol; no equilibramos cuál se ejecutaba primero. Con tres pruebas por modelo y una sola tarea, las conclusiones se limitan a esta configuración.

7. Costes y seguridad

No medimos el coste monetario ni el consumo de cuota de la suscripción. Conservamos los campos de /usage tal como aparecieron: Input tokens y Prompt tokens mostraron valores diferentes, mientras que Output tokens y Completion tokens coincidieron en estas ejecuciones. No sumamos todas las categorías ni verificamos cómo calcula Hermes cada contador.

Luna completó la tarea en menos tiempo en las tres parejas, pero mostró más tokens totales que Sol en sus ejecuciones segunda y tercera. Estos resultados no permiten afirmar que un modelo sea más barato. Tampoco medimos el tiempo de preparación, revisión y documentación, necesario para valorar el trabajo completo.

Utilizamos un PDF con datos ficticios y mantuvimos la aprobación Manual. Los JSON registraron consultas de skills y lectura del documento, sin llamadas a búsqueda web, terminal, ejecución de código, control del ordenador ni delegación. La carpeta dentro de OneDrive no proporciona aislamiento, y desactivar herramientas no equivale a borrar conversaciones o archivos existentes.

8. Conclusiones sobre fiabilidad de modelos IA

Las tres ejecuciones nuevas por modelo reprodujeron la diferencia de completitud observada en el Experimento 3. Sol respondió correctamente a cinco preguntas, pero dejó sin evaluar las operaciones de las otras dos. Luna completó correctamente las siete preguntas en sus tres ejecuciones. La repetición permitió comprobar que esas conductas se mantuvieron en esta serie.

Luna también terminó antes en las tres parejas, aunque sus contadores de tokens variaron y en dos ejecuciones añadió una consulta de skills. Esto muestra que repetir una tarea puede mantener la calidad de las respuestas mientras cambian el tiempo, los tokens y las herramientas utilizadas. Conviene registrar estas dimensiones por separado.

Los resultados se limitan a un PDF, una petición y esta configuración de Hermes. No demuestran que Luna sea superior en general ni más barato. Para ampliar la comparación sería necesario utilizar otras tareas, aumentar las repeticiones y equilibrar qué modelo se ejecuta primero. Estas seis pruebas amplían la evidencia del Experimento 3, pero no sustituyen una evaluación más extensa.