{"id":2753,"date":"2026-10-13T21:49:26","date_gmt":"2026-10-13T19:49:26","guid":{"rendered":"https:\/\/antoniofernandez.net\/?p=2753"},"modified":"2026-10-24T20:21:37","modified_gmt":"2026-10-24T18:21:37","slug":"fiabilidad-de-modelos-ia-hermes-agent","status":"publish","type":"post","link":"https:\/\/antoniofernandez.net\/copia-divi\/fiabilidad-de-modelos-ia-hermes-agent\/","title":{"rendered":"Fiabilidad de modelos IA con Hermes Agent: Experimento 6 del Laboratorio AF"},"content":{"rendered":"\n
\"Fiabilidad
Experimento 6 del Laboratorio AF: tres ejecuciones de Sol y tres de Luna con el mismo PDF<\/figcaption><\/figure>\n\n\n\n
\n

En el Experimento 6 del Laboratorio AF evaluamos la fiabilidad de modelos IA con Hermes Agent al repetir una misma tarea. Ampliamos la comparaci\u00f3n del Experimento 3 con tres ejecuciones nuevas de gpt-6.1-sol y tres de gpt-6-luna, utilizando el mismo PDF ficticio y la misma petici\u00f3n. <\/p>\n\n\n\n

Alternamos los modelos y revisamos las respuestas, los c\u00e1lculos, los tiempos aproximados, los contadores de tokens y las herramientas registradas. Sol dej\u00f3 sin completar los resultados num\u00e9ricos en sus tres ejecuciones; Luna respondi\u00f3 correctamente a las siete preguntas en las tres.<\/p>\n<\/div>\n\n\n\n

\n

1. Objetivo del experimento<\/h2>\n\n\n\n

El objetivo fue comprobar si los resultados de la comparaci\u00f3n inicial entre Sol y Luna se repet\u00edan al ejecutar varias veces la misma tarea. Evaluamos la exactitud y completitud de siete respuestas sobre un PDF ficticio, incluidas las operaciones de gasto, presupuesto disponible y porcentaje de aprobaci\u00f3n. Tambi\u00e9n comprobamos las referencias a p\u00e1ginas y el reconocimiento de datos ausentes.<\/p>\n\n\n\n

Realizamos tres ejecuciones nuevas por modelo, en sesiones independientes y en el orden Sol \u2192 Luna \u2192 Sol \u2192 Luna \u2192 Sol \u2192 Luna. Mantuvimos el mismo documento, petici\u00f3n y configuraci\u00f3n de razonamiento. Esta serie permite observar la consistencia en una tarea concreta; no establece la fiabilidad general de los modelos ni permite garantizar su comportamiento en otras tareas.<\/p>\n<\/div>\n\n\n\n

\n

2. Herramientas utilizadas<\/h2>\n\n\n\n

Utilizamos Hermes Agent Desktop, versi\u00f3n observada 0.21.5 +4585, conectado mediante el proveedor \u00abChatGPT or Codex Subscription\u00bb. Los modelos comparados fueron gpt-6.1-sol y gpt-6-luna, ambos con razonamiento Medio, modo R\u00e1pido desactivado y aprobaci\u00f3n Manual.<\/p>\n\n\n\n

El documento de prueba fue el PDF ficticio \u00abProyecto Faro: Informe de seguimiento\u00bb, utilizado en los experimentos 2 y 3. Medimos los tiempos aproximados con el cron\u00f3metro de Reloj de Windows y consultamos \/usage inmediatamente despu\u00e9s de cada respuesta. Guardamos las capturas de los contadores y exportamos las seis sesiones en JSON para revisar las respuestas y las llamadas reales a herramientas.<\/p>\n\n\n\n

Mantuvimos activados \u00fanicamente Skills, File Operations y Clarifying Questions. Las seis ejecuciones utilizaron skill_view y read_file. Luna a\u00f1adi\u00f3 skills_list en sus ejecuciones segunda y tercera. Las exportaciones confirmaron que todas recibieron la misma petici\u00f3n y el mismo texto extra\u00eddo del PDF.<\/p>\n\n\n\n

Puedes consultar la documentaci\u00f3n oficial de Hermes Agent<\/a> para conocer su configuraci\u00f3n y herramientas. Los resultados de esta comparaci\u00f3n se basan en las respuestas, las exportaciones JSON y las capturas conservadas<\/p>\n<\/div>\n\n\n\n

\n

3. Entorno de trabajo<\/h2>\n\n\n\n

Realizamos las seis pruebas en Windows 11. Utilizamos el archivo Experimento-02-Documento-prueba-AF.pdf, guardado en C:\\Users\\anton\\OneDrive\\Documentos\\Laboratorio-AF-Hermes. Conservamos las nuevas exportaciones y capturas en la subcarpeta Experimento-06-Fiabilidad-modelos. Esta ubicaci\u00f3n dentro de OneDrive no constituye un entorno aislado del ordenador.<\/p>\n\n\n\n

El PDF contiene tres p\u00e1ginas con datos ficticios del Proyecto Faro. Incluye responsables, una meta y una fecha actualizadas, un presupuesto m\u00e1ximo, cuatro partidas de gasto, resultados de un lote revisado y dos riesgos con sus medidas. Tambi\u00e9n identifica informaci\u00f3n que no consta, como el proveedor de la licencia, el tipo de IVA aplicable y el coste mensual de mantenimiento.<\/p>\n\n\n\n

Cerramos y reabrimos Hermes antes de cada ejecuci\u00f3n y utilizamos una sesi\u00f3n nueva para cada prueba. Alternamos Sol y Luna, manteniendo el documento y la petici\u00f3n. Los tiempos corresponden a mediciones manuales de ejecuci\u00f3n; no incluyen la preparaci\u00f3n, la revisi\u00f3n posterior ni la documentaci\u00f3n.<\/p>\n<\/div>\n\n\n\n

\n

4. Instalaci\u00f3n y configuraci\u00f3n<\/strong><\/h2>\n\n\n\n

No instalamos de nuevo Hermes. Antes de empezar, activamos Skills y comprobamos que solo quedaban habilitados Skills, File Operations y Clarifying Questions. Los dem\u00e1s conjuntos de herramientas permanecieron desactivados, incluidos Memory, Session Search, b\u00fasqueda web, navegador, ejecuci\u00f3n de c\u00f3digo, control del ordenador, terminal y delegaci\u00f3n.<\/p>\n\n\n\n

En cada sesi\u00f3n seleccionamos el modelo correspondiente y comprobamos el razonamiento Medio, el modo R\u00e1pido desactivado y la aprobaci\u00f3n Manual. Adjuntamos el PDF original y pegamos la misma petici\u00f3n recuperada de las exportaciones del Experimento 3, sin a\u00f1adir correcciones ni pistas sobre los resultados anteriores.<\/p>\n\n\n\n

Al consultar \/usage antes de la primera ejecuci\u00f3n, la sesi\u00f3n vac\u00eda no mostr\u00f3 valores. Por tanto, no registramos una lectura inicial de cero. Despu\u00e9s de cada respuesta consultamos el comando inmediatamente y guardamos sus valores mediante una captura, antes de cerrar Hermes o introducir otros mensajes.<\/p>\n<\/div>\n\n\n\n

\n

5. Pruebas pr\u00e1cticas<\/h2>\n\n\n\n

Recuperamos la petici\u00f3n original de los JSON del Experimento 3 y comprobamos que era id\u00e9ntica para Sol y Luna. Ped\u00eda leer \u00fanicamente el PDF mediante read_file y responder siete preguntas sobre responsables, datos vigentes, presupuesto, gastos y saldo disponible, porcentaje de aprobaci\u00f3n, informaci\u00f3n ausente y riesgos con sus medidas.<\/p>\n\n\n\n

La petici\u00f3n exig\u00eda citar las p\u00e1ginas, distinguir los datos del documento de los c\u00e1lculos y responder \u00abNo consta en el documento\u00bb cuando faltara informaci\u00f3n. Tambi\u00e9n prohib\u00eda consultar Internet, otras conversaciones u otros archivos, crear o modificar archivos y utilizar terminal, ejecuci\u00f3n de c\u00f3digo, control del escritorio o delegaci\u00f3n.<\/p>\n\n\n\n

Realizamos las seis ejecuciones en este orden: Sol 1, Luna 1, Sol 2, Luna 2, Sol 3 y Luna 3. Cerramos y reabrimos Hermes entre pruebas y abrimos una sesi\u00f3n nueva para cada una. No enviamos correcciones ni solicitudes para completar las respuestas, de modo que evaluamos la primera respuesta final de cada ejecuci\u00f3n.<\/p>\n\n\n\n

La referencia de revisi\u00f3n inclu\u00eda una meta vigente de 150 documentos y una entrega el 18 de diciembre de 2026, que sustitu\u00edan 120 documentos y el 15 de diciembre. Los c\u00e1lculos esperados eran 600 + 1.080 + 240 + 320 = 2.240 euros de gastos, 4.800 \u2212 2.240 = 2.560 euros disponibles y 34 \u00f7 40 \u00d7 100 = 85 % de aprobaci\u00f3n. Consideramos incompleta una respuesta que mostrara la operaci\u00f3n sin entregar el resultado solicitado.<\/p>\n\n\n\n

Despu\u00e9s de cada ejecuci\u00f3n guardamos el tiempo aproximado, la captura de \/usage y el JSON de la sesi\u00f3n. Las seis exportaciones confirmaron la misma petici\u00f3n y el mismo texto extra\u00eddo. La extracci\u00f3n sigui\u00f3 mezclando parte del contenido de la p\u00e1gina 2 con la \u00faltima fila de la tabla; registramos esta limitaci\u00f3n al revisar las respuestas.<\/p>\n<\/div>\n\n\n\n

\n

6. Resultados de fiabilidad de modelos IA con Hermes Agent<\/h2>\n\n\n\n

Sol obtuvo cinco de siete respuestas completas en cada una de sus tres ejecuciones. Identific\u00f3 correctamente los responsables, los datos vigentes, el presupuesto, la informaci\u00f3n ausente y los riesgos. En los puntos 4 y 5 mostr\u00f3 las operaciones, pero no entreg\u00f3 los resultados de gasto total, presupuesto disponible y porcentaje de aprobaci\u00f3n.<\/p>\n\n\n\n

En las tres respuestas, Sol aleg\u00f3 que necesitaba una herramienta de c\u00e1lculo para evaluar esas operaciones. Registramos esa explicaci\u00f3n sin verificar la regla que invocaba y sin corregir las respuestas. Por tanto, el problema observado fue de completitud: faltaron los resultados num\u00e9ricos solicitados, aunque las operaciones planteadas eran correctas.<\/p>\n\n\n\n

Luna obtuvo siete de siete respuestas completas y correctas en sus tres ejecuciones. Entreg\u00f3 los c\u00e1lculos de 2.240 euros gastados, 2.560 euros disponibles y 85 % de aprobaci\u00f3n, identific\u00f3 los datos ausentes y cit\u00f3 p\u00e1ginas adecuadas. En esta serie, las tres respuestas de Luna completaron la tarea y las tres de Sol repitieron las mismas omisiones.<\/p>\n\n\n\n

Los tiempos aproximados de Sol fueron 45,02, 41,00 y 40,86 segundos. Los de Luna fueron 16,60, 21,57 y 20,68 segundos. El tiempo medio fue de 42,29 segundos para Sol y 19,62 segundos para Luna. Estas mediciones manuales excluyen la preparaci\u00f3n, revisi\u00f3n y documentaci\u00f3n, y no permiten predecir los tiempos de otras tareas.<\/p>\n\n\n\n

Los contadores de tokens totales mostraron 32.232, 32.121 y 32.189 para Sol; y 31.772, 40.958 y 40.997 para Luna. Sol registr\u00f3 tres llamadas al modelo en cada ejecuci\u00f3n. Luna registr\u00f3 tres en la primera y cuatro en la segunda y tercera. En estas dos \u00faltimas a\u00f1adi\u00f3 skills_list antes de skill_view y read_file. Los tokens no equivalen directamente a coste monetario ni a consumo de cuota.<\/p>\n\n\n\n

Las exportaciones de Sol y de Luna 1 conten\u00edan seis mensajes; las de Luna 2 y Luna 3, ocho. Todas confirmaron la misma petici\u00f3n y extracci\u00f3n del PDF. La serie altern\u00f3 los modelos, pero cada pareja empez\u00f3 por Sol; no equilibramos cu\u00e1l se ejecutaba primero. Con tres pruebas por modelo y una sola tarea, las conclusiones se limitan a esta configuraci\u00f3n.<\/p>\n<\/div>\n\n\n\n

\n

7. Costes y seguridad<\/strong><\/h2>\n\n\n\n

No medimos el coste monetario ni el consumo de cuota de la suscripci\u00f3n. Conservamos los campos de \/usage tal como aparecieron: Input tokens y Prompt tokens mostraron valores diferentes, mientras que Output tokens y Completion tokens coincidieron en estas ejecuciones. No sumamos todas las categor\u00edas ni verificamos c\u00f3mo calcula Hermes cada contador.<\/p>\n\n\n\n

Luna complet\u00f3 la tarea en menos tiempo en las tres parejas, pero mostr\u00f3 m\u00e1s tokens totales que Sol en sus ejecuciones segunda y tercera. Estos resultados no permiten afirmar que un modelo sea m\u00e1s barato. Tampoco medimos el tiempo de preparaci\u00f3n, revisi\u00f3n y documentaci\u00f3n, necesario para valorar el trabajo completo.<\/p>\n\n\n\n

Utilizamos un PDF con datos ficticios y mantuvimos la aprobaci\u00f3n Manual. Los JSON registraron consultas de skills y lectura del documento, sin llamadas a b\u00fasqueda web, terminal, ejecuci\u00f3n de c\u00f3digo, control del ordenador ni delegaci\u00f3n. La carpeta dentro de OneDrive no proporciona aislamiento, y desactivar herramientas no equivale a borrar conversaciones o archivos existentes.<\/p>\n<\/div>\n\n\n\n

\n

8. Conclusiones<\/strong> sobre fiabilidad de modelos IA<\/h2>\n\n\n\n

Las tres ejecuciones nuevas por modelo reprodujeron la diferencia de completitud observada en el Experimento 3. Sol respondi\u00f3 correctamente a cinco preguntas, pero dej\u00f3 sin evaluar las operaciones de las otras dos. Luna complet\u00f3 correctamente las siete preguntas en sus tres ejecuciones. La repetici\u00f3n permiti\u00f3 comprobar que esas conductas se mantuvieron en esta serie.<\/p>\n\n\n\n

Luna tambi\u00e9n termin\u00f3 antes en las tres parejas, aunque sus contadores de tokens variaron y en dos ejecuciones a\u00f1adi\u00f3 una consulta de skills. Esto muestra que repetir una tarea puede mantener la calidad de las respuestas mientras cambian el tiempo, los tokens y las herramientas utilizadas. Conviene registrar estas dimensiones por separado.<\/p>\n\n\n\n

Los resultados se limitan a un PDF, una petici\u00f3n y esta configuraci\u00f3n de Hermes. No demuestran que Luna sea superior en general ni m\u00e1s barato. Para ampliar la comparaci\u00f3n ser\u00eda necesario utilizar otras tareas, aumentar las repeticiones y equilibrar qu\u00e9 modelo se ejecuta primero. Estas seis pruebas ampl\u00edan la evidencia del Experimento 3, pero no sustituyen una evaluaci\u00f3n m\u00e1s extensa.<\/p>\n<\/div>\n\n\n\n

\n
\n

Preguntas frecuentes sobre el coste de los agentes IA<\/h2>\n\n\n\n
\u00bfCu\u00e1ntas veces probamos cada modelo?<\/strong><\/summary>\n

Realizamos tres ejecuciones nuevas con Sol y tres con Luna, cada una en una sesi\u00f3n independiente. Las dos ejecuciones originales del Experimento 3 se mantienen como antecedentes y no se incluyen en las medias de esta serie.<\/p>\n<\/details>\n\n\n\n

\u00bfQu\u00e9 resultados se repitieron?<\/strong><\/summary>\n

Sol entreg\u00f3 cinco de siete respuestas completas en sus tres ejecuciones: mostr\u00f3 las operaciones de los puntos 4 y 5, pero omiti\u00f3 sus resultados num\u00e9ricos. Luna complet\u00f3 correctamente las siete respuestas en las tres pruebas.<\/p>\n<\/details>\n\n\n\n

\u00bfUtilizamos el mismo documento y petici\u00f3n?<\/strong><\/summary>\n

S\u00ed. Los seis JSON confirmaron la misma petici\u00f3n y el mismo texto extra\u00eddo del PDF. Mantuvimos razonamiento Medio, modo R\u00e1pido desactivado y aprobaci\u00f3n Manual.<\/p>\n<\/details>\n\n\n\n

\u00bfLuna fue m\u00e1s barato que Sol?<\/strong><\/summary>\n

No podemos determinarlo. Medimos tiempos aproximados y registramos tokens, pero no medimos coste monetario ni consumo de cuota. Los contadores de tokens no equivalen directamente a euros.<\/p>\n<\/details>\n\n\n\n

\u00bfPodemos concluir que Luna es m\u00e1s fiable en cualquier tarea?<\/strong><\/summary>\n

No. Complet\u00f3 esta tarea en las tres ejecuciones, pero solo probamos un documento y una petici\u00f3n. Para obtener conclusiones m\u00e1s amplias necesitar\u00edamos otras tareas, m\u00e1s repeticiones y un orden equilibrado.<\/p>\n<\/details>\n<\/div>\n<\/div>\n\n\n\n

\n\n\n\n

Contin\u00faa aprendiendo <\/h2>\n\n\n\n

Esta prueba forma parte del Laboratorio de Agentes IA<\/a>, donde documentamos experimentos pr\u00e1cticos, dificultades yresultados observados.<\/p>\n\n\n\n

Si quieres seguir aprendiendo, puedes consultar las siguientes gu\u00edas:<\/p>\n\n\n\n

Laboratorio AF de Agentes IA<\/a><\/strong>
Explora nuestros experimentos pr\u00e1cticos, con pruebas documentadas, resultados y limitaciones.<\/p>\n\n\n\n

Experimento 3: comparaci\u00f3n inicial de Sol y Luna<\/a><\/strong>
Consulta la primera ejecuci\u00f3n de cada modelo, que dio origen a las repeticiones del Experimento 6.<\/p>\n\n\n\n

Experimento 2: an\u00e1lisis de PDF con Hermes Agent<\/a><\/strong>
Conoce la prueba del documento ficticio Proyecto Faro y las limitaciones observadas en su extracci\u00f3n.<\/p>\n\n\n\n

Experimento 4: memoria de Hermes Agent<\/a><\/strong>
Revisa las pruebas de guardado, recuperaci\u00f3n, actualizaci\u00f3n y eliminaci\u00f3n de un recuerdo ficticio.<\/p>\n\n\n\n

Experimento 5: instrucciones enga\u00f1osas en documentos<\/a><\/strong>
Comparamos un documento de control con una variante que intentaba desviar la respuesta de Hermes.<\/p>\n\n\n\n

\n\n\n\n

Ver todas las entradas del blog<\/a><\/p>\n\n\n\n

Volver a la p\u00e1gina principal<\/a><\/p>\n\n\n\n

\n

\u26a0\ufe0f Aviso importante<\/p>\n\n\n\n

Este art\u00edculo documenta seis ejecuciones con un PDF ficticio y una configuraci\u00f3n concreta de Hermes Agent. Los resultados describen esta tarea y no permiten garantizar el comportamiento de los modelos en otros escenarios. <\/p>\n\n\n\n

Los tiempos son aproximados; los tokens no equivalen directamente a coste monetario ni a consumo de cuota. La revisi\u00f3n de las respuestas y de las llamadas a herramientas sigue siendo necesaria, aunque un modelo complete correctamente varias pruebas.<\/p>\n<\/div>\n","protected":false},"excerpt":{"rendered":"

Evaluamos la fiabilidad de modelos IA con Hermes Agent mediante tres ejecuciones de Sol y tres de Luna, con el mismo PDF y petici\u00f3n. Revisamos respuestas, c\u00e1lculos, tiempos, tokens y herramientas, documentando las diferencias y los l\u00edmites de la comparaci\u00f3n.<\/p>\n","protected":false},"author":1,"featured_media":2759,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[18],"tags":[19,20],"class_list":["post-2753","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-inteligencia-artificial","tag-agentes-ia","tag-hermes-agent"],"_links":{"self":[{"href":"https:\/\/antoniofernandez.net\/copia-divi\/wp-json\/wp\/v2\/posts\/2753","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/antoniofernandez.net\/copia-divi\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/antoniofernandez.net\/copia-divi\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/antoniofernandez.net\/copia-divi\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/antoniofernandez.net\/copia-divi\/wp-json\/wp\/v2\/comments?post=2753"}],"version-history":[{"count":8,"href":"https:\/\/antoniofernandez.net\/copia-divi\/wp-json\/wp\/v2\/posts\/2753\/revisions"}],"predecessor-version":[{"id":3349,"href":"https:\/\/antoniofernandez.net\/copia-divi\/wp-json\/wp\/v2\/posts\/2753\/revisions\/3349"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/antoniofernandez.net\/copia-divi\/wp-json\/wp\/v2\/media\/2759"}],"wp:attachment":[{"href":"https:\/\/antoniofernandez.net\/copia-divi\/wp-json\/wp\/v2\/media?parent=2753"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/antoniofernandez.net\/copia-divi\/wp-json\/wp\/v2\/categories?post=2753"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/antoniofernandez.net\/copia-divi\/wp-json\/wp\/v2\/tags?post=2753"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}