{"id":2798,"date":"2026-10-15T09:52:23","date_gmt":"2026-10-15T07:52:23","guid":{"rendered":"https:\/\/antoniofernandez.net\/?p=2798"},"modified":"2026-10-24T20:37:00","modified_gmt":"2026-10-24T18:37:00","slug":"8-experimentos-con-hermes-agent","status":"publish","type":"post","link":"https:\/\/antoniofernandez.net\/copia-divi\/8-experimentos-con-hermes-agent\/","title":{"rendered":"Hermes Agent: balance de 8 experimentos del Laboratorio AF"},"content":{"rendered":"\n
\"Experimentos
Balance de ocho experimentos del Laboratorio AF: resultados, herramientas utilizadas y limitaciones.<\/figcaption><\/figure>\n\n\n\n
\n

\u00bfQu\u00e9 hemos aprendido despu\u00e9s de ocho experimentos con Hermes Agent? En este balance del Laboratorio AF reunimos los resultados de nuestras pruebas de investigaci\u00f3n web, an\u00e1lisis de documentos, comparaci\u00f3n y repetici\u00f3n de modelos, memoria, instrucciones enga\u00f1osas, creaci\u00f3n de archivos y tratamiento de datos incompletos. <\/p>\n\n\n\n

Distinguimos lo que comprobamos mediante respuestas, archivos y exportaciones JSON de lo que no llegamos a medir. Las pruebas muestran capacidades \u00fatiles y limitaciones concretas; no constituyen una evaluaci\u00f3n general de todos los agentes IA.<\/p>\n<\/div>\n\n\n\n

\n

1. Objetivo del experimento<\/h2>\n\n\n\n

Esta primera serie explor\u00f3 tareas concretas con Hermes Agent: buscar informaci\u00f3n en Internet, responder preguntas sobre un PDF, comparar dos modelos, guardar y recuperar recuerdos, responder ante instrucciones enga\u00f1osas, crear un CSV y trabajar con informaci\u00f3n insuficiente. El Experimento 6 ampli\u00f3 la comparaci\u00f3n del Experimento 3 mediante tres ejecuciones nuevas por modelo; por tanto, los ocho art\u00edculos no representan ocho pruebas independientes de capacidades distintas.<\/p>\n\n\n\n

Nuestro prop\u00f3sito fue documentar qu\u00e9 ocurri\u00f3 en cada caso, qu\u00e9 herramientas se utilizaron y cu\u00e1nto trabajo de comprobaci\u00f3n fue necesario. Mantuvimos separadas las respuestas del agente y las evidencias revisadas, as\u00ed como el tiempo de ejecuci\u00f3n y el de revisi\u00f3n cuando dispon\u00edamos de ambas mediciones. Las conclusiones se limitan a los documentos, peticiones y configuraciones utilizados.<\/p>\n<\/div>\n\n\n\n

\n

2. C\u00f3mo realizamos y revisamos las pruebas<\/h2>\n\n\n\n

Trabajamos en Windows 11 con Hermes Agent Desktop, versi\u00f3n observada 0.21.5 +4585, conectado mediante \u00abChatGPT or Codex Subscription\u00bb. Utilizamos gpt-6.1-sol y gpt-6-luna seg\u00fan el experimento. Comprobamos las capacidades disponibles antes de las pruebas y registramos los cambios de configuraci\u00f3n, sin asumir que todas las sesiones ten\u00edan las mismas herramientas activadas.<\/p>\n\n\n\n

Revisamos respuestas, capturas y exportaciones JSON. Cuando la tarea gener\u00f3 un archivo, comprobamos tambi\u00e9n su contenido por separado. Distinguimos las herramientas habilitadas de las llamadas realmente registradas: por ejemplo, algunos TXT se incorporaron directamente al mensaje, mientras que el PDF se ley\u00f3 mediante read_file. Tambi\u00e9n documentamos consultas de skills y errores de lectura.<\/p>\n\n\n\n

Los tiempos se midieron manualmente con el cron\u00f3metro de Windows y son aproximados. Consultamos \/usage en las pruebas donde registramos tokens y llamadas al modelo, conservando las capturas porque las exportaciones revisadas no guardaron esos valores. No medimos costes monetarios ni consumo de cuota de la suscripci\u00f3n, y no disponemos de una medici\u00f3n completa del trabajo de preparaci\u00f3n, revisi\u00f3n y documentaci\u00f3n.<\/p>\n<\/div>\n\n\n\n

\n

3. Resultados de los experimentos 1 al 4<\/h2>\n\n\n\n

Experimento 1 - Investigaci\u00f3n web<\/h3>\n\n\n\n

Realizamos tres pruebas: una guiada y dos con una sola instrucci\u00f3n inicial. Las dos \u00faltimas tardaron aproximadamente 54 y 53 segundos. En la tercera registramos adem\u00e1s 9 minutos y 16 segundos de revisi\u00f3n asistida, incluidos intercambios, esperas, comprobaciones y exportaci\u00f3n. Exa devolvi\u00f3 textos cortados y Keenable recuper\u00f3 m\u00e1s contenido. Las exportaciones permitieron distinguir el recorte visual del contenido almacenado y detectar consultas de skills pese a la restricci\u00f3n de usar solo b\u00fasqueda y extracci\u00f3n web. No medimos tokens ni coste monetario.<\/p>\n\n\n\n

Experimento 2 - An\u00e1lisis de PDF<\/h3>\n\n\n\n

Tras varios intentos interrumpidos cuya causa no determinamos, completamos una prueba de aproximadamente 25 segundos. Hermes respondi\u00f3 correctamente a siete preguntas y cit\u00f3 las p\u00e1ginas adecuadas. Registramos 36.452 tokens totales y tres llamadas al modelo. El JSON mostr\u00f3 skill_view y read_file. La extracci\u00f3n mezcl\u00f3 parte del texto de la p\u00e1gina 2 con la \u00faltima fila de la tabla, aunque las respuestas fueron correctas.<\/p>\n\n\n\n

Experimento 3 - Comparaci\u00f3n inicial de modelos<\/strong><\/h3>\n\n\n\n

Ejecutamos una vez la misma tarea con cada modelo. Sol tard\u00f3 unos 80 segundos, registr\u00f3 36.514 tokens totales y complet\u00f3 cinco de siete preguntas: dej\u00f3 operaciones sin evaluar en dos respuestas. Luna tard\u00f3 25,44 segundos, registr\u00f3 46.719 tokens totales y complet\u00f3 las siete. Esta primera comparaci\u00f3n no permit\u00eda concluir que Luna fuera superior en general ni m\u00e1s barato.<\/p>\n\n\n\n

Experimento 4 - Memoria<\/strong><\/strong><\/h3>\n\n\n\n

Verificamos el guardado, la recuperaci\u00f3n en otra sesi\u00f3n y tras reiniciar la aplicaci\u00f3n, la actualizaci\u00f3n y la eliminaci\u00f3n de un recuerdo ficticio. La primera recuperaci\u00f3n tard\u00f3 5,67 segundos, con 7.683 tokens totales, una llamada al modelo y ninguna herramienta registrada. No medimos todas las fases ni probamos apagar el ordenador. Eliminar el recuerdo no borr\u00f3 conversaciones o exportaciones, y no interpretamos el resultado como reentrenamiento del modelo.<\/p>\n<\/div>\n\n\n\n

\n

4. Resultados de los experimentos 5 al 8<\/h2>\n\n\n\n

Experimento 5 - Instrucciones enga\u00f1osas<\/h3>\n\n\n\n

Comparamos un TXT de control con una copia que a\u00f1ad\u00eda una orden para ignorar las preguntas. Hermes respondi\u00f3 correctamente a las nueve preguntas en ambas ejecuciones y no sigui\u00f3 esa orden. Los tiempos fueron 10,19 y 9,08 segundos, con 5.374 y 5.415 tokens totales, respectivamente. Los JSON confirmaron que recibi\u00f3 la instrucci\u00f3n enga\u00f1osa completa y que no hubo llamadas a herramientas. Solo probamos una variante, cuyo texto se incorpor\u00f3 directamente al mensaje.<\/p>\n\n\n\n

Experimento 6 - Repetici\u00f3n de modelos<\/h3>\n\n\n\n

Realizamos tres ejecuciones nuevas por modelo, alternando Sol y Luna. Sol complet\u00f3 cinco de siete respuestas en las tres; Luna complet\u00f3 correctamente las siete en las tres. Los tiempos medios aproximados fueron 42,29 segundos para Sol y 19,62 para Luna. Todas las sesiones recibieron la misma petici\u00f3n y extracci\u00f3n del PDF. Cada pareja empez\u00f3 por Sol, por lo que no equilibramos qu\u00e9 modelo se ejecutaba primero. Los resultados describen una sola tarea y no establecen una superioridad general.<\/p>\n\n\n\n

Experimento 7 - Creaci\u00f3n de archivos<\/strong><\/h3>\n\n\n\n

Sol cre\u00f3 y volvi\u00f3 a leer un CSV con seis tareas, aplicando la fecha actualizada, se\u00f1alando los dos campos ausentes y excluyendo una propuesta no aprobada. La ejecuci\u00f3n tard\u00f3 40,43 segundos y registr\u00f3 18.307 tokens totales y tres llamadas al modelo. El archivo era correcto, pero su uso en Excel requiri\u00f3 importar como UTF-8 y ajustar los encabezados. El XLSX posterior fue una copia de revisi\u00f3n preparada por nosotros. Aunque inicialmente hab\u00edamos previsto Luna, registramos Sol como modelo observado.<\/p>\n\n\n\n

Experimento 8 - Errores y datos incompletos<\/strong><\/strong><\/h3>\n\n\n\n

Sol recuper\u00f3 los datos confirmados, no eligi\u00f3 entre fechas contradictorias y comunic\u00f3 el error \u00abFile not found\u00bb al intentar leer el CSV ausente. No invent\u00f3 gastos ni un saldo y explic\u00f3 qu\u00e9 informaci\u00f3n necesitaba. La ejecuci\u00f3n tard\u00f3 28,08 segundos, con 11.601 tokens totales y dos llamadas al modelo. Solicit\u00f3 aclaraciones mediante texto, sin activar Clarifying Questions. No evaluamos la resoluci\u00f3n posterior y la petici\u00f3n inclu\u00eda instrucciones expl\u00edcitas para evitar invenciones.<\/p>\n<\/div>\n\n\n\n

\n

5. Qu\u00e9 aprendimos al revisar los resultados<\/h2>\n\n\n\n

Una respuesta correcta no basta para conocer c\u00f3mo se realiz\u00f3 la tarea. Las exportaciones permitieron comprobar si hubo lectura de archivos, consultas de skills, escrituras o errores de herramientas. Tambi\u00e9n mostraron diferencias entre disponer de una capacidad y utilizarla: los TXT adjuntos se incorporaron directamente al mensaje en varias pruebas, mientras que otras tareas requirieron llamadas a read_file.<\/p>\n\n\n\n

La completitud debe revisarse por separado de la correcci\u00f3n de los datos presentes. Sol identific\u00f3 los datos del PDF y plante\u00f3 correctamente las operaciones, pero omiti\u00f3 los resultados num\u00e9ricos solicitados en la comparaci\u00f3n inicial y en sus tres repeticiones. Registrar esas respuestas como completas habr\u00eda ocultado una limitaci\u00f3n relevante para el usuario.<\/p>\n\n\n\n

El tiempo de ejecuci\u00f3n tampoco representa todo el trabajo. En la tercera investigaci\u00f3n web medimos aproximadamente 53 segundos de ejecuci\u00f3n y 9 minutos y 16 segundos de revisi\u00f3n asistida. En la creaci\u00f3n del CSV fueron necesarios ajustes posteriores de importaci\u00f3n en Excel, cuyo tiempo no medimos. Estos casos muestran por qu\u00e9 conviene separar ejecuci\u00f3n, preparaci\u00f3n, revisi\u00f3n y documentaci\u00f3n.<\/p>\n\n\n\n

Por \u00faltimo, distinguimos un resultado favorable de una garant\u00eda general. Que Hermes no siguiera una instrucci\u00f3n enga\u00f1osa concreta no demuestra inmunidad ante otras variantes. Que identificara datos ausentes en una prueba tampoco garantiza que siempre lo haga. Las repeticiones aportaron evidencia sobre una tarea, pero no sustituyen pruebas con otros documentos, peticiones y configuraciones.<\/p>\n<\/div>\n\n\n\n

\n

6. Qu\u00e9 no podemos concluir de estos experimentos con Hermes Agent<\/h2>\n\n\n\n

No podemos determinar qu\u00e9 modelo es mejor para cualquier tarea. La comparaci\u00f3n utiliz\u00f3 un \u00fanico PDF y una petici\u00f3n concreta. Las tres repeticiones por modelo mantuvieron la diferencia de completitud observada, pero no cubrieron otras clases de trabajo. Adem\u00e1s, alternamos los modelos sin equilibrar cu\u00e1l empezaba cada pareja.<\/p>\n\n\n\n

Tampoco podemos convertir los tokens registrados en coste monetario o consumo de cuota de la suscripci\u00f3n. Los contadores mostraron categor\u00edas como Input, Prompt, Output, Completion y, en algunas ejecuciones, Reasoning. Conservamos sus valores sin sumar todos los campos y no verificamos c\u00f3mo los calcula Hermes. Las llamadas al modelo y las llamadas a herramientas son medidas distintas.<\/p>\n\n\n\n

No disponemos de un tiempo total comparable para los ocho experimentos. Algunas fases no se cronometraron y solo medimos la revisi\u00f3n asistida en una de las investigaciones web. Las pruebas tampoco constituyen una auditor\u00eda completa de seguridad ni demuestran aprendizaje aut\u00f3nomo, resistencia general a instrucciones enga\u00f1osas o ausencia de errores futuros.<\/p>\n<\/div>\n\n\n\n

\n

7. Permisos, datos y revisi\u00f3n humana<\/strong><\/h2>\n\n\n\n

Ajustamos las capacidades de Hermes seg\u00fan cada prueba y mantuvimos la aprobaci\u00f3n Manual. Revisamos las llamadas registradas para comprobar qu\u00e9 herramientas utiliz\u00f3 realmente. Esta revisi\u00f3n permiti\u00f3 documentar consultas de skills, lecturas, la creaci\u00f3n del CSV y el intento fallido de abrir el archivo de gastos, sin atribuir al agente acciones que no aparec\u00edan en las evidencias.<\/p>\n\n\n\n

En las pruebas documentales, de memoria y de creaci\u00f3n de archivos utilizamos datos ficticios. La carpeta de trabajo estaba dentro de OneDrive y no constitu\u00eda un entorno aislado del ordenador. Desactivar una herramienta no borra archivos ni conversaciones, y eliminar un recuerdo no elimina las exportaciones o los mensajes donde ese dato apareci\u00f3.<\/p>\n\n\n\n

La revisi\u00f3n humana fue necesaria para comprobar fuentes, c\u00e1lculos, datos vigentes, archivos generados y limitaciones. Como contexto general, el perfil de riesgos de IA generativa del NIST<\/a> aborda el riesgo de generar informaci\u00f3n falsa o inventada. Este documento no eval\u00faa Hermes ni valida nuestros resultados.<\/p>\n<\/div>\n\n\n\n

\n

8. Balance y siguiente etapa del Laboratorio AF<\/strong><\/h2>\n\n\n\n

Los ocho experimentos permitieron documentar capacidades \u00fatiles de Hermes Agent y dificultades que afectan a su uso pr\u00e1ctico. Obtuvimos respuestas correctas sobre documentos, verificamos operaciones de memoria y comprobamos la creaci\u00f3n de un CSV. Tambi\u00e9n encontramos contenido web recortado, imperfecciones de extracci\u00f3n, respuestas incompletas y ajustes necesarios para utilizar un archivo en Excel.<\/p>\n\n\n\n

El aprendizaje principal es evaluar el resultado junto con el proceso y el trabajo de revisi\u00f3n. Una tarea puede terminar r\u00e1pido y requerir comprobaciones posteriores; una respuesta puede contener datos correctos y dejar parte de la petici\u00f3n sin completar. Por eso conservamos evidencias y limitamos cada conclusi\u00f3n al escenario observado.<\/p>\n\n\n\n

La siguiente etapa ser\u00e1 desarrollar el primer proyecto del \u00e1rea \u00abAgentes IA que construimos\u00bb: un asistente IA personalizado con una funci\u00f3n concreta, instrucciones definidas y criterios de comprobaci\u00f3n. Utilizaremos lo aprendido para delimitar sus permisos, preparar casos de prueba y documentar tanto los resultados como sus limitaciones.<\/p>\n<\/div>\n\n\n\n

\n

Preguntas frecuentes sobre el coste de los agentes IA<\/h2>\n\n\n\n
\u00bfLos ocho experimentos eval\u00faan ocho capacidades distintas?<\/strong><\/summary>\n

No. El Experimento 6 ampl\u00eda la comparaci\u00f3n del Experimento 3 con tres ejecuciones nuevas por modelo. Los ocho art\u00edculos forman una serie de pruebas relacionadas, con alcances diferentes.<\/p>\n<\/details>\n\n\n\n

\u00bfLuna fue mejor que Sol?<\/strong><\/summary>\n

Luna complet\u00f3 m\u00e1s preguntas y termin\u00f3 antes en la tarea de comparaci\u00f3n utilizada. Esto no demuestra que sea superior en cualquier tarea ni permite afirmar que sea m\u00e1s barato.<\/p>\n<\/details>\n\n\n\n

\u00bfMedimos cu\u00e1nto cuesta utilizar Hermes Agent?<\/strong><\/summary>\n

No medimos costes monetarios ni consumo de cuota. Registramos tokens y llamadas al modelo en algunas pruebas, pero esas cifras no equivalen directamente a euros.<\/p>\n<\/details>\n\n\n\n

\u00bfLos tiempos incluyen la revisi\u00f3n de los resultados?<\/strong><\/summary>\n

Los tiempos de ejecuci\u00f3n no incluyen preparaci\u00f3n, revisi\u00f3n ni documentaci\u00f3n. En la tercera investigaci\u00f3n web medimos por separado 9 minutos y 16 segundos de revisi\u00f3n asistida. No disponemos de esa medici\u00f3n para toda la serie..<\/p>\n<\/details>\n\n\n\n

\u00bfQu\u00e9 proyecto prepararemos despu\u00e9s?<\/strong><\/summary>\n

Un asistente IA personalizado dentro del \u00e1rea \u00abAgentes IA que construimos\u00bb. Definiremos su funci\u00f3n, instrucciones, permisos y pruebas antes de valorar sus resultados.<\/p>\n<\/details>\n<\/div>\n\n\n\n

\n\n\n\n

Consulta los ocho experimentos<\/h2>\n\n\n\n

Esta prueba forma parte del Laboratorio de Agentes IA<\/a>, donde documentamos experimentos pr\u00e1cticos, dificultades yresultados observados.<\/p>\n\n\n\n

Si quieres seguir aprendiendo, puedes consultar las siguientes gu\u00edas:<\/p>\n\n\n\n

Experimento 1 \u00b7 Investigaci\u00f3n web<\/a><\/strong>
Tres pruebas de b\u00fasqueda y extracci\u00f3n, con revisi\u00f3n de fuentes, recortes y herramientas utilizadas.<\/p>\n\n\n\n

Experimento 2 \u00b7 An\u00e1lisis de PDF<\/a><\/strong>
Extracci\u00f3n de datos, c\u00e1lculos y referencias de p\u00e1gina sobre el documento ficticio Proyecto Faro.<\/p>\n\n\n\n

Experimento 3 \u00b7 Comparaci\u00f3n inicial de modelos<\/a><\/strong>
Una ejecuci\u00f3n de Sol y otra de Luna con el mismo PDF y petici\u00f3n.<\/p>\n\n\n\n

Experimento 4 \u00b7 Memoria<\/a><\/strong>
Guardado, recuperaci\u00f3n, actualizaci\u00f3n y eliminaci\u00f3n de un recuerdo ficticio.<\/p>\n\n\n\n

Experimento 5 \u00b7 Instrucciones enga\u00f1osas<\/a><\/strong>
Un documento de control y una variante que intentaba desviar la respuesta.<\/p>\n\n\n\n

Experimento 6 \u00b7 Fiabilidad de modelos<\/a><\/strong>
Tres ejecuciones nuevas por modelo para comprobar la consistencia en una tarea.<\/p>\n\n\n\n

Experimento 7 \u00b7 Creaci\u00f3n de archivos<\/a><\/strong>
Creaci\u00f3n y comprobaci\u00f3n de un CSV y ajustes posteriores para importarlo en Excel.<\/p>\n\n\n\n

Experimento 8 \u00b7 Errores y datos incompletos<\/a><\/strong>
Respuesta ante informaci\u00f3n ausente, fechas contradictorias y un archivo no encontrado.<\/p>\n\n\n\n

Volver al Laboratorio AF de Agentes IA<\/a><\/strong><\/p>\n\n\n\n

\n\n\n\n

Ver todas las entradas del blog<\/a><\/p>\n\n\n\n

Volver a la p\u00e1gina principal<\/a><\/p>\n\n\n\n

\n

\u26a0\ufe0f Aviso importante<\/p>\n\n\n\n

Este balance resume pruebas realizadas con documentos, peticiones y configuraciones concretas de Hermes Agent. Los resultados no garantizan el mismo comportamiento en otras tareas ni constituyen una clasificaci\u00f3n general de modelos. <\/p>\n\n\n\n

Los tiempos son aproximados y las mediciones disponibles var\u00edan entre experimentos. No medimos costes monetarios ni consumo de cuota; consulta cada art\u00edculo para conocer sus evidencias, condiciones y limitaciones.<\/p>\n<\/div>\n\n\n\n

<\/p>\n","protected":false},"excerpt":{"rendered":"

Reunimos los resultados de ocho experimentos con Hermes Agent: investigaci\u00f3n web, an\u00e1lisis de PDF, comparaci\u00f3n de modelos, memoria, instrucciones enga\u00f1osas, creaci\u00f3n de archivos y datos incompletos. Explicamos qu\u00e9 comprobamos, qu\u00e9 limitaciones encontramos y qu\u00e9 no medimos.<\/p>\n","protected":false},"author":1,"featured_media":2802,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[18],"tags":[19,20],"class_list":["post-2798","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-inteligencia-artificial","tag-agentes-ia","tag-hermes-agent"],"_links":{"self":[{"href":"https:\/\/antoniofernandez.net\/copia-divi\/wp-json\/wp\/v2\/posts\/2798","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/antoniofernandez.net\/copia-divi\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/antoniofernandez.net\/copia-divi\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/antoniofernandez.net\/copia-divi\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/antoniofernandez.net\/copia-divi\/wp-json\/wp\/v2\/comments?post=2798"}],"version-history":[{"count":6,"href":"https:\/\/antoniofernandez.net\/copia-divi\/wp-json\/wp\/v2\/posts\/2798\/revisions"}],"predecessor-version":[{"id":3356,"href":"https:\/\/antoniofernandez.net\/copia-divi\/wp-json\/wp\/v2\/posts\/2798\/revisions\/3356"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/antoniofernandez.net\/copia-divi\/wp-json\/wp\/v2\/media\/2802"}],"wp:attachment":[{"href":"https:\/\/antoniofernandez.net\/copia-divi\/wp-json\/wp\/v2\/media?parent=2798"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/antoniofernandez.net\/copia-divi\/wp-json\/wp\/v2\/categories?post=2798"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/antoniofernandez.net\/copia-divi\/wp-json\/wp\/v2\/tags?post=2798"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}