Hermes Agent: tres pruebas de investigación web en el Laboratorio AF

En este primer experimento del Laboratorio AF ponemos a prueba Hermes Agent para investigar en Internet y preparar informes en español con referencias verificables. El tema elegido es una pregunta habitual: ¿qué diferencia a un agente IA de un chatbot?

Realizamos tres pruebas en Windows 11. En la primera enviamos instrucciones una por una y revisamos los resultados en cada etapa. En la segunda y la tercera proporcionamos una sola instrucción inicial y no intervenimos durante la ejecución. Después contrastamos las respuestas con el contenido recuperado y comprobamos el cumplimiento de las instrucciones.

Documentamos la configuración, las fuentes, los informes y las limitaciones. Registramos aproximadamente 54 segundos de ejecución en la segunda prueba y 53 en la tercera. En esta última medimos también 9 minutos y 16 segundos de revisión asistida, separados de la ejecución. No medimos el tiempo de la primera prueba ni los tokens, el consumo de cuota o el coste de ninguna de las tres.

1. Objetivo del experimento

El objetivo de este experimento es comprobar si Hermes Agent puede ayudar a investigar un tema en Internet y elaborar un informe breve en español con referencias verificables.

Elegimos la pregunta «¿Qué diferencia a un agente IA de un chatbot?». Comprobamos si Hermes puede localizar fuentes, leer su contenido, comparar sus explicaciones y distinguir las afirmaciones de esas fuentes de sus propias interpretaciones.

Realizamos tres pruebas. En la primera proporcionamos instrucciones una por una y revisamos cada etapa. En la segunda y la tercera enviamos una sola instrucción inicial y no intervenimos hasta recibir el informe. Después revisamos las referencias, las afirmaciones y el cumplimiento de las instrucciones.

También documentamos las dificultades de extracción y las correcciones necesarias. Registramos aproximadamente 54 segundos de ejecución en la segunda prueba y 53 en la tercera. En esta última medimos por separado 9 minutos y 16 segundos de revisión asistida. No medimos el tiempo de la primera prueba ni los tokens, el consumo de cuota o el coste de ninguna de las tres.

2. Herramientas utilizadas

Utilizamos Hermes Agent para escritorio, versión 0.21.5 +4585, para enviar instrucciones, consultar las respuestas y revisar los registros de llamadas a herramientas.

El modelo utilizado fue gpt-6.1-sol, conectado mediante la opción «ChatGPT or Codex Subscription». En la segunda y la tercera prueba comprobamos que el nivel de razonamiento seleccionado era Medio. El modelo interpretó las instrucciones, comparó las fuentes y redactó los informes.

Para buscar información y recuperar contenido utilizamos las herramientas web de Hermes. En la primera prueba probamos Exa y después Keenable, en las modalidades que la aplicación identifica como gratuitas y sin clave API, y consultamos Salesforce, IBM y Google Cloud. En la segunda y la tercera mantuvimos Keenable para búsqueda y extracción y consultamos IBM, Anthropic y Microsoft. La tercera incluyó cuatro páginas de esas tres organizaciones.

Utilizamos ChatGPT como apoyo para preparar las instrucciones y revisar las respuestas y los registros de Hermes. En la primera prueba revisamos cada etapa; en la segunda y la tercera, la revisión comenzó después de recibir el informe y detener el cronómetro de ejecución. Utilizamos el cronómetro de la aplicación Reloj de Windows para medir ambas ejecuciones y, en la tercera, también el periodo de revisión asistida por separado.

Conservamos las conversaciones mediante exportaciones JSON de Hermes. Las copias finales verificadas de la primera y la segunda prueba contenían 22 mensajes cada una; la tercera contenía 16, incluido el informe original y las dos notas posteriores. Estas exportaciones permitieron comprobar el contenido almacenado y documentar las llamadas a herramientas y las limitaciones observadas.

3. Entorno de trabajo

Realizamos las tres pruebas los días 10 y 11 de octubre de 2026 en un ordenador personal con Windows 11, utilizando la aplicación de escritorio de Hermes Agent.

Hermes ya estaba instalado antes de comenzar. No realizamos una instalación nueva ni utilizamos un VPS. Tampoco comprobamos WSL, porque trabajamos desde la aplicación de escritorio con ventana.

Creamos una carpeta dedicada, llamada «Laboratorio-AF-Hermes», dentro de Documentos, y la establecimos como directorio de trabajo. Allí guardamos las exportaciones de las conversaciones para conservar las evidencias del experimento. La segunda y la tercera prueba se realizaron en sesiones nuevas de Hermes.

La carpeta del experimento está dentro de OneDrive, por lo que sus archivos pueden sincronizarse con ese servicio. No añadimos documentos personales a la carpeta durante las pruebas. Utilizar una carpeta dedicada no aísla por sí solo al agente del resto del ordenador.

No registramos las características del procesador, la memoria RAM ni otros componentes del equipo. Los tiempos aproximados de ejecución de la segunda y la tercera prueba corresponden a este entorno y a los servicios utilizados; no permiten comparar el rendimiento de Hermes entre distintos ordenadores. El tiempo de revisión asistida incluye nuestros intercambios y las operaciones necesarias para comprobar y conservar los resultados.

4. Instalación y configuración

Hermes ya estaba instalado, por lo que esta fase consistió en configurar la conexión y revisar sus opciones. Conectamos la aplicación mediante «ChatGPT or Codex Subscription», completamos el inicio de sesión con código de dispositivo y seleccionamos el modelo gpt-6.1-sol. Después comprobamos que respondía en español. Antes de la segunda y la tercera prueba verificamos que el nivel de razonamiento seleccionado era Medio.

Seleccionamos el modo de aprobación «Manual» y mantuvimos activada la opción «Redactar secretos». Dejamos desactivadas la recopilación y el envío de estadísticas de uso, el uso del perfil real del navegador y las opciones de acceso a URL privadas que revisamos.

Desactivamos la detección automática de repositorios, establecimos la carpeta del experimento como directorio de trabajo y seleccionamos el modo de ejecución de código «Strict». Estos ajustes no constituyen una garantía de aislamiento completo del ordenador.

Desactivamos los conjuntos de herramientas Computer Use, Code Execution, File Operations, Cron Jobs, Terminal & Processes y Task Delegation. Mantuvimos habilitado Web Search & Scraping y activamos la visualización técnica para revisar las entradas y salidas de las llamadas a herramientas. Tanto en la segunda como en la tercera prueba registramos una llamada a skill_view para cargar una guía interna, pese a haber solicitado utilizar únicamente búsqueda y extracción web.

Inicialmente, la búsqueda y la extracción figuraban como «openai-native». Al intentar leer una URL mediante la herramienta de extracción, recibimos un error que indicaba que ese proveedor solo permitía búsquedas. Seleccionamos entonces Exa, en la modalidad que Hermes identifica como gratuita y sin clave API.

Tras observar cortes en los textos recuperados con Exa, cambiamos a Keenable y comprobamos que aparecía seleccionado tanto para búsqueda como para extracción. Mantuvimos esa configuración para la segunda y la tercera prueba, realizadas en sesiones nuevas. Verificamos las llamadas y el contenido recuperado mediante los registros de herramientas y las exportaciones JSON.

5. Pruebas prácticas

La investigación se centró en la pregunta «¿Qué diferencia a un agente IA de un chatbot?». Realizamos una prueba guiada: enviamos instrucciones individuales y revisamos sus resultados antes de continuar.

Primero pedimos una respuesta breve en español, sin utilizar herramientas, para comprobar la conexión con el modelo. Después solicitamos una búsqueda de fuentes y verificamos un registro de web_search que incluía la consulta, los resultados y el estado success: true.

Comprobamos la lectura de la guía de inicio de Hermes y consultamos páginas de Salesforce, IBM y Google Cloud. Probamos la extracción con Exa y Keenable, revisando el contenido recibido y los posibles cortes antes de utilizarlo en el informe.

Pedimos resúmenes y una comparación de las definiciones de agente, asistente, bot y chatbot. Solicitamos que Hermes atribuyera las afirmaciones a cada fuente y distinguiera esas afirmaciones de sus propias interpretaciones.

Solicitamos citas breves para comprobar las atribuciones sobre aprendizaje y las contrastamos con los registros extraídos. Después pedimos un informe de un máximo de 400 palabras y corregimos su apartado de limitaciones para reflejar las evidencias disponibles.

Finalmente, cerramos y volvimos a abrir Hermes para comprobar que conservaba la conversación. Exportamos la sesión en formato JSON y verificamos que la copia actualizada contenía el informe, los registros de extracción y la última corrección.

Fuentes consultadas: Salesforce — Chatbot con IA vs Agente IA; IBM — Agentes de IA vs asistentes de IA; Google Cloud — ¿Qué son los agentes de IA?

Segunda prueba: investigación con una sola instrucción

El 11 de octubre de 2026 realizamos una segunda prueba en una sesión nueva de Hermes, con el modelo gpt-6.1-sol y razonamiento Medio. Mantuvimos Keenable para búsqueda y extracción web. Enviamos una sola instrucción para investigar la diferencia entre un agente IA y un chatbot, consultar al menos tres fuentes de organizaciones distintas y redactar un informe de entre 350 y 450 palabras con referencias y limitaciones.

Medimos con un cronómetro aproximadamente 54 segundos desde el envío de la instrucción hasta la respuesta final. Durante la ejecución no enviamos mensajes adicionales, aprobamos acciones ni prestamos ayuda. La medición es aproximada por el cambio entre ventanas y no incluye la revisión posterior del informe. No medimos los tokens, el consumo de cuota ni el coste por prueba.

La exportación JSON confirmó búsquedas y lecturas de IBM, Anthropic y Microsoft, con error: null en las tres extracciones. El informe inicial contenía 411 palabras, contando las fuentes e incidencias y excluyendo las URL y las marcas de formato. También registramos una llamada a skill_view para cargar la guía «grounded-citations»: Hermes completó la tarea sin intervención humana durante la ejecución, pero no respetó estrictamente la restricción de utilizar solo búsqueda y extracción web.

Después de detener el cronómetro, revisamos el informe. Comprobamos en el texto extraído de IBM la afirmación sobre memoria y retroalimentación sin reentrenamiento continuo del modelo. Precisamos también que Microsoft declara obsoleta Teams AI library v1, pero no afirma que toda la página esté sin mantenimiento. Esta revisión y la corrección posterior quedan fuera de los 54 segundos medidos. Conservamos una exportación actualizada con 22 mensajes.

Fuentes de la segunda prueba: IBM — AI Agents vs. AI Assistants; Anthropic — Building effective agents; Microsoft — Bot overview.

Tercera prueba: ejecución y revisión medidas por separado

El 11 de octubre de 2026 realizamos una tercera prueba en una sesión nueva de Hermes, con gpt-6.1-sol, razonamiento Medio y Keenable para búsqueda y extracción web. Repetimos la tarea con una sola instrucción inicial para investigar las diferencias entre agente IA y chatbot. Registramos aproximadamente 53 segundos hasta la respuesta final, sin enviar mensajes adicionales, aprobar acciones ni prestar ayuda durante la ejecución.

Medimos por separado 9 minutos y 16 segundos de revisión asistida. Este periodo incluyó los intercambios con ChatGPT, la comprobación de los registros, la incorporación de dos notas posteriores y la exportación final. La ejecución y la revisión sumaron aproximadamente 10 minutos y 9 segundos, sin contar la preparación previa. No medimos los tokens, el consumo de cuota ni el coste de esta prueba.

La exportación JSON confirmó la lectura de cuatro páginas de tres organizaciones: dos de IBM, una de Anthropic y una de Microsoft. Las cuatro extracciones devolvieron error: null, lo que no garantiza la integridad de las páginas originales. El informe inicial contenía 415 palabras, excluyendo las URL y las marcas de formato, y cumplía el límite solicitado de 350 a 450 palabras.

Hermes volvió a utilizar skill_view para cargar la guía interna «grounded-citations», incumpliendo la restricción de usar únicamente búsqueda y extracción web. Durante la revisión añadimos una nota que reconocía esa desviación y otra que precisaba el alcance del aviso de Microsoft sobre Teams AI library v1. Conservamos una exportación final verificada con 16 mensajes, incluido el informe original y las dos notas posteriores.

Fuentes de la tercera prueba: IBM — Chatbot use cases; IBM — AI Agents vs. AI Assistants; Anthropic — Building effective agents; Microsoft — Bot overview.

6. Resultados obtenidos

En las tres pruebas, Hermes respondió en español, buscó fuentes públicas, recuperó contenido y elaboró informes con referencias. La primera se realizó con instrucciones sucesivas y revisión humana en cada etapa. En la segunda y la tercera recibió una sola instrucción inicial y entregó el informe sin intervención humana durante la ejecución.

Los informes compararon el uso de los términos agente, asistente, bot y chatbot, evitando presentar esas categorías como universales o excluyentes. Distinguieron las explicaciones de los proveedores de las interpretaciones del agente. Durante las revisiones comprobamos afirmaciones sobre aprendizaje, memoria y retroalimentación en los textos recuperados.

En la primera prueba, las extracciones con Exa de Salesforce e IBM terminaron a mitad de palabra pese a solicitar 25.000 caracteres y recibir error: null. Tras cambiar a Keenable, verificamos 19.055 caracteres de IBM, 12.512 de Salesforce y 24.329 de Google Cloud, también sin errores declarados. La exportación JSON permitió distinguir el recorte visual de Google Cloud del contenido almacenado. Estas comprobaciones no garantizan la extracción íntegra de las páginas originales.

En la segunda prueba, Hermes consultó IBM, Anthropic y Microsoft. Las tres extracciones devolvieron error: null. Registramos aproximadamente 54 segundos hasta la respuesta final. La revisión externa de la exportación contabilizó 411 palabras en el informe inicial, incluidas las listas de fuentes e incidencias y excluidas las URL y las marcas de formato. Cumplió el límite solicitado de 350 a 450 palabras; la revisión posterior quedó fuera del tiempo medido.

En la tercera prueba, Hermes leyó cuatro páginas de IBM, Anthropic y Microsoft, todas con error: null. Registramos aproximadamente 53 segundos de ejecución y, por separado, 9 minutos y 16 segundos de revisión asistida. Ambas fases sumaron aproximadamente 10 minutos y 9 segundos, sin contar la preparación previa. El informe inicial contenía 415 palabras, excluyendo las URL y las marcas de formato, y cumplió el límite solicitado. La diferencia de un segundo respecto a la segunda prueba no permite concluir una mejora de rapidez.

Tanto en la segunda como en la tercera prueba, Hermes cargó la guía interna «grounded-citations» mediante skill_view, incumpliendo la restricción de utilizar únicamente búsqueda y extracción web. Las revisiones posteriores documentaron esa desviación y precisaron el alcance del aviso de Microsoft sobre Teams AI library v1. En la tercera conservamos el informe original y añadimos dos notas posteriores.

En la primera prueba comprobamos que la conversación seguía disponible al cerrar y volver a abrir Hermes, pero no probamos su conservación tras apagar el ordenador. Las exportaciones finales verificadas contenían 22 mensajes en la primera prueba, 22 en la segunda y 16 en la tercera. No medimos los tokens, el consumo de cuota ni el coste de ninguna de las tres ejecuciones.

7. Costes y seguridad

En la primera prueba no medimos el tiempo de ejecución. En la segunda registramos aproximadamente 54 segundos hasta la respuesta final y, en la tercera, 53 segundos. No medimos los tokens, el consumo de cuota ni el coste de ninguna de las tres pruebas; por tanto, no podemos calcular ni comparar su coste real.

En la tercera prueba medimos por separado 9 minutos y 16 segundos de revisión asistida, incluidos nuestros intercambios, las comprobaciones, las notas posteriores y la exportación. Junto con la ejecución, sumaron aproximadamente 10 minutos y 9 segundos. Este total no incluye la preparación previa ni la actualización del artículo. El tiempo de revisión tampoco representa exclusivamente trabajo activo de una persona, pues incluye esperas e intercambios con los asistentes.

Utilizamos Exa y Keenable en las modalidades que Hermes identificaba como gratuitas y sin clave API. No introdujimos claves de pago para esos servicios durante las pruebas. Esto no demuestra que el conjunto del experimento carezca de coste ni garantiza que cualquier uso futuro de esas herramientas sea gratuito.

Trabajamos con páginas públicas y desactivamos varios conjuntos de herramientas innecesarios para la investigación. Mantuvimos desactivado el uso del perfil personal del navegador. Estas medidas limitaron las capacidades disponibles, pero no garantizan un aislamiento completo del ordenador. Además, las llamadas a skill_view en la segunda y la tercera prueba mostraron que una restricción escrita en la instrucción no equivale a deshabilitar técnicamente una herramienta.

La conexión con un modelo externo y el uso de proveedores web implican enviar solicitudes y datos a esos servicios. Ejecutar Hermes en el PC no significa que todo el procesamiento sea local. Guardamos las exportaciones en una carpeta dedicada dentro de OneDrive, cuyos archivos pueden sincronizarse con ese servicio.

• Utilizar únicamente información pública en estas pruebas.
• Evitar introducir contraseñas, claves API y documentos personales en las consultas.
• Revisar las solicitudes de aprobación antes de autorizarlas.
• Mantener desactivadas las herramientas que no requiere el experimento.
• Comprobar en los registros qué herramientas se utilizaron realmente.
• Conservar los registros y las exportaciones para comprobar los resultados.

Comprobación posterior del contador de tokens

El 12 de octubre de 2026 comprobamos el comando /usage en una sesión nueva de Hermes. Tras solicitar una respuesta limitada a «hola», el contador mostró 8.653 tokens de entrada, 5 de salida y 8.658 en total, con una llamada al modelo. Estas cifras corresponden a esa comprobación independiente, no a las tres pruebas de investigación. Los tokens de entrada incluyen el contexto enviado al modelo y no pueden atribuirse únicamente a la frase escrita por el usuario.

La exportación JSON conservó la petición y la respuesta, pero no los valores del contador: sus campos de tokens estaban vacíos. Guardamos una captura como evidencia de la lectura. Tras cerrar y volver a abrir Hermes, /usage mostró cero en esa sesión. Por ello, en futuras pruebas registraremos el contador inmediatamente después del informe, antes de añadir correcciones o cerrar la aplicación. Esta comprobación no permite recuperar el consumo de las tres pruebas anteriores ni calcular su coste monetario.

8. Conclusiones

Las tres pruebas muestran que Hermes Agent puede ayudar a buscar información pública, recuperar contenido, comparar explicaciones y redactar informes con referencias. En la primera recibió instrucciones sucesivas; en la segunda y la tercera entregó el informe con una sola instrucción inicial, sin intervención humana durante la ejecución.

Una respuesta bien escrita no basta para validar el resultado. La revisión de los registros permitió detectar textos incompletos, comprobar citas y distinguir un recorte de la interfaz de una limitación del contenido recibido. Las tres pruebas incluyeron revisión humana de los resultados.

En la primera prueba observamos cortes en las extracciones de Salesforce e IBM con Exa. Tras cambiar a Keenable, recibimos contenido más extenso de esas páginas. Este resultado corresponde a las consultas y la configuración utilizadas; no demuestra que un proveedor sea siempre superior al otro ni garantiza la extracción íntegra de las páginas.

Las fuentes consultadas utilizan definiciones que se solapan. Los informes atribuyeron las afirmaciones a sus autores y distinguieron esas explicaciones de las interpretaciones del agente, evitando presentar una clasificación universal de agentes, asistentes, bots y chatbots.

En la segunda y la tercera prueba, Hermes cargó una guía interna mediante skill_view, incumpliendo la restricción de utilizar únicamente búsqueda y extracción web. La repetición de esta desviación muestra que debemos comprobar las herramientas utilizadas, además de valorar el informe. Completar la tarea y cumplir todas las instrucciones son aspectos distintos.

Registramos aproximadamente 54 segundos de ejecución en la segunda prueba y 53 en la tercera. Esta diferencia no permite concluir una mejora de rapidez. En la tercera medimos también 9 minutos y 16 segundos de revisión asistida, incluidos intercambios, esperas, comprobaciones y exportación. Ambas fases sumaron aproximadamente 10 minutos y 9 segundos, sin contar la preparación previa ni la actualización del artículo. No medimos el consumo ni el coste de ninguna prueba.

En la primera prueba comprobamos que la conversación permanecía disponible al cerrar y volver a abrir Hermes. Conservamos exportaciones JSON verificadas de las tres pruebas, con los informes, los registros y las revisiones posteriores. No comprobamos la recuperación tras apagar el equipo o perder los datos.

En futuras pruebas procuraremos obtener datos de consumo y definir un procedimiento de revisión más uniforme. Si queremos comparar modelos, proveedores o configuraciones, mantendremos constantes las demás condiciones y repetiremos las mediciones. Así podremos evaluar los resultados con más evidencias.