Hermes Agent: análisis de un PDF en el Laboratorio AF

En el segundo experimento del Laboratorio AF probamos Hermes Agent para leer un PDF, localizar información y responder preguntas con referencias a sus páginas. Utilizamos un documento de tres páginas creado con datos ficticios y respuestas conocidas, para comprobar los resultados.

La prueba incluyó siete preguntas sobre responsables, datos actualizados, presupuesto, gastos, porcentajes, información ausente y riesgos. Hermes respondió en aproximadamente 25 segundos, sin intervención humana durante la ejecución. La revisión posterior confirmó que las siete respuestas y sus referencias de página eran correctas.

Documentamos también los intentos interrumpidos, los cambios de herramientas y una imperfección en la extracción de la tabla. El contador de Hermes mostró 36.452 tokens totales en la sesión completada. No medimos el coste monetario ni el tiempo de revisión. Los resultados corresponden a este PDF con texto seleccionable y no permiten generalizar a documentos escaneados o más complejos.

1. Objetivo del experimento

El objetivo es comprobar si Hermes Agent puede leer un PDF con texto seleccionable, localizar datos y responder preguntas citando las páginas que respaldan sus respuestas.

Utilizamos el documento ficticio «Proyecto Faro: Informe de seguimiento», de tres páginas. Al conocer su contenido, podemos contrastar las respuestas con datos verificables sin utilizar documentos personales.

Evaluamos siete preguntas que requieren localizar responsables, distinguir información preliminar de una actualización vigente, sumar gastos, calcular un porcentaje y reconocer datos que no constan en el documento. También comprobamos la identificación de riesgos y sus medidas.

Registramos el tiempo aproximado de ejecución y los valores mostrados por el contador de tokens. Revisamos después las respuestas y las llamadas a herramientas. No medimos el coste monetario ni el tiempo de revisión, y esta prueba no evalúa lectura de documentos escaneados ni reconocimiento óptico de caracteres.

2. Herramientas utilizadas

Utilizamos Hermes Agent para escritorio, versión 0.21.5 +4585, para adjuntar el PDF, enviar las preguntas y consultar las respuestas y los registros de herramientas.

El modelo seleccionado fue gpt-6.1-sol, conectado mediante «ChatGPT or Codex Subscription», con razonamiento Medio. Mantuvimos el modo de aprobación Manual.

El documento de prueba fue «Proyecto Faro: Informe de seguimiento», creado para este experimento con datos ficticios. Contiene tres páginas numeradas, texto seleccionable, una tabla de gastos y una actualización que sustituye dos datos preliminares.

Hermes utilizó skill_view para cargar la guía PDF y read_file para extraer el contenido del archivo. La exportación de la prueba completada no registra búsquedas web, ejecución de código ni modificaciones de archivos.

Utilizamos el cronómetro de Reloj de Windows para medir la ejecución y ChatGPT como apoyo para preparar y revisar la prueba. Conservamos la exportación JSON y una captura de /usage, porque en la comprobación previa el JSON no había conservado los valores del contador.

Puedes consultar la documentación oficial de Hermes Agent para ampliar la información sobre su configuración y herramientas. La comprobación de este experimento se basa en el PDF de prueba y en los registros conservados.

3. Entorno de trabajo

Realizamos el experimento el 12 de octubre de 2026 en un ordenador personal con Windows 11, utilizando la aplicación de escritorio de Hermes Agent.

Hermes ya estaba instalado. No realizamos una instalación nueva ni utilizamos un VPS. Trabajamos desde la aplicación con ventana, sin comprobar WSL.

Guardamos el PDF y las evidencias en la carpeta «Laboratorio-AF-Hermes», dentro de Documentos, establecida como directorio de trabajo. La prueba completada se realizó en una sesión nueva, separada de los intentos interrumpidos y las comprobaciones previas.

La carpeta está dentro de OneDrive, por lo que sus archivos pueden sincronizarse con ese servicio. El PDF contiene exclusivamente datos ficticios. Utilizar una carpeta dedicada no garantiza que el agente esté aislado del resto del ordenador.

No registramos el procesador, la memoria RAM ni otros componentes del equipo. Los 25 segundos aproximados corresponden a esta ejecución y a los servicios utilizados; no permiten comparar el rendimiento entre ordenadores. Aunque el archivo estaba guardado localmente, el modelo utilizado era externo.

4. Instalación y configuración

Hermes ya estaba instalado y conectado mediante «ChatGPT or Codex Subscription». Utilizamos gpt-6.1-sol con razonamiento Medio y mantuvimos el modo de aprobación Manual.

La configuración inicial procedía del experimento de investigación web. File Operations estaba desactivado, al igual que Code Execution, Computer Use, Terminal & Processes, Cron Jobs y Task Delegation.

Los primeros intentos con el PDF adjunto se interrumpieron mientras Hermes esperaba una respuesta del modelo. El registro del intento exportado muestra que cargó la guía PDF, pero no contiene una llamada de lectura del documento. No determinamos la causa técnica del corte.

Activamos File Operations, que incluye read_file y otras herramientas de archivos. Desactivamos Web Search & Scraping, Browser Automation y Session Search para limitar las consultas externas y el acceso a conversaciones anteriores. Estos cambios se aplicaron a sesiones nuevas.

Una comprobación previa permitió obtener correctamente el título y una frase del PDF. Después abrimos otra sesión para realizar el análisis completo. La instrucción autorizaba leer únicamente el documento adjunto y prohibía crear o modificar archivos, consultar otras fuentes y utilizar terminal, ejecución de código, control del escritorio o delegación.

Adjuntamos el PDF mediante «Archivos» y enviamos las siete preguntas en un único mensaje. Tras recibir la respuesta, consultamos /usage antes de cerrar Hermes o añadir correcciones, guardamos una captura del contador y exportamos la conversación en JSON. El resultado posterior no permite atribuir los cortes anteriores únicamente a la configuración de herramientas.

5. Pruebas prácticas

Preparamos un PDF de tres páginas con datos ficticios del «Proyecto Faro». Incluimos responsables, un presupuesto, una tabla de gastos, resultados de revisión y una actualización que sustituye la meta y la fecha preliminares. También dejamos expresamente sin especificar el proveedor de la licencia, el IVA aplicable y el coste mensual de mantenimiento.

Los primeros intentos se interrumpieron sin entregar respuestas al cuestionario. En el intento fallido exportado, el cronómetro registró 59 segundos hasta detectar el error; al detener la operación, Hermes indicó 151,5 segundos transcurridos esperando al modelo. Conservamos ambos datos como observaciones de momentos distintos, sin determinar la causa técnica del corte.

Tras activar File Operations y desactivar las herramientas de búsqueda web, navegación y consulta de sesiones, realizamos una comprobación previa de lectura. Hermes identificó correctamente el título y una frase del documento. Esa comprobación no se cronometró. Otro envío accidental de esa respuesta obtuvo una confirmación en 13 segundos; lo excluimos del análisis completo.

Para la prueba medida abrimos una sesión nueva, adjuntamos el PDF y enviamos siete preguntas en una sola instrucción. Solicitamos referencias de página, operaciones visibles para los cálculos y la respuesta «No consta en el documento» cuando faltara información. Indicamos que utilizara read_file y prohibimos consultar otras fuentes, crear o modificar archivos y utilizar terminal, ejecución de código, control del escritorio o delegación.

Iniciamos el cronómetro al enviar la instrucción y lo detuvimos al terminar la respuesta. Registramos aproximadamente 25 segundos, sin mensajes adicionales, aprobaciones ni ayuda durante la ejecución. Después consultamos /usage, antes de cerrar Hermes o añadir correcciones, y guardamos una captura del contador.

Exportamos la conversación completada en JSON. La revisión confirmó seis mensajes, una llamada a skill_view para cargar la guía PDF y una llamada a read_file para extraer el documento. Contrastamos las siete respuestas, los cálculos y las referencias de página con el PDF original. No medimos el tiempo de esta revisión.

6. Resultados obtenidos

Hermes respondió correctamente a las siete preguntas del cuestionario. Identificó a Taller Delta como entidad responsable, a Elena Ríos como coordinadora y a Marcos Vidal como responsable técnico, con referencia a la página 1.

Distinguió los datos vigentes de los preliminares: la meta actualizada era de 150 documentos y la entrega del informe final estaba prevista para el 18 de diciembre de 2026. Explicó que sustituían la meta de 120 documentos y la fecha del 15 de diciembre, citando las páginas 1 y 3.

Identificó el presupuesto máximo de 4.800 euros sin IVA y calculó correctamente los gastos registrados: 600 + 1.080 + 240 + 320 = 2.240 euros. El presupuesto restante era de 2.560 euros. Mostró las operaciones y distinguió los cálculos de los datos del documento.

Calculó correctamente un 85 % de aprobación en el primer lote: 34 documentos aprobados de 40 revisados. Utilizó como denominador los documentos revisados, sin confundirlos con la meta del proyecto.

Indicó «No consta en el documento» para el proveedor de la licencia, el tipo de IVA y el coste mensual de mantenimiento. También identificó los dos riesgos y sus medidas. Las referencias de página de las siete respuestas coincidieron con el contenido del PDF.

La herramienta read_file devolvió 47 líneas y los indicadores truncated: false y extracted_document: true. Sin embargo, mezcló el texto del control de calidad y de los datos ausentes con la última fila de la tabla. Hermes interpretó correctamente la información pese a esa imperfección. No realizamos una comprobación visual del PDF desde Hermes.

La ejecución completada duró aproximadamente 25 segundos, sin intervención humana. La exportación contenía seis mensajes y registraba skill_view y read_file, sin búsquedas web, ejecución de código ni modificaciones de archivos. /usage mostró 36.452 tokens totales y tres llamadas al modelo. No medimos el coste monetario ni el tiempo de revisión.

7. Costes y seguridad

Registramos aproximadamente 25 segundos de ejecución en la prueba completada. Ese tiempo no incluye la preparación del PDF, los intentos interrumpidos, las comprobaciones previas, la revisión posterior ni la documentación del experimento. No medimos el coste monetario ni el tiempo de revisión.

El contador /usage mostró 36.452 tokens totales y tres llamadas al modelo. Esta lectura corresponde a la sesión completada, no al conjunto de intentos del experimento. Los tokens no equivalen directamente a un importe facturado ni permiten determinar cuánto consumió la cuota de la suscripción.

Utilizamos exclusivamente un documento con datos ficticios. Desactivamos la búsqueda web, la navegación y la consulta de sesiones anteriores. Mantuvimos el modo de aprobación Manual y habilitamos File Operations para leer el PDF. Este conjunto también incluye herramientas de escritura; la instrucción prohibía modificar archivos y el registro no muestra modificaciones.

El PDF estaba guardado en el ordenador, pero el modelo era externo. Por tanto, no debemos presentar la prueba como un procesamiento íntegramente local. La carpeta de trabajo estaba dentro de OneDrive, cuyos archivos pueden sincronizarse con ese servicio. Una carpeta dedicada no garantiza el aislamiento del agente.

• Utilizar documentos ficticios o adecuados para el servicio empleado.
• Revisar qué herramientas están habilitadas antes de comenzar.
• Limitar la lectura al documento necesario y comprobar los registros.
• Revisar las solicitudes de aprobación antes de autorizarlas.
• Guardar el contador antes de cerrar la sesión.
• Conservar el PDF original, la exportación JSON y las capturas.

Lectura del contador de tokens

Guardamos los campos tal como aparecían en /usage: Input tokens, 14.153; Output tokens, 795; Reasoning tokens, 73; Prompt tokens, 35.657; Completion tokens, 795; Total tokens, 36.452; API calls, 3. No sumamos todos esos campos: algunos se solapan y el total mostrado coincide con Prompt tokens más Completion tokens. No verificamos cómo calcula Hermes cada categoría.

Conservamos una captura porque, en una comprobación previa independiente, la exportación JSON no había guardado los valores del contador y estos volvieron a cero al reabrir Hermes. La lectura de esta prueba se tomó inmediatamente después de la respuesta, antes de cerrar la aplicación o añadir correcciones.

8. Conclusiones

Esta prueba muestra que Hermes Agent pudo leer el PDF preparado para el experimento y responder correctamente a siete preguntas con referencias a sus páginas. El resultado corresponde a un documento breve, con texto seleccionable y datos ficticios conocidos.

Hermes distinguió los datos preliminares de la actualización vigente. También calculó correctamente el gasto registrado, el presupuesto restante y el porcentaje de aprobación, mostrando las operaciones utilizadas.

Cuando preguntamos por información ausente, indicó que no constaba en el documento. No inventó el proveedor de la licencia, el tipo de IVA ni el coste mensual de mantenimiento.

La extracción presentó una imperfección: parte del texto de la página 2 quedó mezclado con la última fila de la tabla. Aunque las respuestas fueron correctas, este caso muestra que conviene revisar el contenido recuperado y no confiar únicamente en la presentación final.

Los intentos interrumpidos no permiten concluir que Hermes fuera incapaz de leer el PDF. Tras revisar las herramientas disponibles y activar File Operations, completamos la tarea mediante read_file. No determinamos la causa técnica de los cortes ni demostramos que se debieran únicamente a la configuración anterior.

La ejecución completada duró aproximadamente 25 segundos, sin intervención humana. El contador mostró 36.452 tokens totales y tres llamadas al modelo. No medimos el coste monetario ni el tiempo de revisión, y estas cifras no incluyen los intentos previos.

La exportación verificada registró skill_view y read_file, sin búsquedas web, ejecución de código ni modificaciones de archivos. Conservamos el PDF original, el JSON de la sesión completada, el registro del intento fallido exportado y la captura del contador como evidencias.

En futuras pruebas podremos utilizar documentos más extensos, tablas más complejas o PDF escaneados, evaluando cada caso por separado. Será necesario comprobar de nuevo la extracción, las referencias, los cálculos y la capacidad para reconocer información ausente, sin generalizar a partir de esta única ejecución.