{"id":2714,"date":"2026-10-13T10:22:00","date_gmt":"2026-10-13T08:22:00","guid":{"rendered":"https:\/\/antoniofernandez.net\/?p=2714"},"modified":"2026-10-24T20:04:56","modified_gmt":"2026-10-24T18:04:56","slug":"comparacion-modelos-ia-hermes-agent","status":"publish","type":"post","link":"https:\/\/antoniofernandez.net\/copia-divi\/comparacion-modelos-ia-hermes-agent\/","title":{"rendered":"GPT-6.1-sol y GPT-6-luna: comparaci\u00f3n en Hermes Agent"},"content":{"rendered":"\n
\"Comparaci\u00f3n
Experimento 3: GPT-6.1-sol y GPT-6-luna ante el mismo PDF.<\/figcaption><\/figure>\n\n\n\n
\n

En el tercer experimento del Laboratorio AF realizamos una comparaci\u00f3n de modelos de IA dentro de Hermes Agent: GPT-6.1-sol y GPT-6-luna. Ambos recibieron el mismo PDF ficticio y exactamente las mismas siete preguntas, en sesiones nuevas y con razonamiento Medio.<\/p>\n\n\n\n

En estas ejecuciones, Sol tard\u00f3 aproximadamente 80 segundos y dej\u00f3 dos preguntas incompletas al mostrar las operaciones sin calcular sus resultados. Luna termin\u00f3 en 25,44 segundos y respondi\u00f3 correctamente a las siete preguntas. Ninguno recibi\u00f3 ayuda durante la ejecuci\u00f3n.<\/p>\n\n\n\n

Los contadores mostraron 36.514 tokens totales para Sol y 46.719 para Luna. Por tanto, la respuesta m\u00e1s r\u00e1pida registr\u00f3 m\u00e1s tokens. No medimos el coste monetario ni el tiempo de revisi\u00f3n. Una sola ejecuci\u00f3n por modelo no permite establecer cu\u00e1l es mejor en general.<\/p>\n\n\n\n

Ampliamos esta comparaci\u00f3n en el Experimento 6: fiabilidad de modelos IA con Hermes Agent<\/a>, con tres ejecuciones nuevas por modelo. All\u00ed revisamos si se repiten los resultados y c\u00f3mo var\u00edan los tiempos, los tokens y las herramientas utilizadas.<\/p>\n<\/div>\n\n\n\n

\n

1. Objetivo del experimento<\/h2>\n\n\n\n

El objetivo es comparar c\u00f3mo GPT-6.1-sol y GPT-6-luna resuelven una misma tarea de lectura documental dentro de Hermes Agent. Evaluamos la precisi\u00f3n, la completitud de las respuestas, las referencias de p\u00e1gina, el tiempo de ejecuci\u00f3n y los tokens mostrados por la aplicaci\u00f3n.<\/p>\n\n\n\n

Reutilizamos el PDF ficticio \u00abProyecto Faro: Informe de seguimiento\u00bb, de tres p\u00e1ginas, y las siete preguntas del Experimento 2. Conocemos sus respuestas, lo que permite comprobar datos, c\u00e1lculos, actualizaciones e informaci\u00f3n ausente.<\/p>\n\n\n\n

Mantuvimos el mismo documento, la misma instrucci\u00f3n, las herramientas revisadas y el razonamiento Medio, con la opci\u00f3n R\u00e1pido desactivada. Cada modelo trabaj\u00f3 en una sesi\u00f3n nueva y sin intervenci\u00f3n humana durante la ejecuci\u00f3n. Las exportaciones confirmaron instrucciones id\u00e9nticas y el mismo contenido extra\u00eddo del PDF.<\/p>\n\n\n\n

Realizamos una ejecuci\u00f3n por modelo. Esta comparaci\u00f3n describe dos resultados observados, no una evaluaci\u00f3n general de sus capacidades. No medimos el coste monetario, el consumo de cuota de la suscripci\u00f3n ni el tiempo de revisi\u00f3n; los tokens registrados no sustituyen esas mediciones.<\/p>\n<\/div>\n\n\n\n

\n

2. Herramientas utilizadas<\/h2>\n\n\n\n

Sustituye sus cinco primeros p\u00e1rrafos<\/strong> por estos. Conserva al final el p\u00e1rrafo con el enlace a la documentaci\u00f3n oficial de Hermes.<\/strong><\/p>\n\n\n\n

Utilizamos Hermes Agent para escritorio, versi\u00f3n 0.21.5 +4585, para adjuntar el PDF, seleccionar los modelos, enviar la instrucci\u00f3n y revisar las respuestas y las llamadas a herramientas.<\/p>\n\n\n\n

Comparamos gpt-6.1-sol y gpt-6-luna mediante \u00abChatGPT or Codex Subscription\u00bb. En ambos seleccionamos razonamiento Medio y mantuvimos desactivada la opci\u00f3n R\u00e1pido.<\/p>\n\n\n\n

El documento fue \u00abProyecto Faro: Informe de seguimiento\u00bb, creado con datos ficticios para el Experimento 2. Sus tres p\u00e1ginas contienen responsables, presupuesto, gastos, resultados de revisi\u00f3n, una actualizaci\u00f3n de datos y l\u00edmites expl\u00edcitos sobre informaci\u00f3n ausente.<\/p>\n\n\n\n

Ambos modelos utilizaron skill_view<\/strong> para cargar la gu\u00eda PDF y read_file<\/strong> para extraer el documento. Luna realiz\u00f3 adem\u00e1s una llamada a skills_list<\/strong>. Las exportaciones confirmaron que ambos recibieron el mismo texto extra\u00eddo.<\/p>\n\n\n\n

Utilizamos Reloj de Windows para medir cada ejecuci\u00f3n y \/usage<\/strong> para consultar los contadores antes de cerrar las sesiones. Conservamos las capturas y las exportaciones JSON. ChatGPT sirvi\u00f3 de apoyo para preparar el procedimiento y revisar las respuestas y los registros.<\/p>\n\n\n\n

Puedes consultar la documentaci\u00f3n oficial de Hermes Agent<\/a> para conocer su configuraci\u00f3n y herramientas. Los resultados de esta comparaci\u00f3n se basan en las respuestas, las exportaciones JSON y las capturas conservadas.<\/p>\n<\/div>\n\n\n\n

\n

3. Entorno de trabajo<\/h2>\n\n\n\n

Realizamos la comparaci\u00f3n el 13 de octubre de 2026 en un ordenador personal con Windows 11, utilizando la aplicaci\u00f3n de escritorio de Hermes Agent.<\/p>\n\n\n\n

Hermes ya estaba instalado y conectado. No utilizamos un VPS ni realizamos una instalaci\u00f3n nueva. Ambos modelos se ejecutaron mediante un servicio externo; disponer del PDF en el ordenador no significa que todo el procesamiento fuera local.<\/p>\n\n\n\n

Utilizamos el mismo archivo \u00abExperimento-02-Documento-prueba-AF.pdf\u00bb, guardado en la carpeta \u00abLaboratorio-AF-Hermes\u00bb. Cada modelo recibi\u00f3 el documento y la instrucci\u00f3n en una sesi\u00f3n nueva.<\/p>\n\n\n\n

La carpeta de trabajo est\u00e1 dentro de OneDrive, por lo que sus archivos pueden sincronizarse con ese servicio. El PDF contiene exclusivamente datos ficticios. Conservamos all\u00ed las exportaciones y las capturas de los contadores.<\/p>\n\n\n\n

Ejecutamos primero Sol y despu\u00e9s Luna, sin realizar repeticiones ni alternar el orden. No registramos los componentes del ordenador ni las condiciones de carga del servicio. Los tiempos pueden variar entre ejecuciones, y esta comparaci\u00f3n no permite atribuir toda la diferencia observada \u00fanicamente al modelo.<\/p>\n<\/div>\n\n\n\n

\n

4. Instalaci\u00f3n y configuraci\u00f3n<\/strong><\/h2>\n\n\n\n

Partimos de la configuraci\u00f3n utilizada al completar el Experimento 2. Hermes estaba conectado mediante \u00abChatGPT or Codex Subscription\u00bb, con el modo de aprobaci\u00f3n Manual.<\/p>\n\n\n\n

Comprobamos que File Operations estaba activado. Mantuvimos desactivados Web Search & Scraping, Browser Automation y Session Search para limitar las consultas externas y el acceso a conversaciones anteriores.<\/p>\n\n\n\n

Verificamos tambi\u00e9n que Code Execution, Computer Use, Terminal & Processes y Task Delegation segu\u00edan desactivados. No cambiamos las herramientas entre las dos ejecuciones.<\/p>\n\n\n\n

Para la primera sesi\u00f3n seleccionamos gpt-6.1-sol con razonamiento Medio y la opci\u00f3n R\u00e1pido desactivada. Adjuntamos el PDF y pegamos la instrucci\u00f3n con las siete preguntas, sin enviar mensajes previos al modelo.<\/p>\n\n\n\n

Para la segunda abrimos una sesi\u00f3n nueva y seleccionamos gpt-6-luna. Comprobamos de nuevo el razonamiento Medio y la opci\u00f3n R\u00e1pido desactivada. Utilizamos el mismo PDF y exactamente el mismo texto de la instrucci\u00f3n.<\/p>\n\n\n\n

La instrucci\u00f3n autorizaba leer el PDF mediante read_file<\/strong> y prohib\u00eda consultar otras fuentes, crear o modificar archivos y utilizar terminal, ejecuci\u00f3n de c\u00f3digo, control del escritorio o delegaci\u00f3n. No desactivamos Skills: ambos modelos cargaron la gu\u00eda PDF y Luna consult\u00f3 adem\u00e1s la lista de habilidades. Registramos esas llamadas como parte del procedimiento observado.<\/p>\n<\/div>\n\n\n\n

\n

5. Pruebas pr\u00e1cticas<\/h2>\n\n\n\n

Utilizamos las mismas siete preguntas para ambos modelos: responsables del proyecto, meta y fecha vigentes, presupuesto m\u00e1ximo, suma de gastos y presupuesto restante, porcentaje de aprobaci\u00f3n, informaci\u00f3n ausente y riesgos con sus medidas. Solicitamos referencias de p\u00e1gina y operaciones visibles para los c\u00e1lculos.<\/p>\n\n\n\n

Ejecutamos primero GPT-6.1-sol en una sesi\u00f3n nueva. Iniciamos el cron\u00f3metro al enviar la instrucci\u00f3n con el PDF y lo detuvimos al terminar la respuesta. Registramos aproximadamente 80 segundos, sin mensajes adicionales, aprobaciones ni ayuda durante la ejecuci\u00f3n.<\/p>\n\n\n\n

Sol localiz\u00f3 correctamente los datos y mostr\u00f3 las operaciones de las preguntas 4 y 5, pero no calcul\u00f3 sus resultados. Aleg\u00f3 que las reglas de la sesi\u00f3n exig\u00edan una herramienta para efectuar c\u00e1lculos y que hab\u00edamos excluido terminal y ejecuci\u00f3n de c\u00f3digo. Conservamos esa explicaci\u00f3n como una afirmaci\u00f3n del modelo, sin verificar la regla que citaba ni corregir la respuesta.<\/p>\n\n\n\n

Despu\u00e9s ejecutamos GPT-6-luna en otra sesi\u00f3n nueva con la misma instrucci\u00f3n y el mismo PDF. Registramos 25,44 segundos, sin intervenci\u00f3n humana. Luna respondi\u00f3 a las siete preguntas y calcul\u00f3 correctamente 2.240 euros de gastos, 2.560 euros de presupuesto restante y un 85 % de aprobaci\u00f3n.<\/p>\n\n\n\n

Consultamos \/usage<\/strong> inmediatamente despu\u00e9s de cada respuesta, antes de cerrar las sesiones o a\u00f1adir correcciones. Guardamos capturas que mostraban 36.514 tokens totales y tres llamadas al modelo para Sol, frente a 46.719 tokens y cuatro llamadas para Luna.<\/p>\n\n\n\n

Exportamos ambas conversaciones en JSON. La revisi\u00f3n confirm\u00f3 instrucciones id\u00e9nticas y el mismo contenido devuelto por read_file<\/strong>. Sol utiliz\u00f3 skill_view<\/strong> y read_file<\/strong>; Luna a\u00f1adi\u00f3 una llamada a skills_list<\/strong>. No medimos el tiempo de revisi\u00f3n ni solicitamos nuevas respuestas para completar o corregir los resultados.<\/p>\n<\/div>\n\n\n\n

\n

6. Resultados de la comparaci\u00f3n de modelos de IA<\/h2>\n\n\n\n

Ambos modelos identificaron correctamente a Taller Delta, Elena R\u00edos y Marcos Vidal. Tambi\u00e9n distinguieron la meta vigente de 150 documentos y la entrega del 18 de diciembre de 2026 de los datos preliminares, con referencias a las p\u00e1ginas correspondientes.<\/p>\n\n\n\n

Los dos reconocieron el presupuesto m\u00e1ximo de 4.800 euros sin IVA, identificaron los riesgos y sus medidas e indicaron que no constaban el proveedor de la licencia, el tipo de IVA ni el coste mensual de mantenimiento. No observamos datos inventados en esas respuestas.<\/p>\n\n\n\n

Sol dej\u00f3 incompletas las preguntas 4 y 5: mostr\u00f3 las operaciones, pero no entreg\u00f3 los resultados num\u00e9ricos del gasto, el presupuesto restante y el porcentaje. Con el criterio de exigir todos los resultados solicitados, complet\u00f3 cinco de las siete preguntas. Esta valoraci\u00f3n no equivale a una puntuaci\u00f3n general de calidad del modelo.<\/p>\n\n\n\n

Luna complet\u00f3 correctamente las siete preguntas. Calcul\u00f3 2.240 euros de gastos registrados, 2.560 euros de presupuesto restante y un 85 % de aprobaci\u00f3n. Su respuesta fue m\u00e1s breve que la de Sol y mantuvo las referencias de p\u00e1gina.<\/p>\n\n\n\n

Sol tard\u00f3 aproximadamente 80 segundos y Luna 25,44 segundos. Luna termin\u00f3 antes en esta comparaci\u00f3n, pero solo realizamos una ejecuci\u00f3n por modelo. No podemos concluir que esa diferencia se mantenga en otras tareas o condiciones.<\/p>\n\n\n\n

El contador mostr\u00f3 36.514 tokens totales y tres llamadas al modelo para Sol, frente a 46.719 tokens y cuatro llamadas para Luna. La ejecuci\u00f3n m\u00e1s r\u00e1pida registr\u00f3 m\u00e1s tokens. Estas cifras no permiten calcular el coste monetario ni comparar directamente el consumo de cuota de la suscripci\u00f3n.<\/p>\n\n\n\n

Las exportaciones conten\u00edan seis mensajes para Sol y ocho para Luna. Confirmaron la misma instrucci\u00f3n y el mismo texto extra\u00eddo, incluida la imperfecci\u00f3n que mezclaba parte de la p\u00e1gina 2 con la \u00faltima fila de la tabla. Luna realiz\u00f3 una llamada adicional a skills_list<\/strong>; ambos utilizaron skill_view<\/strong> y read_file<\/strong>. No aparecen b\u00fasquedas web, ejecuci\u00f3n de c\u00f3digo ni modificaciones de archivos.<\/p>\n<\/div>\n\n\n\n

\n

7. Costes y seguridad<\/strong><\/h2>\n\n\n\n

Registramos aproximadamente 80 segundos de ejecuci\u00f3n para Sol y 25,44 segundos para Luna. Estos tiempos excluyen la preparaci\u00f3n, la revisi\u00f3n posterior y la documentaci\u00f3n del experimento. No medimos el coste monetario ni el tiempo de revisi\u00f3n.<\/p>\n\n\n\n

Los contadores mostraron 36.514 tokens totales para Sol y 46.719 para Luna. No podemos convertir estas cifras directamente en un coste facturado ni en un consumo de cuota de la suscripci\u00f3n. Que Luna terminara antes no significa que utilizara menos tokens o que resultara m\u00e1s barato.<\/p>\n\n\n\n

Utilizamos exclusivamente un PDF con datos ficticios. Mantuvimos desactivadas la b\u00fasqueda web, la navegaci\u00f3n y la consulta de sesiones anteriores. File Operations estaba habilitado para leer el documento, pero tambi\u00e9n incluye herramientas de escritura. La instrucci\u00f3n prohib\u00eda modificar archivos y las exportaciones no registran modificaciones.<\/p>\n\n\n\n

El archivo estaba guardado en el ordenador, pero los modelos eran externos. La carpeta de trabajo estaba dentro de OneDrive, cuyos archivos pueden sincronizarse con ese servicio. Una carpeta dedicada no garantiza el aislamiento del agente.<\/p>\n\n\n\n