GPT-6.1-sol y GPT-6-luna: comparación en Hermes Agent

En el tercer experimento del Laboratorio AF realizamos una comparación de modelos de IA dentro de Hermes Agent: GPT-6.1-sol y GPT-6-luna. Ambos recibieron el mismo PDF ficticio y exactamente las mismas siete preguntas, en sesiones nuevas y con razonamiento Medio.

En estas ejecuciones, Sol tardó aproximadamente 80 segundos y dejó dos preguntas incompletas al mostrar las operaciones sin calcular sus resultados. Luna terminó en 25,44 segundos y respondió correctamente a las siete preguntas. Ninguno recibió ayuda durante la ejecución.

Los contadores mostraron 36.514 tokens totales para Sol y 46.719 para Luna. Por tanto, la respuesta más rápida registró más tokens. No medimos el coste monetario ni el tiempo de revisión. Una sola ejecución por modelo no permite establecer cuál es mejor en general.

Ampliamos esta comparación en el Experimento 6: fiabilidad de modelos IA con Hermes Agent, con tres ejecuciones nuevas por modelo. Allí revisamos si se repiten los resultados y cómo varían los tiempos, los tokens y las herramientas utilizadas.

1. Objetivo del experimento

El objetivo es comparar cómo GPT-6.1-sol y GPT-6-luna resuelven una misma tarea de lectura documental dentro de Hermes Agent. Evaluamos la precisión, la completitud de las respuestas, las referencias de página, el tiempo de ejecución y los tokens mostrados por la aplicación.

Reutilizamos el PDF ficticio «Proyecto Faro: Informe de seguimiento», de tres páginas, y las siete preguntas del Experimento 2. Conocemos sus respuestas, lo que permite comprobar datos, cálculos, actualizaciones e información ausente.

Mantuvimos el mismo documento, la misma instrucción, las herramientas revisadas y el razonamiento Medio, con la opción Rápido desactivada. Cada modelo trabajó en una sesión nueva y sin intervención humana durante la ejecución. Las exportaciones confirmaron instrucciones idénticas y el mismo contenido extraído del PDF.

Realizamos una ejecución por modelo. Esta comparación describe dos resultados observados, no una evaluación general de sus capacidades. No medimos el coste monetario, el consumo de cuota de la suscripción ni el tiempo de revisión; los tokens registrados no sustituyen esas mediciones.

2. Herramientas utilizadas

Sustituye sus cinco primeros párrafos por estos. Conserva al final el párrafo con el enlace a la documentación oficial de Hermes.

Utilizamos Hermes Agent para escritorio, versión 0.21.5 +4585, para adjuntar el PDF, seleccionar los modelos, enviar la instrucción y revisar las respuestas y las llamadas a herramientas.

Comparamos gpt-6.1-sol y gpt-6-luna mediante «ChatGPT or Codex Subscription». En ambos seleccionamos razonamiento Medio y mantuvimos desactivada la opción Rápido.

El documento fue «Proyecto Faro: Informe de seguimiento», creado con datos ficticios para el Experimento 2. Sus tres páginas contienen responsables, presupuesto, gastos, resultados de revisión, una actualización de datos y límites explícitos sobre información ausente.

Ambos modelos utilizaron skill_view para cargar la guía PDF y read_file para extraer el documento. Luna realizó además una llamada a skills_list. Las exportaciones confirmaron que ambos recibieron el mismo texto extraído.

Utilizamos Reloj de Windows para medir cada ejecución y /usage para consultar los contadores antes de cerrar las sesiones. Conservamos las capturas y las exportaciones JSON. ChatGPT sirvió de apoyo para preparar el procedimiento y revisar las respuestas y los registros.

Puedes consultar la documentación oficial de Hermes Agent para conocer su configuración y herramientas. Los resultados de esta comparación se basan en las respuestas, las exportaciones JSON y las capturas conservadas.

3. Entorno de trabajo

Realizamos la comparación el 13 de octubre de 2026 en un ordenador personal con Windows 11, utilizando la aplicación de escritorio de Hermes Agent.

Hermes ya estaba instalado y conectado. No utilizamos un VPS ni realizamos una instalación nueva. Ambos modelos se ejecutaron mediante un servicio externo; disponer del PDF en el ordenador no significa que todo el procesamiento fuera local.

Utilizamos el mismo archivo «Experimento-02-Documento-prueba-AF.pdf», guardado en la carpeta «Laboratorio-AF-Hermes». Cada modelo recibió el documento y la instrucción en una sesión nueva.

La carpeta de trabajo está dentro de OneDrive, por lo que sus archivos pueden sincronizarse con ese servicio. El PDF contiene exclusivamente datos ficticios. Conservamos allí las exportaciones y las capturas de los contadores.

Ejecutamos primero Sol y después Luna, sin realizar repeticiones ni alternar el orden. No registramos los componentes del ordenador ni las condiciones de carga del servicio. Los tiempos pueden variar entre ejecuciones, y esta comparación no permite atribuir toda la diferencia observada únicamente al modelo.

4. Instalación y configuración

Partimos de la configuración utilizada al completar el Experimento 2. Hermes estaba conectado mediante «ChatGPT or Codex Subscription», con el modo de aprobación Manual.

Comprobamos que File Operations estaba activado. Mantuvimos desactivados Web Search & Scraping, Browser Automation y Session Search para limitar las consultas externas y el acceso a conversaciones anteriores.

Verificamos también que Code Execution, Computer Use, Terminal & Processes y Task Delegation seguían desactivados. No cambiamos las herramientas entre las dos ejecuciones.

Para la primera sesión seleccionamos gpt-6.1-sol con razonamiento Medio y la opción Rápido desactivada. Adjuntamos el PDF y pegamos la instrucción con las siete preguntas, sin enviar mensajes previos al modelo.

Para la segunda abrimos una sesión nueva y seleccionamos gpt-6-luna. Comprobamos de nuevo el razonamiento Medio y la opción Rápido desactivada. Utilizamos el mismo PDF y exactamente el mismo texto de la instrucción.

La instrucción autorizaba leer el PDF mediante read_file y prohibía consultar otras fuentes, crear o modificar archivos y utilizar terminal, ejecución de código, control del escritorio o delegación. No desactivamos Skills: ambos modelos cargaron la guía PDF y Luna consultó además la lista de habilidades. Registramos esas llamadas como parte del procedimiento observado.

5. Pruebas prácticas

Utilizamos las mismas siete preguntas para ambos modelos: responsables del proyecto, meta y fecha vigentes, presupuesto máximo, suma de gastos y presupuesto restante, porcentaje de aprobación, información ausente y riesgos con sus medidas. Solicitamos referencias de página y operaciones visibles para los cálculos.

Ejecutamos primero GPT-6.1-sol en una sesión nueva. Iniciamos el cronómetro al enviar la instrucción con el PDF y lo detuvimos al terminar la respuesta. Registramos aproximadamente 80 segundos, sin mensajes adicionales, aprobaciones ni ayuda durante la ejecución.

Sol localizó correctamente los datos y mostró las operaciones de las preguntas 4 y 5, pero no calculó sus resultados. Alegó que las reglas de la sesión exigían una herramienta para efectuar cálculos y que habíamos excluido terminal y ejecución de código. Conservamos esa explicación como una afirmación del modelo, sin verificar la regla que citaba ni corregir la respuesta.

Después ejecutamos GPT-6-luna en otra sesión nueva con la misma instrucción y el mismo PDF. Registramos 25,44 segundos, sin intervención humana. Luna respondió a las siete preguntas y calculó correctamente 2.240 euros de gastos, 2.560 euros de presupuesto restante y un 85 % de aprobación.

Consultamos /usage inmediatamente después de cada respuesta, antes de cerrar las sesiones o añadir correcciones. Guardamos capturas que mostraban 36.514 tokens totales y tres llamadas al modelo para Sol, frente a 46.719 tokens y cuatro llamadas para Luna.

Exportamos ambas conversaciones en JSON. La revisión confirmó instrucciones idénticas y el mismo contenido devuelto por read_file. Sol utilizó skill_view y read_file; Luna añadió una llamada a skills_list. No medimos el tiempo de revisión ni solicitamos nuevas respuestas para completar o corregir los resultados.

6. Resultados de la comparación de modelos de IA

Ambos modelos identificaron correctamente a Taller Delta, Elena Ríos y Marcos Vidal. También distinguieron la meta vigente de 150 documentos y la entrega del 18 de diciembre de 2026 de los datos preliminares, con referencias a las páginas correspondientes.

Los dos reconocieron el presupuesto máximo de 4.800 euros sin IVA, identificaron los riesgos y sus medidas e indicaron que no constaban el proveedor de la licencia, el tipo de IVA ni el coste mensual de mantenimiento. No observamos datos inventados en esas respuestas.

Sol dejó incompletas las preguntas 4 y 5: mostró las operaciones, pero no entregó los resultados numéricos del gasto, el presupuesto restante y el porcentaje. Con el criterio de exigir todos los resultados solicitados, completó cinco de las siete preguntas. Esta valoración no equivale a una puntuación general de calidad del modelo.

Luna completó correctamente las siete preguntas. Calculó 2.240 euros de gastos registrados, 2.560 euros de presupuesto restante y un 85 % de aprobación. Su respuesta fue más breve que la de Sol y mantuvo las referencias de página.

Sol tardó aproximadamente 80 segundos y Luna 25,44 segundos. Luna terminó antes en esta comparación, pero solo realizamos una ejecución por modelo. No podemos concluir que esa diferencia se mantenga en otras tareas o condiciones.

El contador mostró 36.514 tokens totales y tres llamadas al modelo para Sol, frente a 46.719 tokens y cuatro llamadas para Luna. La ejecución más rápida registró más tokens. Estas cifras no permiten calcular el coste monetario ni comparar directamente el consumo de cuota de la suscripción.

Las exportaciones contenían seis mensajes para Sol y ocho para Luna. Confirmaron la misma instrucción y el mismo texto extraído, incluida la imperfección que mezclaba parte de la página 2 con la última fila de la tabla. Luna realizó una llamada adicional a skills_list; ambos utilizaron skill_view y read_file. No aparecen búsquedas web, ejecución de código ni modificaciones de archivos.

7. Costes y seguridad

Registramos aproximadamente 80 segundos de ejecución para Sol y 25,44 segundos para Luna. Estos tiempos excluyen la preparación, la revisión posterior y la documentación del experimento. No medimos el coste monetario ni el tiempo de revisión.

Los contadores mostraron 36.514 tokens totales para Sol y 46.719 para Luna. No podemos convertir estas cifras directamente en un coste facturado ni en un consumo de cuota de la suscripción. Que Luna terminara antes no significa que utilizara menos tokens o que resultara más barato.

Utilizamos exclusivamente un PDF con datos ficticios. Mantuvimos desactivadas la búsqueda web, la navegación y la consulta de sesiones anteriores. File Operations estaba habilitado para leer el documento, pero también incluye herramientas de escritura. La instrucción prohibía modificar archivos y las exportaciones no registran modificaciones.

El archivo estaba guardado en el ordenador, pero los modelos eran externos. La carpeta de trabajo estaba dentro de OneDrive, cuyos archivos pueden sincronizarse con ese servicio. Una carpeta dedicada no garantiza el aislamiento del agente.

• Utilizar documentos ficticios o adecuados para el servicio empleado.
• Mantener las mismas herramientas y condiciones al comparar modelos.
• Revisar las solicitudes de aprobación antes de autorizarlas.
• Comprobar las herramientas utilizadas en los registros.
• Capturar el contador antes de cerrar la sesión.
• Conservar el PDF original, las exportaciones y las capturas.

Lectura del contador de tokens

Para Sol, /usage mostró: Input tokens, 14.153; Output tokens, 857; Reasoning tokens, 127; Prompt tokens, 35.657; Completion tokens, 857; Total tokens, 36.514; API calls, 3.

Para Luna, mostró: Input tokens, 16.057; Output tokens, 454; Prompt tokens, 46.265; Completion tokens, 454; Total tokens, 46.719; API calls, 4. No apareció una línea de Reasoning tokens en la captura; su ausencia no permite afirmar que el razonamiento consumiera cero tokens.

Conservamos los campos tal como aparecían. No los sumamos todos, porque algunos se solapan; en ambas capturas, el total coincide con Prompt tokens más Completion tokens. No verificamos cómo calcula Hermes cada categoría ni si su contabilización es directamente comparable entre modelos.

Guardamos las capturas inmediatamente después de cada respuesta. En una comprobación previa, la exportación JSON no había conservado los valores del contador y estos habían vuelto a cero al reabrir Hermes. Por ello, las lecturas de esta comparación se documentan mediante capturas.

8. Conclusiones

En esta comparación, GPT-6-luna completó correctamente las siete preguntas, mientras que GPT-6.1-sol dejó dos incompletas al mostrar operaciones sin sus resultados. Ambos localizaron correctamente los demás datos y citaron las páginas correspondientes.

Sol explicó que necesitaba una herramienta para efectuar los cálculos. Registramos esa explicación sin verificar la regla que citaba. Por tanto, el resultado describe el comportamiento observado dentro de Hermes, con sus instrucciones y herramientas, y no una incapacidad general del modelo para calcular.

Luna terminó en 25,44 segundos, frente a los aproximadamente 80 segundos de Sol. Esta diferencia corresponde a una ejecución por modelo, realizada primero con Sol y después con Luna. No permite asegurar que Luna sea siempre más rápido.

La ejecución de Luna mostró más tokens totales: 46.719 frente a 36.514. La rapidez y la cantidad de tokens no siguieron la misma dirección. No medimos el coste monetario ni verificamos que los contadores de ambos modelos tengan una interpretación directamente equivalente.

Las exportaciones confirmaron instrucciones idénticas y el mismo contenido extraído del PDF. Ambos modelos recibieron también la misma imperfección de formato en la página 2. Luna añadió una consulta a skills_list, mientras que Sol cargó directamente la guía PDF.

No observamos búsquedas web, ejecución de código ni modificaciones de archivos en las sesiones exportadas. Ambos modelos terminaron sin mensajes adicionales, aprobaciones ni ayuda durante la ejecución. La revisión posterior fue humana y no se cronometró.

Esta prueba no establece qué modelo es mejor para todas las tareas. Utilizamos un único PDF breve, con texto seleccionable y respuestas conocidas. Tampoco evaluamos documentos escaneados, tareas abiertas ni trabajos que requieran otras herramientas.

Para obtener conclusiones más sólidas, necesitaremos repetir las ejecuciones, alternar el orden de los modelos y evaluar otras tareas con criterios definidos de antemano. Si disponemos de datos de facturación o cuota, podremos añadir una comparación de costes; por ahora, esa parte queda pendiente.