Balance de 4 proyectos de agentes IA del Laboratorio AF

Este balance de 4 proyectos de agentes IA reúne lo aprendido al configurar un asistente personal, preparar un investigador con fuentes, conectar herramientas mediante MCP y organizar tareas con archivos locales. En el Laboratorio AF documentamos las pruebas, los resultados observados y las correcciones necesarias.

Los proyectos tienen alcances distintos: dos utilizan proyectos de ChatGPT con instrucciones propias y otros dos emplean Claude Desktop con una conexión MCP de archivos. Comparamos qué comprobamos en cada caso y qué quedó pendiente, sin presentar estas experiencias como sistemas autónomos ni como garantías de funcionamiento.

1. Qué hemos construido en los cuatro proyectos

Los cuatro proyectos exploran funciones distintas y comparten una forma de trabajo: definir una tarea, probarla y revisar el resultado antes de darla por válida.

Los proyectos 3 y 4 comparten la misma conexión MCP. En el cuarto no añadimos otro servidor ni conectamos un calendario: aplicamos las herramientas de archivos a una tarea de planificación.

2. Cómo realizamos y revisamos las pruebas

Partimos de tareas pequeñas con requisitos concretos: una extensión máxima, unos datos que conservar, un horario disponible o una ruta de archivos autorizada. Después revisamos si las respuestas cumplían lo solicitado.

La comprobación dependió del tipo de tarea:

• Textos y planificación: revisamos el contenido, los cálculos, las restricciones y el formato.
• Investigación: contrastamos cuatro afirmaciones del informe con fuentes oficiales directas.
• Archivos locales: combinamos las respuestas de Claude con la apertura de los documentos en el Explorador de Windows y el Bloc de notas.
• Límites de acceso: probamos una lectura fuera de la carpeta autorizada y observamos el rechazo comunicado por el servidor.

Cuando detectamos una afirmación sin respaldo o una explicación imprecisa, pedimos una corrección y revisamos la nueva respuesta.

No todas las comprobaciones tienen el mismo alcance. Abrir un archivo permite verificar su contenido; una declaración del asistente sobre lo que ha hecho necesita evidencias adicionales. También aprendimos que copiar una respuesta puede alterar su presentación, por lo que algunas dudas de formato quedaron sin confirmar.

3. Resultados del balance de 4 proyectos de agentes IA

Las pruebas aportaron ejemplos de utilidad en los cuatro proyectos, aunque cada uno se evaluó con tareas diferentes.

Estos resultados no permiten establecer un ganador: los proyectos resolvían necesidades distintas y no utilizamos una prueba común para compararlos.

El aprendizaje compartido fue que una respuesta útil necesita revisión. En unos casos comprobamos cálculos; en otros, el respaldo de una fuente o el contenido real de un archivo.

4. Qué corregimos y qué quedó sin confirmar

La revisión permitió distinguir entre errores observados, explicaciones que necesitaban precisión y dudas que no pudimos resolver.

• Una suposición sobre las tareas: el organizador afirmó que posponer las notas no tendría consecuencias. El archivo no aportaba ese dato y pedimos que corrigiera la justificación.
• Un matiz en el informe: Investigador AF precisó que las actividades por ejecución de Zapier Agents eran umbrales de protección que solicitaban intervención antes de continuar.
• Dos desviaciones de extensión: en el Proyecto 4 obtuvimos respuestas de 42 y 51 palabras frente a máximos de 40 y 50.
• Dudas sobre el formato copiado: en el Proyecto 1 no pudimos confirmar si faltaban los asuntos en las respuestas originales. Las viñetas de un resumen se confirmaron mediante la observación del usuario.

También añadimos una regla de revisión de requisitos al Asistente Personal AF. No demostramos que esa modificación produjera una mejora, porque la petición posterior utilizó un formato diferente.

Registrar estas diferencias evita presentar una duda como un fallo confirmado o una corrección puntual como garantía de funcionamiento futuro.

5. Herramientas, costes y consumo de las pruebas

Utilizamos ChatGPT Plus para los proyectos del asistente personal y del investigador. Para la conexión MCP y la organización de tareas empleamos Claude Desktop con el plan gratuito, Node.js y un servidor de archivos locales.

Utilizar una suscripción existente no convierte su uso en gratuito. Tampoco podemos atribuirle un coste concreto a cada proyecto sin medirlo.

En Claude trabajamos con archivos pequeños y peticiones breves para contener el consumo. No comprobamos los límites del plan gratuito ni garantizamos la misma disponibilidad en otras cuentas o fechas.

Para ampliar la información sobre la conexión utilizada en los proyectos 3 y 4, puedes consultar la documentación oficial de MCP sobre servidores locales, que explica cómo conectar Claude Desktop con herramientas de archivos.

6. Limitaciones del balance y mejoras pendientes

Este balance reúne experiencias exploratorias. Las tareas, herramientas y formas de comprobación fueron diferentes, por lo que no calculamos una puntuación conjunta ni una tasa global de aciertos.

Las principales limitaciones son:

• Pocas pruebas por función: no repetimos sistemáticamente cada petición en conversaciones nuevas.
• Revisión parcial: no contrastamos todas las afirmaciones ni registramos todas las operaciones con el mismo detalle.
• Sin medición de rendimiento: no comparamos tiempos, consumo de tokens ni costes por proyecto.
• Supervisión humana: las pruebas se iniciaron mediante peticiones del usuario y sus resultados necesitaron revisión.
• Alcance reducido de las integraciones: utilizamos un servidor MCP de archivos; no configuramos una API independiente ni conectamos un calendario o gestor de tareas.

Para continuar, proponemos repetir peticiones con los mismos criterios, conservar las evidencias y ampliar gradualmente las funciones evaluadas. También quedan pendientes las instrucciones persistentes del organizador y una integración real con una aplicación de productividad.

Estos cuatro proyectos aportan una base práctica documentada, pero no constituyen una evaluación exhaustiva ni garantizan el mismo comportamiento en otros contextos.

7. Conclusión del balance de los cuatro proyectos

Los cuatro proyectos del Laboratorio AF muestran un recorrido práctico: configurar instrucciones, consultar fuentes, conectar herramientas y utilizar archivos para preparar un plan de tareas.

Comprobamos resultados concretos, como cálculos de horarios, referencias que respaldaban afirmaciones y archivos cuyo contenido revisamos en el ordenador. También identificamos correcciones necesarias y dudas que quedaron abiertas.

El aprendizaje principal es que configurar una herramienta es solo el comienzo. Para valorar su utilidad necesitamos definir qué esperamos, revisar lo que hace y documentar los límites de cada prueba.

Este balance de 4 proyectos de agentes IA queda como punto de partida para nuevas comprobaciones y ampliaciones, manteniendo la revisión humana y diferenciando las funciones probadas de las que todavía están pendientes.

Preguntas frecuentes sobre los cuatro proyectos de agentes IA