El problema
Una habilidad de IA es, en esencia, una combinación de un system prompt y una configuración de herramientas. Cuando esa habilidad funciona bien, genera valor real para el negocio. Cuando alguien modifica el prompt y la habilidad deja de funcionar como se espera, el equipo necesita averiguar qué cambió y revertirlo.
Es el mismo problema que resolvió hace décadas el control de versiones del código fuente. Antes de Git y sus predecesores, los desarrolladores modificaban código sin rastrear cambios y, al romperse algo, no había manera de identificar lo modificado o volver a una versión funcional. Las habilidades de IA enfrentan hoy ese mismo reto. La mayoría de los equipos guardan sus prompts en documentos, mensajes de chat o directamente en la configuración de la aplicación, sin historial de versiones.
Qué versionar
El versionado mínimo viable para habilidades de IA incluye el texto del system prompt, la lista de herramientas conectadas (qué servidores MCP y con qué capacidades), los parámetros de configuración (temperature, modelo elegido, max tokens) y una descripción de qué cambió y por qué.
Un seguimiento más sofisticado puede incluir resultados de pruebas (cómo se comportó la habilidad sobre un set estándar de inputs), métricas de rendimiento (uso de tokens, latencia, tasa de éxito) y la versión específica del modelo contra la que se probó. Estos datos adicionales ayudan a entender no sólo qué cambió, sino cómo afectó el cambio a la calidad.
Enfoques prácticos
El enfoque más simple es guardar tus habilidades en Git junto al código. Crea un directorio para habilidades, guarda cada una como un archivo YAML o JSON con el prompt, la configuración de herramientas y los metadatos, y commitea cambios con el flujo normal de Git. Eso te da historial completo, diffs, ramas y la posibilidad de revertir.
Para equipos que quieren más estructura, han surgido varias herramientas de gestión de prompts. Ofrecen UIs para editar prompts, rastrear versiones, comparar entre versiones y desplegar versiones específicas en producción. Añaden comodidad sobre el concepto básico de control de versiones.
El principio clave es que cualquier cambio en una habilidad debe quedar registrado, ser revisable y reversible. Lo logres con Git, con una herramienta dedicada o incluso con un documento bien organizado con entradas fechadas, lo importante es disponer de un historial al que recurrir cuando algo cambia.
Probar entre versiones
El control de versiones habilita pruebas A/B de habilidades. Cuando modificas un prompt, puedes correr la versión vieja y la nueva contra los mismos inputs y comparar las salidas. Este enfoque empírico es mucho más fiable que editar a base de intuición.
Un set pequeño de inputs representativos, con salidas esperadas o criterios de calidad, te da una suite de regresión para tus habilidades. Cuando haces un cambio, ejecutarla te dice si el cambio mejoró, mantuvo o degradó el rendimiento. Sin control de versiones y sin pruebas, estás adivinando si tus cambios son mejoras de verdad.
Dependencias con la versión del modelo
Las habilidades de IA no sólo dependen del texto del prompt, sino también de la versión del modelo en el que corren. Un prompt que funciona perfectamente con una versión del modelo puede dar resultados distintos cuando el modelo se actualiza. Rastrear contra qué versión se probó cada habilidad te ayuda a identificar cuándo los cambios de modelo pueden afectarlas.
Algunos equipos mantienen variantes de la habilidad para distintos modelos, reconociendo que el prompt óptimo para Claude puede diferir del óptimo para GPT-4. El control de versiones hace práctico mantener esas variantes al ofrecer una estructura clara para organizarlas y rastrearlas.
Lecturas relacionadas
- Cómo construir tu primera habilidad de IA para Claude
- La diferencia entre una habilidad de IA y un agente de IA
- Cómo usar herramientas de IA con responsabilidad en producción
Explora habilidades de IA en Skillful.sh. Busca entre más de 137.000 herramientas de IA.