CabrIA · Una IA local para las pruebas de software, construida sobre sus pruebas de campo
CabrIA (programa de I+D de AI Cabra) es una IA local y soberana para las pruebas de software, en desarrollo: un modelo abierto Mixture-of-Experts de 35 000 millones de parámetros servido en local, asociado a un RAG local verificable (qa-brain) cuyas respuestas citan siempre sus fuentes. Sus convenciones, sus pantallas y sus incidentes constituyen un material que los modelos genéricos no conocen. La captura y la refinería han reunido 1892 ejemplos admitidos a 9 de octubre de 2026; el primer fine-tuning sigue pendiente. Una configuración de laboratorio de coste controlado, sobre infraestructura local en Francia.
El callejón sin salida de los LLM genéricos en las pruebas empresariales
Para una dirección de sistemas preocupada por el cumplimiento y la fiabilidad, delegar su QA en API de nube pública plantea tres bloqueos importantes.
Ninguna memoria de sus convenciones
Los modelos públicos no conocen ni sus pantallas SAP específicas, ni sus reglas de autorización, ni el historial de sus incidentes. Sus sugerencias siguen siendo vagas e inaplicables.
Exfiltración de datos de prueba
Enviar capturas de pantalla, logs de ejecución o peticiones de API a servidores de terceros expone datos de clientes y secretos empresariales a jurisdicciones extraterritoriales.
Sugerencias inverificables
Un LLM clásico inventa selectores inexistentes y no cita sus fuentes. Es imposible confiarle el análisis de un fallo de prueba crítico sin una verificación humana exhaustiva.
LLM genérico en la nube o IA local especializada: lo que cambia para la QA
Dos enfoques comparados sin nombrar a ningún proveedor; la última fila dice en qué punto está CabrIA.
| Criterio | LLM genérico en la nube | CabrIA, IA local en I+D |
|---|---|---|
| Adónde van los datos de prueba | A los servidores del proveedor | Se quedan con usted, on-premise o en una nube soberana (Francia, UE); secretos y datos personales enmascarados antes de almacenarse |
| Conocimiento de sus convenciones | Ninguno, salvo lo que contenga la petición | Servido por el RAG (en servicio), aprendido por fine-tuning (previsto) |
| Fuentes de las respuestas | Sin fuente citada por defecto | Citas obligatorias en qa-brain, abstención posible fuera del corpus |
| Versión del modelo | La cambia el proveedor | Fija, elegida y medida en un banco de 77 casos |
| Disponibilidad hoy | Producto disponible | Programa de I+D: RAG en servicio, primer fine-tuning por llegar |
El bucle de aprendizaje de CabrIA
Cada ejecución de prueba produce experiencia: capturada de forma pasiva, validada mediante ejecución real y almacenada después en una doble memoria local.
Lo que funciona, lo que está en curso, lo que queda por hacer
Estado consultado el 6 de octubre de 2026 en la hoja de ruta del programa. Una etapa solo se declara terminada cuando se alcanza su criterio de salida.
- Registrador de vuelo: un listener de Robot Framework, un reporter de Playwright, un plugin de rf-mcp y hooks de Playwright MCP capturan las ejecuciones; 4 146 190 registros consolidados a 9 de octubre de 2026.
- Refinería: 1892 ejemplos admitidos a 9 de octubre de 2026, puntuados por un juez distinto de 30 mil millones de parámetros.
- Banco de evaluación: 77 casos a 11 de septiembre de 2026, construido antes de cualquier entrenamiento.
- Memoria RAG qa-brain: 4119 pasajes indexados a 9 de octubre de 2026, respuestas con citas obligatorias, consultada por los agentes de prueba de SAPFX y de rf-test-agents.
- Diversificación del conjunto de datos más allá de SAP, hacia la web y Odoo.
- Validación sistemática del código generado mediante ejecución sobre fixtures sin conexión.
- Pares de preferencias para la pasada DPO.
- Primer fine-tuning LoRA bf16 del modelo abierto, en una estación local.
- Comparación del modelo entrenado con el modelo base en el banco, con un criterio de salida fijado de antemano: una ganancia neta en al menos tres ejes, sin regresión importante.
- Servicio local del modelo entrenado y conexión a los agentes de prueba como modelo local.
No se reivindica ninguna ganancia de fine-tuning mientras no se haga esta comparación.
Los 4 componentes fundacionales del ecosistema CabrIA
Del colector pasivo al modelo servido localmente, cada componente está diseñado para la portabilidad universal, el aislamiento de los secretos y la verificación sistemática mediante ejecución.
Arquitectura Mixture-of-Experts, on-premise o nube soberana
Modelo MoE con licencia Apache 2.0 de 35 000 millones de parámetros, de los cuales ~3000 millones activos por token, servido localmente en GGUF. El primer entrenamiento LoRA bf16 está previsto en una configuración de laboratorio de coste controlado (128 GB unificados). Su mejora se comparará con el modelo base en el banco de 77 casos.
Registrador de vuelo y protección de datos
4 146 190 registros consolidados a 9 de octubre de 2026, de los cuales 2 603 689 proceden de las pruebas SAP, 1 423 915 de las pruebas web y 82 851 de las pruebas Odoo. Un listener de Robot Framework, la ingesta de los informes JSON de Playwright, un plugin rf-mcp y hooks MCP alimentan la recopilación con enmascaramiento de secretos. Un registro capturado no es un ejemplo de entrenamiento admitido.
Refinería SFT/DPO y verificación mediante ejecución real
1892 ejemplos admitidos a 9 de octubre de 2026, de los cuales 917 críticas de pruebas, 526 diagnósticos, 313 pares especificación-suite y 136 lecciones aprendidas; 52 duplicados están marcados. Un juez distinto de 30 000 millones de parámetros puntúa los candidatos, con confirmación y trazabilidad. La validación sistemática del código generado sobre fixtures sin conexión y los pares DPO siguen siendo hitos por completar antes del entrenamiento.
Segunda memoria: RAG local verificable qa-brain
4119 pasajes indexados a 9 de octubre de 2026: documentación versionada y lecciones aprendidas sobre el terreno. Qdrant combina búsqueda densa, BM25 complementario y reranking. El servidor MCP qa-brain, en servicio, exige citas (una respuesta sin citas se rechaza y se sustituye por los pasajes en bruto) y puede abstenerse; el control comparativo no mostró ni mejora ni degradación del modo complementario en los 19 casos del banco. Para verlo en acción: el capítulo qa-brain del vídeo «Cómo pilotan SAP los agentes de IA» (5:12).
Cómo se conecta CabrIA a Robot Framework, Playwright y los agentes MCP
CabrIA no sustituye ninguna herramienta de prueba: observa las ejecuciones y sirve una memoria a los agentes.
Observa sus ejecuciones
Un listener de Robot Framework, un reporter de Playwright, un plugin para el servidor rf-mcp y hooks para Playwright MCP registran las ejecuciones, las reparaciones de localizadores y las sesiones de agentes, sin modificar las pruebas. Secretos y datos personales se enmascaran antes de cualquier almacenamiento.
Responde con sus fuentes
El servidor MCP local qa-brain expone tres herramientas: qa_search, qa_ask y qa_status. Los agentes de prueba de SAPFX y de rf-test-agents lo consultan antes de sus decisiones de criterio (qué ancla aguanta, qué clase de fallo); una respuesta sin cita se rechaza, y la observación en el sistema real siempre decide.
Prepara un modelo que conocerá sus convenciones
Tras clasificarlas y anonimizarlas, las ejecuciones capturadas se convierten en ejemplos de entrenamiento: críticas de pruebas, diagnósticos, pares especificación y suite, lecciones. El modelo entrenado se conectará a los agentes tras su comparación con el modelo base.
Vea también: los agentes de prueba rf-test-agents, los bloques de CabrIA en el taller SAPFX y el capítulo qa-brain del vídeo «Cómo pilotan SAP los agentes de IA».
Los 3 pilares éticos de CabrIA
Un diseño riguroso para garantizar la trazabilidad íntegra y el pleno control de sus equipos.
Nada se repara en silencio
La autorreparación opaca es el peor enemigo de la QA. En AI Cabra, cada ajuste de localizador queda trazado en los logs con una advertencia explícita y una propuesta de corrección duradera.
La persona mantiene el mando
La IA acelera la búsqueda de las causas raíz y genera propuestas de corrección. El experto funcional o el probador conserva el poder de arbitraje y de validación antes de cualquier merge.
Soberanía territorial absoluta
Modelos instalados en sus servidores internos o en una nube soberana, en Francia o en la Unión Europea. Sus flujos de producción y sus conjuntos de pruebas quedan protegidos de cualquier intrusión o análisis por parte de terceros.
Preguntas clave sobre CabrIA y la IA para la QA
Todo lo que necesita saber sobre la arquitectura MoE, la doble memoria soberana, el banco de evaluación y el servidor MCP qa-brain.
¿Por qué un modelo MoE local de 35 000 millones de parámetros es más adecuado para la QA que un LLM genérico en la nube?
El modelo MoE elegido activa unos 3000 millones de parámetros de 35 000 millones por token. Puede servirse localmente en una configuración de laboratorio de coste controlado con 128 GB de memoria unificada. Esta elección permite mantener los datos en la infraestructura privada; no demuestra una superioridad general en QA. El primer fine-tuning y su comparación con el modelo base siguen pendientes.
¿Cómo funciona la doble memoria de CabrIA (fine-tuning frente a RAG qa-brain)?
CabrIA separa rigurosamente el saber hacer y los hechos volátiles (ADR 0002). El fine-tuning previsto (SFT LoRA y después DPO), todavía por realizar, pretende anclar en los pesos el saber hacer duradero: convenciones de Robot Framework y Playwright, diagnóstico de fallos, autorreparación limitada. El RAG local híbrido (Qdrant + BM25 mediante el servidor MCP qa-brain) gestiona la documentación y las lecciones aprendidas sobre el terreno, con la obligación absoluta de citar sus fuentes so pena de rechazo.
¿Por qué CabrIA exige una validación mediante ejecución sobre fixtures sin conexión?
Un código plausible puede fallar al ejecutarse: la nota de un juez no basta para validarlo. La refinería utiliza un juez distinto de 30 000 millones de parámetros y una confirmación de las notas. La validación sistemática del código generado sobre fixtures sin conexión sigue pendiente antes del entrenamiento; los 1892 ejemplos admitidos a 9 de octubre de 2026 no constituyen 1892 escenarios ejecutados de ese modo.
¿En qué hardware on-premise se entrena y se despliega CabrIA?
CabrIA se basa en una configuración de laboratorio de coste controlado: dos estaciones de trabajo con 128 GB de memoria unificada, dedicadas respectivamente al entrenamiento previsto en LoRA bf16 y al serving local en GGUF. El rendimiento histórico de unos 100 tok/s depende del modelo y de las condiciones de medición; no es ni un compromiso de rendimiento ni un resultado tras el fine-tuning. La mezcla contra el olvido está por definir.
¿Está disponible CabrIA hoy?
No como producto. CabrIA es un programa de I+D de AI Cabra, sin versión publicada. Lo que ya funciona: la captura de las ejecuciones de pruebas, la refinería, el banco de evaluación y el servidor MCP qa-brain, que consultan los agentes de prueba de SAPFX y de rf-test-agents. El primer fine-tuning está previsto; las demostraciones privadas y los pilotos se definen bajo presupuesto.
¿Se puede usar un LLM local para automatizar las pruebas de software?
Sí, es el objetivo de CabrIA: un modelo abierto servido on-premise o en una nube soberana (Francia, UE), sin enviar los datos de prueba a una nube de terceros. La parte en servicio hoy es la memoria RAG qa-brain, que responde con sus fuentes; el modelo especializado por fine-tuning está en preparación y se comparará con el modelo base en un banco de 77 casos antes de anunciar cualquier ganancia.
RAG o fine-tuning: ¿qué elegir para un asistente IA de pruebas?
Los dos, para dos usos (ADR 0002). El RAG sirve los hechos que cambian, como la documentación de las versiones instaladas y las lecciones del terreno, y los cita; el fine-tuning debe aprender los métodos duraderos, como las convenciones de prueba y el diagnóstico de fallos. En CabrIA, el RAG está en servicio y el fine-tuning está previsto, con su ganancia aún por medir.
¿Salen de la empresa los datos de prueba con CabrIA?
No: modelo, índice RAG y datos capturados se quedan con usted, on-premise o en una nube soberana (Francia, UE), y los secretos y datos personales se enmascaran antes de cualquier almacenamiento. Si un agente consulta qa-brain desde un asistente IA alojado fuera de ese perímetro, los pasajes que recibe pasan por ese asistente; un circuito totalmente soberano requiere un agente con un modelo servido on-premise o en una nube soberana, lo que prevé la continuación del programa.
Resultados medidos y alcance de la validación
Estudiar una IA de QA local que combina un modelo abierto y un RAG híbrido. Revisado el 9 de octubre de 2026. Balance interno de I+D, sin validación independiente ni resultado de cliente reivindicado.
- 1070 pruebas automatizadas superadas Ejecutadas el 9 de octubre de 2026 en un solo proceso: 1070 superadas de 1071 (captura 352, evaluación 130, orquestación 38, RAG 165, refinería 386). La prueba restante consulta los servicios reales del laboratorio y superó su tiempo de espera. Verifican el software de CabrIA, no la calidad general de las respuestas del modelo. Ejecución interna del 09/10/2026
- 1892 ejemplos de entrenamiento admitidos Existencias registradas a 9 de octubre de 2026, de las cuales 917 críticas de pruebas, 526 diagnósticos, 313 pares especificación-suite y 136 lecciones aprendidas; 52 duplicados están marcados. El primer entrenamiento LoRA y la comparación antes/después siguen pendientes; no se reivindica ninguna mejora por fine-tuning. Registro interno del 09/10/2026
- 4119 pasajes indexados Estado registrado a 9 de octubre de 2026 en el servidor qa-brain en servicio. Búsqueda densa y BM25 complementario operativos; la comparación del 11 de septiembre sobre 19 casos no mostró ni mejora ni degradación del modo complementario. El volumen del índice no mide la exactitud de las respuestas. Lectura interna del 09/10/2026
- 77 casos en el banco de evaluación Banco documentado a 11 de septiembre de 2026, con 19 casos RAG. En los 16 casos RAG positivos del 30 de agosto: hit rate y groundedness de 0,875 antes de la auditoría y de 1,0 tras ampliar dos criterios; se superaron los 3 controles de silencio. Este resultado se refiere al corpus probado, no a una ausencia general de alucinaciones. Evaluaciones internas fechadas, sin validación independiente
¿Le interesa un banco de pruebas de CabrIA para su empresa?
El banco de evaluación y el módulo de captura ya funcionan en AI Cabra. Contacte con nuestros ingenieros para organizar una demostración privada o definir un piloto de fine-tuning local.
- Un intercambio técnico, no comercial
- Sus datos permanecen en Francia