Ir al contenido principal
Contacto

Decisiones de IA Arquitectura y tecnología

Datos sintéticos o datos reales: ¿con qué entrenar, ajustar y probar tu IA?

Respuesta corta

Usa datos reales como referencia para todo lo que decide si un modelo funciona: la evaluación final, la aceptación y la monitorización deben reflejar la población y las condiciones que el sistema va a encontrarse. Usa datos sintéticos para cubrir lo que los datos reales no cubren a tiempo o con seguridad: casos raros, pruebas adversarias, entornos de desarrollo sin datos personales o equilibrar grupos poco representados. Un dato sintético generado a partir de datos personales no queda fuera del RGPD por definición, y un modelo que solo supera pruebas sintéticas no ha demostrado que funcione.

Actualizado: · Thinkia

Las opciones

Datos sintéticos

Datos generados con reglas, simulaciones o modelos para imitar la estructura y la estadística de los reales, o para crear casos que no existen en ellos.

Datos reales

Datos recogidos de la operación, los clientes o los usuarios, usados tal cual o tras seudonimizarlos, anonimizarlos y curarlos.

Comparativa

Criterio Datos sintéticosDatos reales
Fidelidad a producción Tan fiel como el generador: reproduce los patrones que se le dieron y puede perder los que nadie modeló. Refleja cómo se comporta de verdad el proceso, con su ruido, sus excepciones y las rarezas que nadie documentó.
Casos raros y extremos Permite crear bajo demanda tantos casos raros, extremos o adversarios como hagan falta. Los casos raros escasean por definición; algunos no aparecerán hasta que el sistema esté en producción.
Privacidad y RGPD Reduce la exposición, pero generarlo a partir de datos personales ya es un tratamiento, y el resultado sigue siendo dato personal si se puede reidentificar a alguien. Suele contener datos personales: exige base jurídica, limitación de la finalidad, minimización, seguridad y un plan para los derechos de los interesados.
Sesgo Puede reequilibrar grupos poco representados, pero también copia o amplifica el sesgo de los datos y supuestos del generador. Arrastra el sesgo histórico de las decisiones pasadas y de quién está, o no está, en los datos.
Validez para evaluar Sirve para pruebas unitarias, de estrés y de cobertura de escenarios conocidos; por sí solo es una evidencia débil del rendimiento real. Es la referencia para la aceptación y para las métricas que se reportan al negocio, a auditoría o a reguladores.
Disponibilidad y rapidez Está disponible pronto, antes de que exista el proceso o mientras se aprueba el acceso a datos de producción. Depende de permisos de acceso, calidad y etiquetado; conseguirlo puede llevar más tiempo que construir el modelo.
Etiquetas Las etiquetas vienen con el dato generado, pero solo son tan correctas como la lógica del generador. Las etiquetas las tienen que poner o revisar personas, y su calidad varía.
Fallo típico El modelo aprende las simplificaciones del generador y falla con el desorden de las entradas reales; los datos generados por modelos pueden además realimentar sus propios errores. Los datos acaban donde no deben, o son tan incompletos o sesgados que el modelo hereda sus huecos.
Documentación y auditoría Hay que documentar cómo se generó, a partir de qué fuente, con qué parámetros y cómo se comprobaron su fidelidad y su privacidad. Hay que documentar el origen, la base jurídica, el consentimiento cuando proceda, las transformaciones y si representa a la población.

Elige Datos sintéticos cuando…

  • Necesitas desarrollar y probar antes de tener datos de producción, o en entornos donde no deben entrar datos personales.
  • Hay que probar eventos raros, patrones de fraude, averías o entradas adversarias y los ejemplos reales son muy pocos.
  • Algunos grupos o escenarios están poco representados y necesitas comprobar o mejorar el comportamiento con ellos.
  • Estás probando las herramientas y los flujos de un agente contra sistemas simulados, no midiendo la precisión de negocio.

Elige Datos reales cuando…

  • Estás midiendo si el sistema está listo para producción o vas a reportar su rendimiento a alguien.
  • La tarea depende de lenguaje, documentos o comportamientos reales cuya variedad cuesta simular.
  • Tienes una forma lícita y documentada de usar los datos y medios para protegerlos.
  • Necesitas vigilar la deriva y la calidad cuando el sistema ya está en producción.
  • El caso de uso puede caer en las reglas de alto riesgo, donde hay que demostrar que los datos son pertinentes y representativos.

Cuándo combinarlas

Los equipos maduros usan los dos, cada uno con su papel. El dato real, bien gobernado, es la verdad de referencia: un conjunto de evaluación reservado que el dato sintético nunca toca y que refleja la población real. El dato sintético amplía la cobertura a su alrededor: más casos raros, prompts adversarios, copias seguras para desarrollo y reequilibrios concretos. Genera los sintéticos a partir de una parte distinta de los datos reales, nunca del conjunto de evaluación, y comprueba que un modelo entrenado con ellos mejora sobre datos reales reservados, no solo sobre más datos sintéticos.

Errores típicos

  • Dar por anónimos los datos sintéticos sin comprobar lo fácil que sería vincular registros con personas reales.
  • Evaluar un modelo con datos sintéticos del mismo generador, o del mismo LLM, que produjo sus datos de entrenamiento.
  • Generar ejemplos sintéticos a partir del conjunto de evaluación, de modo que la prueba mide memoria y no capacidad.
  • Usar datos sintéticos para tapar un problema de representatividad en vez de corregir cómo se recogen los datos reales.
  • Copiar bases de datos de producción completas a desarrollo o a pruebas porque es más rápido que preparar datos de prueba seguros.

Cómo lo enfoca Thinkia

Empezamos preguntando para qué sirve cada conjunto de datos: construir, ajustar, probar o demostrar. Demostrar exige datos reales, así que acordamos con los responsables de negocio un conjunto de evaluación con sus propios casos, separado de todo lo que se use para entrenar o para generar ejemplos sintéticos. El arnés de evaluación sigue activo en producción para detectar regresiones cuando cambian modelos, prompts o datos, y esos conjuntos de evaluación son del cliente.

El dato sintético entra donde añade cobertura o reduce exposición: casos raros, pruebas adversarias, flujos de agentes contra sistemas simulados y entornos de desarrollo sin datos personales. Documentamos cómo se generó y lo contrastamos con datos reales reservados antes de dar por buena cualquier mejora que parezca aportar.

La privacidad y el sesgo viajan con el caso de uso. La dimensión Trust Fabric del Compass incorpora el AI Act, la DPIA/FRIA y el RGPD desde el principio, y el dataset se trata como un activo: con responsable, base jurídica, reglas de conservación y documentación. Nuestra guía de gobierno de IA es orientación operativa, no asesoramiento legal.

Productos de Thinkia implicados

Soluciones de IA relacionadas

Preguntas frecuentes

¿Los datos sintéticos quedan fuera del RGPD?

No por definición. Generar datos sintéticos a partir de datos personales es un tratamiento y necesita base jurídica. El resultado solo queda fuera del RGPD si es anónimo de verdad, es decir, si no se puede identificar a nadie con medios que razonablemente se puedan usar, y eso hay que evaluarlo y documentarlo, no suponerlo.

¿Podemos evaluar un modelo de IA solo con datos sintéticos?

Puedes probar con ellos comportamientos concretos, como el formato, los casos extremos o la resistencia a entradas adversarias. Para afirmar que el modelo funciona para el negocio necesitas evidencia con datos reales que reflejen la población y las condiciones de producción.

¿Los datos sintéticos eliminan el sesgo?

Pueden ayudar a reequilibrar grupos poco representados, pero el generador aprende de los datos existentes y de los supuestos de quien lo configura, así que también puede reproducir o amplificar el sesgo. Mide la equidad con datos reales, desglosada por los grupos que importan en el caso de uso.

¿Qué dice el AI Act sobre los datos de entrenamiento?

Para los sistemas de alto riesgo, el artículo 10 exige, entre otras condiciones, que los datos de entrenamiento, validación y prueba sigan prácticas de gobernanza del dato y sean pertinentes y suficientemente representativos para la finalidad prevista. También menciona los datos sintéticos o anonimizados como alternativa a valorar antes de tratar categorías especiales de datos personales para detectar sesgos. Contrasta tu caso con el texto del Reglamento y con asesoramiento jurídico cualificado.

¿Es seguro entrenar modelos con datos generados por otros LLM?

Es habitual en tareas acotadas, como crear ejemplos de instrucciones o preguntas de prueba, pero revisa la licencia del modelo que los generó, revisa muestras a mano y mantén datos reales en la evaluación. Entrenar una y otra vez con datos generados por modelos, sin controles, puede reducir la variedad de las respuestas y reforzar los errores del generador.

¿Podemos usar datos de producción en entornos de prueba?

Solo con la misma base jurídica y las mismas protecciones que en producción, algo que los entornos de prueba rara vez tienen. Lo habitual es usar extractos seudonimizados o enmascarados con acceso controlado, o datos sintéticos que reproduzcan la estructura, y reservar los datos reales para una evaluación final controlada.

Decisiones relacionadas

Sectores donde aparece esta decisión

Términos clave

Artículos de Thinkia

Fuentes

¿Tienes esta decisión encima de la mesa? Hablemos.

Habla con un experto en IA