Ir al contenido principal

Glosario de IA Data & Retrieval

¿Qué es un data pipeline?

← Todos los términos del glosario
En pocas palabras

Secuencia automatizada de pasos que recoge datos de sus fuentes, los limpia y transforma y los entrega a los modelos, aplicaciones o análisis que los usan.

Explicación

Un data pipeline, o flujo de datos, es un proceso automatizado que ingiere datos de fuentes como bases de datos, ficheros, aplicaciones o APIs, los transforma y los lleva a un destino como un almacén de datos, un feature store, un índice vectorial o una aplicación. Cada paso se define en código o configuración y se ejecuta según un calendario o cuando llegan datos nuevos. Sustituye las extracciones manuales y las hojas de cálculo por un proceso repetible que se puede vigilar y auditar. En IA es crítico: un modelo o un sistema RAG es tan actual y fiable como los datos que le llegan.

Etapas de un data pipeline

  • Ingesta: leer los datos de los sistemas de origen, completos o solo lo que ha cambiado.
  • Validación: comprobar formatos, campos obligatorios y rangos esperados, y apartar lo que falla.
  • Transformación: limpiar, cruzar, enriquecer y dar forma a los datos para su uso.
  • Entrega: cargarlos en el destino, como un almacén de datos, un lakehouse, un feature store o un índice vectorial.
  • Monitorización: seguir la frescura, los volúmenes y los errores, y avisar cuando algo se rompe.

¿Batch o streaming?

Los pipelines batch procesan los datos por bloques a intervalos fijos, por ejemplo cada noche. Son más sencillos y baratos, y encajan con informes y con el entrenamiento de modelos. Los pipelines en streaming procesan cada evento cuando ocurre, lo que encaja con la detección de fraude, las recomendaciones en tiempo real o las alertas operativas.

Muchas arquitecturas combinan los dos: streaming para lo que tiene que ser inmediato y batch para el procesamiento pesado y el histórico.

Pipelines para IA

La IA añade sus propios pipelines a los clásicos. Los de entrenamiento preparan conjuntos de datos etiquetados y variables. Los de RAG trocean documentos, generan embeddings y mantienen el índice vectorial al día con la fuente, incluidos los borrados y los cambios de permisos.

El fallo habitual en producción no es el modelo, sino datos desfasados o rotos. Tratar los pipelines como productos, con responsable, pruebas y monitorización, evita la mayor parte.

Preguntas frecuentes

¿Qué diferencia hay entre un data pipeline y un ETL?

Un ETL (extraer, transformar, cargar) es un tipo de data pipeline en el que los datos se transforman antes de cargarlos en el destino. Data pipeline es el término amplio: incluye también el ELT, que carga primero y transforma después, los flujos en streaming y los pipelines que alimentan modelos o aplicaciones.

¿Qué es un ejemplo de data pipeline?

Un proceso nocturno que toma las ventas del día del sistema de caja, quita duplicados, añade datos de producto y tienda y lo carga en el almacén de datos es un ejemplo típico. Otro es un flujo que convierte los documentos nuevos de un repositorio en embeddings para un asistente RAG.

¿Qué herramientas se usan para crear data pipelines?

Entre las habituales están orquestadores como Apache Airflow, herramientas de transformación como dbt, plataformas de streaming como Apache Kafka y los servicios gestionados de los grandes proveedores de nube. La combinación adecuada depende del volumen de datos, de la latencia que necesitas y de lo que sabe hacer el equipo.

¿Por qué importan los data pipelines para la IA?

Porque los modelos aprenden y responden con los datos que reciben. Si un pipeline entrega datos desfasados, incompletos o erróneos, las salidas del modelo también lo serán, por bueno que sea el modelo. Unos pipelines fiables son condición previa para tener IA en producción.

¿Qué es un pipeline de ingesta para RAG?

Es el pipeline que prepara los documentos para la generación aumentada por recuperación: los lee, los trocea, genera embeddings y los guarda en un índice vectorial con sus metadatos y permisos. También tiene que actualizar o borrar entradas cuando cambian los documentos de origen.

Guías de decisión que usan este término

Cómo llevarlo a la práctica

Dónde aparece en Thinkia

Productos

Para seguir leyendo

Fuentes

Actualizado: 2026-10-21

¿Quieres ver cómo se aplica en tu organización?

Habla con un experto en IA