Orquestación de Pipelines de Datos con Dagster
Contexto
El crecimiento de la infraestructura analítica y la necesidad de integrar datos de múltiples orígenes transaccionales complejos (como ERPs sobre SAP HANA y sistemas de almacenamiento y logística en SQL Server / Intralog) requerían un sistema centralizado, auditable y resiliente.
Para resolver esto, se migró el antiguo modelo de tareas cron y scripts aislados a una arquitectura de datos orquestada completamente con Dagster en Vinos América, estructurada a través de microservicios gRPC independientes coordinados por contenedores Docker.