Big Data & Cloud Analytics

Un flujo de datos se monta rápido. Una plataforma que aguante años de negocio, cambios de esquema, picos de campaña y fuentes de datos variables es otra historia. Arquitectura medallion y tests que se cuentan por miles.

Hablemos de tus datos

Cualquiera monta un pipeline en una tarde. Una plataforma que aguante años de negocio, cambios de esquema y picos de campaña es otra historia.

Nosotros la construimos como se construye el software serio. Cada transformación versionada en git, cada dato con su test, cada flujo con su alerta.

La esencia es analítica, y las sinergias con lo operacional la multiplican. Usamos dbt a los dos lados del warehouse.

dbt ≠ pipeline

dbt es la T del ELT y lo tratamos como se trata el buen software, el patrón que el sector llama analytics engineering. Pero la herramienta es solo una pieza: la ingesta, la orquestación y la vigilancia van aparte, y nuestro valor está en montar y operar el conjunto completo.

metricas_fiables.sql ✕▶ Ejecutar

-- ¿de qué números te fías?
SELECT metrica, linaje, ultima_ejecucion
FROM `gold.metricas_de_negocio`
WHERE fiable = TRUE;
-- lo garantizan 1.646 tests sobre 111 modelos dbt

✓ Consulta completada (1,4 s) · el linaje de cada métrica, de la ingesta al análisis

Fila	metrica	linaje	ultima_ejecucion
1	ventas_del_dia	completo	hace 4 min
2	stock_por_almacen	completo	hace 4 min
3	margen_por_promocion	completo	hace 4 min

El dato que no cuadra no llega a gold. Ahí está el gobierno.

Donde más hemos profundizado. En el cloud de Google, BigQuery como warehouse y dbt en las transformaciones.
De la pizarra a la publicación. Nuestra definition of done nace en el blueprint, mucho antes del código. Diseño de la base de datos con el modelado clásico del sector, nomenclatura estándar, homogeneización y normalización del dato. Es más análisis que desarrollo, y es donde se gana la fiabilidad.
El testeo es la parte que casi todo el mundo se salta. En nuestras plataformas los tests se cuentan por miles. Unit tests que corren antes de publicar y data tests que se ejecutan cada día, con cada carga. El dato que no los pasa no llega a gold.
Arquitectura por capas. El patrón medallion separa el dato crudo del verificado, cada capa con su propósito y su control de acceso.
La infraestructura también es código. Terraform levanta los mismos datasets, permisos y entornos en desarrollo y en producción.
Tiempo real cuando el negocio lo pide. Ingesta con Pub/Sub y Dataflow para los flujos que no pueden esperar al batch nocturno.

Sinergias entre lo analítico y lo operacional

«Un solo modo de trabajar para dos mundos divergentes.»

En lo analítico trabajamos con dbt Cloud sobre BigQuery. Y cuando la transformación nace en la capa operacional, sobre una base relacional como Oracle, la gestionamos con dbt Core y el adapter que mantiene Oracle (con nuestras mejoras, tan obvias como necesarias...).

Los mismos tests y el mismo versionado a los dos lados, sin peajes entre equipos. Al cuadro de mando, el dato llega ya probado.

Conectamos BigQuery con tu e-commerce, con tu ERP y con el edge.

Hablemos de ingeniero a ingeniero.

Trae el problema como esté. Te responde quien va a escribir el código.

Cuéntanos tu proyecto