Data Engineer - Semi Senior (Remoto)
Full TimeJob Overview
En Imagemaker buscamos a nuestro/a próximo/a Data Engineer Semi Senior, quien realizara la migración de ambientes exploratorios a Bundles. Para ellos, deberás tener la capacidad de trabajar junto al negocio en el desarrollo y en la validación de los procesos internos.
El rol de Data Engineer existe para transformar datos crudos en activos de datos confiables y estratégicos, habilitando una cultura Data-Driven, donde las decisiones se respalden en datos.
Deberás diseñar, implementar y mantener pipelines robustos y escalables, que permitan que los datos estén disponibles de manera oportuna, limpios, seguros y estructurados, y así puedan ser utilizados por analistas, equipos de producto, negocio y ciencia de datos.
El rol de Data Engineer existe para transformar datos crudos en activos de datos confiables y estratégicos, habilitando una cultura Data-Driven, donde las decisiones se respalden en datos.
Deberás diseñar, implementar y mantener pipelines robustos y escalables, que permitan que los datos estén disponibles de manera oportuna, limpios, seguros y estructurados, y así puedan ser utilizados por analistas, equipos de producto, negocio y ciencia de datos.
Key Responsibilities
- Migrar y ordenar código suelto: Tomar las queries SQL y scripts informales creados por los equipos de análisis y traducirlos a modelos limpios, estructurados y automatizados dentro de Dataform.
- Armar y automatizar los "Bundles": Empaquetar el código de los pipelines junto con sus configuraciones para que se desplieguen de forma automática a producción usando GitLab CI/CD y Terraform, eliminando los pasos manuales.
- Validar los datos codo a codo con el negocio: Trabajar directamente con los usuarios que usan los datos para entender sus necesidades, resolver dudas y asegurar juntos que las nuevas tablas reflejen la lógica real del negocio.
- Acelerar el desarrollo usando IA (Claude/GPT): Utilizar asistentes de Inteligencia Artificial mediante Prompt Engineering para optimizar queries lentas, documentar el código de forma rápida y generar pruebas de calidad automáticas.
- Optimizar el rendimiento en BigQuery: Aplicar técnicas de particionado y clustering en las tablas para asegurar que las consultas de los usuarios sean rápidas, eficientes y no generen costos innecesarios en la nube.
Skills, Knowledge and Expertise
- SQL Avanzado: para el manejo de bases de datos y la creación de consultas complejas.
- Dataform: (Excluyente) para realizar la migración de los procesos de datos.
- BigQuery: como motor de base de datos en la nube y de almacenamiento y optimización (Partitioning & Clustering).
- Componentes de Google Cloud Platform (GCP): Particularmente el manejo de Cloud Storage para el almacenamiento de archivos de datos.
- Git y GitLab CICD: Obligatorio para el control de versiones del código y la automatización de los despliegues de los Bundles.
- Ingeniería de Prompt (Claude / GPT): Capacidad probada para usar herramientas de IA generativa (OpenAI API/SDK o Vertex AI) como soporte para acelerar y optimizar la escritura de código.
- Arquitectura Medallion: Conocimiento de patrones de modelado por capas para estructurar los datos de manera limpia y organizada.
- Comunicación Efectiva y Retroalimentación: Crucial para interactuar directamente con las áreas usuarias.
- Entendimiento de Negocio: Capacidad para comprender los procesos internos y validar los datos junto al negocio con criterio analítico.
- Colaboración y Resolución de problemas: Para integrarse al vuelo en el equipo y destrabar la migración de los ambientes exploratorios.