[Job-28865] Engenheiro de Dados Senior, Brazil
HomeofficeJob Overview
Somos especialistas em transformação tecnológica, unindo expertise humana à IA para criar soluções tech escaláveis. Com mais de 8,000 CI&Ters ao redor do mundo, já formamos parcerias com mais de 1,000 clientes durante nossos 30 anos de história. Inteligência Artificial é nossa realidade.
Importante: se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente.
Estamos em busca de um(a) Engenheiro(a) de Dados Senior apaixonado(a) por construir e otimizar soluções de dados em larga escala utilizando o ecossistema Azure e Databricks.
Sua missão será projetar, desenvolver e sustentar a espinha dorsal da nossa plataforma de dados, garantindo que as informações sejam robustas, confiáveis e prontas para consumo analítico e estratégico.
Se você gosta de desafios técnicos, domina a arquitetura Medallion e quer explorar o uso de IA para acelerar o desenvolvimento, essa oportunidade é para você.
Principais Responsabilidades
- Arquitetura de Dados (Medallion)
Projetar, implementar e manter pipelines escaláveis, gerenciando o ciclo completo de dados nas camadas Bronze, Silver e Gold no Databricks. - Desenvolvimento e Otimização de Pipelines
Construir e gerenciar fluxos de ETL/ELT utilizando Azure Databricks (PySpark/SQL) e Azure Data Factory, garantindo ingestão e transformação eficientes. - Eficiência com IA no Desenvolvimento
Utilizar ferramentas de IA generativa (como assistentes de código) para otimizar produtividade, qualidade e performance dos pipelines. - Gestão do Data Lakehouse
Garantir integridade, consistência e performance com Delta Lake (transações ACID, controle de schema e time travel). - Modelagem de Dados
Trabalhar com analistas e áreas de negócio na construção de modelos dimensionais e agregados otimizados para BI e analytics. - Integração de Sistemas
Desenvolver APIs e integrações para troca eficiente de dados entre sistemas (ex: Oracle, SQL Server e fontes externas). - Colaboração e Governança
Atuar em conjunto com times de BI, Data Science e Negócios, aplicando boas práticas de engenharia e governança de dados.
Requisitos Obrigatórios
- Experiência comprovada como Data Engineer, com foco no ecossistema Azure
- Forte conhecimento em Azure Databricks (Spark, PySpark e Spark SQL)
- Experiência com Azure Data Factory (ADF) para orquestração de pipelines
- Domínio de SQL e Python (Pandas, PySpark)
- Conhecimento sólido em:
- ETL/ELT
- Arquitetura Medallion
- Delta Lake
- Experiência em modelagem de dados (dimensional e relacional)
- Vivência com bancos de dados relacionais (Oracle, SQL Server)
Diferenciais
- Experiência com modelagem dimensional (metodologia Kimball) em camada Gold
- Conhecimento em governança de dados e catálogo (ex: Azure Purview)
- Experiência com CI/CD para dados (ex: Azure DevOps)
- Vivência com streaming de dados (Spark Structured Streaming ou Event Hubs)
- Certificações relevantes (ex: DP-203, Databricks)
O que buscamos
- Perfil analítico e orientado a solução
- Proatividade e autonomia
- Interesse em inovação e uso de IA no desenvolvimento
- Boa comunicação e colaboração em times multidisciplinares
#LI-LL1
Somos especialistas em transformação tecnológica, unindo expertise humana à IA para criar soluções tech escaláveis. Com mais de 8,000 CI&Ters ao redor do mundo, já formamos parcerias com mais de 1,000 clientes durante nossos 30 anos de história. Inteligência Artificial é nossa realidade.
Importante: se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente.
Estamos em busca de um(a) Engenheiro(a) de Dados Senior apaixonado(a) por construir e otimizar soluções de dados em larga escala utilizando o ecossistema Azure e Databricks.
Sua missão será projetar, desenvolver e sustentar a espinha dorsal da nossa plataforma de dados, garantindo que as informações sejam robustas, confiáveis e prontas para consumo analítico e estratégico.
Se você gosta de desafios técnicos, domina a arquitetura Medallion e quer explorar o uso de IA para acelerar o desenvolvimento, essa oportunidade é para você.
Principais Responsabilidades
- Arquitetura de Dados (Medallion)
Projetar, implementar e manter pipelines escaláveis, gerenciando o ciclo completo de dados nas camadas Bronze, Silver e Gold no Databricks. - Desenvolvimento e Otimização de Pipelines
Construir e gerenciar fluxos de ETL/ELT utilizando Azure Databricks (PySpark/SQL) e Azure Data Factory, garantindo ingestão e transformação eficientes. - Eficiência com IA no Desenvolvimento
Utilizar ferramentas de IA generativa (como assistentes de código) para otimizar produtividade, qualidade e performance dos pipelines. - Gestão do Data Lakehouse
Garantir integridade, consistência e performance com Delta Lake (transações ACID, controle de schema e time travel). - Modelagem de Dados
Trabalhar com analistas e áreas de negócio na construção de modelos dimensionais e agregados otimizados para BI e analytics. - Integração de Sistemas
Desenvolver APIs e integrações para troca eficiente de dados entre sistemas (ex: Oracle, SQL Server e fontes externas). - Colaboração e Governança
Atuar em conjunto com times de BI, Data Science e Negócios, aplicando boas práticas de engenharia e governança de dados.
Requisitos Obrigatórios
- Experiência comprovada como Data Engineer, com foco no ecossistema Azure
- Forte conhecimento em Azure Databricks (Spark, PySpark e Spark SQL)
- Experiência com Azure Data Factory (ADF) para orquestração de pipelines
- Domínio de SQL e Python (Pandas, PySpark)
- Conhecimento sólido em:
- ETL/ELT
- Arquitetura Medallion
- Delta Lake
- Experiência em modelagem de dados (dimensional e relacional)
- Vivência com bancos de dados relacionais (Oracle, SQL Server)
Diferenciais
- Experiência com modelagem dimensional (metodologia Kimball) em camada Gold
- Conhecimento em governança de dados e catálogo (ex: Azure Purview)
- Experiência com CI/CD para dados (ex: Azure DevOps)
- Vivência com streaming de dados (Spark Structured Streaming ou Event Hubs)
- Certificações relevantes (ex: DP-203, Databricks)
O que buscamos
- Perfil analítico e orientado a solução
- Proatividade e autonomia
- Interesse em inovação e uso de IA no desenvolvimento
- Boa comunicação e colaboração em times multidisciplinares
#LI-LL1
Nossos benefícios:
- Plano de saúde e odontológico;
- Vale alimentação e refeição;
- Auxílio-creche;
- Licença parental estendida;
- Parceria com academias e profissionais de saúde e bem-estar via Wellhub (Gympass) TotalPass;
- Participação nos Lucros e Resultados (PLR);
- Seguro de Vida;
- Plataforma de aprendizagem contínua (CI&T University);
- Clube de descontos;
- Plataforma online gratuita dedicada à promoção da saúde física, mental e bem-estar;
- Curso gestante e parentalidade responsável;
- Parceria com plataformas de cursos online;
- Plataforma para aprendizagem de idiomas;
- E muitos outros
Mais detalhes sobre os nossos benefícios aqui: https://ciandt.com/br/pt-br/carreiras
Na CI&T, a inclusão começa no primeiro contato. Se você é pessoa com deficiência, é importante apresentar o seu laudo durante o processo seletivo. Consulte quais dados são necessários conter no laudo clicando aqui. Assim, podemos garantir o suporte e as adaptações que você merece. Se ainda não tem o laudo caracterizador, não se preocupe: podemos te apoiar para obtê-lo.
Temos um time dedicado de Saúde e Bem-estar, especialistas em inclusão e grupos de afinidade que estarão com você em todas as etapas. Conte com a gente para fazer essa jornada lado a lado.