Engenheiro(a) de Dados PL
Stefanini IHM
Descrição da Vaga
Buscamos um(a) Engenheiro(a) de Dados Pleno para atuar em projetos de soluções de TI com forte componente de dados, em ambientes industriais de média e alta complexidade.A posição terá atuação direta na construção, evolução e sustentação de pipelines, integrações, transformações e estruturas de dados utilizadas por soluções analíticas, aplicações e produtos de dados.Nosso contexto envolve projetos para segmentos como mineração, metalurgia, siderurgia, usinas de açúcar e etanol, óleo e gás, agronegócio e outros ambientes industriais, normalmente integrando múltiplas fontes, sistemas legados, bancos de dados, APIs e plataformas de dados.Trabalhamos com práticas ágeis, gestão de backlog, versionamento de código e processos de CI/CD utilizando Azure DevOps.
Desenvolver, manter e evoluir pipelines de ingestão, transformação e processamento de dados.Implementar processos ETL e ELT utilizando Python, SQL e tecnologias de processamento distribuído.Desenvolver e manter workflows de dados utilizando Apache Airflow.Desenvolver soluções em Databricks utilizando notebooks, jobs, SQL e PySpark quando aplicável.Construir e manter estruturas de dados em arquiteturas como Data Lake, Data Warehouse e Lakehouse.Trabalhar com modelagem de dados, organização de camadas de dados e definição de granularidade.Implementar mecanismos de tratamento, validação e qualidade de dados.Criar rotinas de logs, monitoramento, tratamento de erros e reprocessamento de cargas.Trabalhar com ambientes containerizados utilizando Docker.Versionar códigos, scripts, notebooks e configurações em repositórios Git.Participar da implementação e manutenção de pipelines de CI/CD para artefatos de dados.Atuar com Azure DevOps para gestão de código, pipelines, backlog, boards e acompanhamento de projetos.Participar de refinamentos, planning, dailies, reviews e demais cerimônias de projetos ágeis.Apoiar análise técnica de requisitos e estimativas de esforço.Participar de troubleshooting, análise de falhas e otimização de pipelines e consultas.Produzir documentação técnica das soluções implementadas.Trabalhar de forma integrada com arquitetos, DevOps, DataOps, analistas, cientistas de dados e demais especialistas do projeto.