Vaga de Engenheiro(a) de Dados PL, Belo Horizonte, Minas Gerais, Brasil

Engenheiro(a) de Dados PL

Stefanini IHM

📍 Belo Horizonte, Minas Gerais, Brasil 💰 A combinar Novo Trampo

Descrição da Vaga

Buscamos um(a) Engenheiro(a) de Dados Pleno para atuar em projetos de soluções de TI com forte componente de dados, em ambientes industriais de média e alta complexidade.A posição terá atuação direta na construção, evolução e sustentação de pipelines, integrações, transformações e estruturas de dados utilizadas por soluções analíticas, aplicações e produtos de dados.Nosso contexto envolve projetos para segmentos como mineração, metalurgia, siderurgia, usinas de açúcar e etanol, óleo e gás, agronegócio e outros ambientes industriais, normalmente integrando múltiplas fontes, sistemas legados, bancos de dados, APIs e plataformas de dados.Trabalhamos com práticas ágeis, gestão de backlog, versionamento de código e processos de CI/CD utilizando Azure DevOps.

Desenvolver, manter e evoluir pipelines de ingestão, transformação e processamento de dados.Implementar processos ETL e ELT utilizando Python, SQL e tecnologias de processamento distribuído.Desenvolver e manter workflows de dados utilizando Apache Airflow.Desenvolver soluções em Databricks utilizando notebooks, jobs, SQL e PySpark quando aplicável.Construir e manter estruturas de dados em arquiteturas como Data Lake, Data Warehouse e Lakehouse.Trabalhar com modelagem de dados, organização de camadas de dados e definição de granularidade.Implementar mecanismos de tratamento, validação e qualidade de dados.Criar rotinas de logs, monitoramento, tratamento de erros e reprocessamento de cargas.Trabalhar com ambientes containerizados utilizando Docker.Versionar códigos, scripts, notebooks e configurações em repositórios Git.Participar da implementação e manutenção de pipelines de CI/CD para artefatos de dados.Atuar com Azure DevOps para gestão de código, pipelines, backlog, boards e acompanhamento de projetos.Participar de refinamentos, planning, dailies, reviews e demais cerimônias de projetos ágeis.Apoiar análise técnica de requisitos e estimativas de esforço.Participar de troubleshooting, análise de falhas e otimização de pipelines e consultas.Produzir documentação técnica das soluções implementadas.Trabalhar de forma integrada com arquitetos, DevOps, DataOps, analistas, cientistas de dados e demais especialistas do projeto.


Publicado há 7 horas

📚 Aprimore seus conhecimentos

Desenvolva novas habilidades e destaque-se no mercado de trabalho com cursos especializados