Sobre a vaga
Buscamos profissional com sólida experiência em Engenharia de Dados para atuar no desenvolvimento, evolução e otimização de soluções e arquiteturas de dados em ambientes de nuvem.
Responsabilidades
- Projetar, desenvolver e otimizar pipelines de dados (ETL/ELT) utilizando Azure Data Factory, SSIS e Databricks;
- Desenvolver e otimizar rotinas de processamento de dados utilizando PySpark, Python e SQL;
- Atuar na estruturação e evolução de fluxos baseados em Arquitetura Medalhão, considerando as camadas Bronze, Silver e Gold;
- Projetar, construir e evoluir modelos de Data Warehouse, incluindo modelagem de tabelas Fato e Dimensão;
- Monitorar e otimizar jobs e fluxos de dados em ambientes de nuvem Azure e/ou GCP, atuando na análise e resolução de falhas;
- Garantir boas práticas relacionadas à qualidade, integridade, consistência e disponibilidade dos dados;
- Identificar oportunidades de melhoria de performance, escalabilidade e eficiência dos processos de dados;
- Traduzir regras de negócio e necessidades funcionais em soluções técnicas eficientes e sustentáveis;
- Garantir boas práticas de desenvolvimento, documentação e versionamento de código;
- Contribuir com decisões técnicas, definição de padrões e evolução das soluções de Engenharia de Dados;
- Apoiar tecnicamente profissionais do time na resolução de problemas e definição de abordagens;
- Participar ativamente dos ritos e atividades do time dentro de metodologias Ágeis.
- Experiência sólida com Databricks;
- Apache Spark / PySpark;
- Python;
- SQL avançado;
- Azure Data Factory (ADF);
- SSIS;
- Azure e/ou GCP;
- Desenvolvimento e otimização de processos de ETL/ELT;
- Arquitetura Medalhão;
- Data Warehouse;
- Modelagem dimensional – Fatos e Dimensões;
- Versionamento e boas práticas de desenvolvimento;
- Performance e otimização de processamento de dados.
Profissional com alto nível de autonomia e capacidade analítica, apto a solucionar problemas de maior complexidade, tomar decisões técnicas e contribuir para a evolução das soluções e boas práticas de Engenharia de Dados da equipe.