Databricks Data Engineer | Senior (Remote)

.Responsabilidades e atribuições

Atuar na definição e implementação de soluções de Engenharia de Dados, conectando necessidades de negócio e tecnologia

Projetar e construir arquiteturas de dados, incluindo Data Lake e Data Lakehouse

Desenvolver e gerenciar pipelines de dados escaláveis, em processamento batch e streaming

Realizar assessment e análise dos processos de coleta, organização, transformação e disponibilização de dados

Garantir qualidade, governança, segurança e performance dos dados

Trabalhar em parceria com times de Dados e Negócio, apoiando a tomada de decisões

Atuar na definição de estratégias de dados alinhadas aos objetivos do negócio

Mentorar profissionais de Engenharia de Dados.

Requisitos e qualificações

Experiência sólida em Engenharia de Dados e arquitetura de dados

Conhecimento avançado em Azure Data Factory e Databricks

Experiência com Apache Spark e processamento distribuído

Experiência na construção de pipelines batch e streaming

Conhecimento em ferramentas de orquestração, como Airflow

Conhecimento em Kafka e dbt

Experiência com bancos de dados SQL e NoSQL, como PostgreSQL, MongoDB e Cassandra

Conhecimento em plataformas e serviços de dados em cloud, AWS e GCP;Experiência com arquiteturas Data Lake e Data Lakehouse

Conhecimento em práticas de governança, qualidade e segurança de dados.