Engenheiro de Dados

Responsabilidades e atribuições:

Atividades Básicas * Projetar e implementar Pipeline de Dados que coletam, armazenam e organizam dados brutos de várias fontes; * Manter os pipelines de dados para que executem seguindo programações, prazos e qualidade dos dados; * Identificar gargalos, otimizar o desempenho e garantir que os dados estejam disponíveis quando necessário, capturados de maneira eficiente e segura; * Integrar diversas fontes de dados em camada analítica disponível para consumo; * Transformador e limpar os dados antes de disponibilizá-los para uso; * Projetar a arquitetura de sistemas distribuídos que suportam a coleta, armazenamento e análise de dados. * Escolher em conjunto com o gestor técnico, tecnologias adequadas e definir padrões para garantir escalabilidade e confiabilidade, para construir soluções eficazes; * Realizar levantamento e detalhamento das fontes de dados fonte e alvo do pipeline de dados;

Requisitos e qualificações:

Requisitos Básicos: * Curso superior completo, preferencialmente na área de informática ou em área afim (tecnologia da informação); * Experiência mínima de 02 (dois) anos em Projetos de Dados, na função de Engenheiro de Dados, que comprovem a experiência prática em: * Tecnologias e ferramentas associadas a bancos de dados relacionais (Ex.: IBM DB2/SQL Server); * Desenvolvimento de processos ETL, para ingestão, transformação e consumo de dados em ambientes big data; * Sistemas de processamento distribuído com paralelismo e tolerância a falhas (Ex.: Apache Spark) de alta performance, disponibilidade e escalabilidade; * Framework de armazenamento e processamento distribuídos para grandes conjuntos de dados em cluster (Ex.: Apache Hadoop); * Ferramentas de Integração de Dados (ex.: IBM DataStage, Pentaho Data Integration, entre outras.); * Modelagem de dados Entidade e Relacionamento, Esquema Estrela ou Multidimensional; * Análise de dados estruturados e semiestruturados; * Linguagens Python, Scala, Java ou Pyspark; * Trabalho em times ágeis utilizando metodologia Scrum ou Kanban.