Engenheiro de Dados Sênior

Descrição

Estamos à procura de um(a) Engenheiro de Dados Sênior em Cloudera. Se você deseja ser nosso Especialista construindo e gerenciando soluções robustas de Big Data essa vaga é para você!

Responsabilidades e atribuições

• Implementar e gerenciar arquiteturas de Big Data na plataforma Cloudera.
• Configurar pipelines de dados utilizando Apache Spark, Livy e NiFi.
• Garantir a governança de dados por meio do Apache Ranger e Cloudera Navigator.
• Estruturar e organizar Data Lakes em camadas para otimizar o processamento e consumo de dados.
• Definir, criar e manter um catálogo de dados centralizado, assegurando a documentação completa dos ativos de dados, rastreabilidade, e compliance com políticas de governança;
• Colaborar com equipes de Data Science e Engenharia para integração de soluções de IA e Machine Learning.

Requisitos e qualificações

• Experiência avançada na Cloudera Data Platform (CDP), Cloudera Manager e Cloudera Navigator, em ambientes de nuvem e on-premises.
• Domínio na criação de Data Lakes estruturados em camadas (Bronze, Prata e Ouro).
• Experiência em Python e Apache Spark para processamento de dados em larga escala.
• Conhecimento em Apache Ranger para gestão de permissões e governança.
• Uso do Hive e HUE para consultas e interação com dados.
• Experiência com Apache NiFi para automação e integração de fluxos de dados.
• Conhecimento em Livy para gerenciamento e envio de trabalhos Spark em ambientes distribuídos.
• Experiência em realizar treinamentos e apresentações técnicas.
• Habilidades de levantamento negocial e de dados, facilitando o entendimento das necessidades do cliente e a definição de soluções técnicas.