Desenvolvedor Java/Spark Pleno

Job description

Olá, somos a EISA!

Empresa de tecnologia presente no mercado há 10 anos que presta serviços para a maior Operadora de Telefonia Móvel do Brasil. Somos responsáveis por sustentar uma das maiores plataformas de controle de negócio em tempo real da América Latina, com mais de 80 milhões de usuários.

Curtiu? Confira esta vaga e inscreva-se para ser #EISAPlayer:

Main responsibilities

• Desenvolver e otimizar pipelines de dados em Azure Databricks com PySpark e Spark.
• Implementar soluções de streaming para leitura e escrita em Delta Lake.
• Processar e estruturar dados provenientes de arquivos XML, utilizando schemas XML.
• Garantir a governança e segurança dos dados utilizando Unity Catalog.
• Identificar e resolver gargalos de performance em fluxos de dados e tarefas do Spark.
• Colaborar com equipes multidisciplinares para integração de dados em ambiente de nuvem.
• Automatizar deploys e monitorar pipelines de dados.
• Aplicar conhecimentos de Java para desenvolver ou complementar soluções necessárias no pipeline de dados.

Requirements and skills

• Formação superior em Tecnologia: Engenharia da Computação, Análise de Sistemas, Ciência da Computação ou áreas afins.
• Experiência sólida com Spark, incluindo desenvolvimento e otimização de pipelines.
• Conhecimento em processamento de dados em filas com Delta Lake.
• Habilidades em Git e integração com pipelines de CI/CD.
• Conhecimento intermediário ou avançado em Java, aplicado a soluções de dados.

Desejável:

• Experiência com Azure Databricks.
• Conhecimento de Unity Catalog para gestão e governança de dados.
• Experiência com outros formatos de dados, como Parquet e JSON.
• Familiaridade com integrações em filas (Event Hubs, Kafka).
• Conhecimento em otimização de pipelines Spark baseados em filas, incluindo:
• Uso de watermarks para controle de estado e latência em operações stateful.
• Estratégias de batching e auto-scaling para otimizar o processamento de dados em filas.
• Monitoramento e ajuste de performance em pipelines Spark de longa execução.
• Habilidades em SQL avançado.
• Conhecimento em governança de dados e implementação de políticas de acesso baseadas em colunas.

Additional information

Como EISAPlayer você terá benefícios incríveis! Dá só uma espiadinha:

• Vale Refeição
• Vale Alimentação
• Auxílio Home Office
• Assistência Médica
• Assistência Odontológica
• Seguro de Vida
• Bônus de Férias
• PLR
• Previdência Privada
• Cooperativa de Crédito
• Licença Maternidade e Paternidade estendida
• Auxílio Creche
• Programa de incentivo a saúde
• Auxílio Academia
• Programa de incentivos educacional
• Horário Flexível

Dica: Para ter maior chance de sucesso, é importante que você preencha todas as etapas.

E ai, curtiu? Então se inscreva! #vempraEISA

Se não for o seu perfil, compartilhe com seus amigos.