Especialista - Engenheiro de Dados Sênior (AWS)

Job description

A Leega é uma empresa focada no atendimento eficiente e inovador em seus clientes.

Isso não poderia ser diferente com o nosso principal combustível: as pessoas!

Nossa cultura é inspiradora e nossos valores estão presentes no dia a dia: ética e transparência, excelência de qualidade, trabalho em equipe, responsabilidade econômica, social e ambiental, relações humanas e credibilidade.

Buscamos profissionais inovadores que sejam movidos por desafios e focados em resultados.

Se você busca uma empresa dinâmica e parceira e que investe em seus colaboradores através de capacitação constante, a Leega é o lugar para você!

>> A LEEGA É PARA TODOS, ficaremos muito felizes em ter você em nosso time. Venha fazer parte da nossa história e da construção do nosso futuro.

Cadastre-se agora mesmo em nossas vagas!

Main responsibilities

Requisitos e atribuições:

• Desenvolver e otimizar pipelines de dados utilizando PySpark em ambientes AWS (S3, Glue, Redshift, Athena).
• Projetar e implementar soluções de processamento distribuído de dados em larga escala.
• Utilizar Jupyter Notebooks para análise de dados, testes de algoritmos e visualizações.
• Integrar dados de diferentes fontes utilizando ETL e garantir sua qualidade e consistência.
• Trabalhar com SQL para consultas e transformações de dados, otimizando a performance.
• Usar SSIS para integração de dados e automação de processos ETL.
• Trabalhar com ferramentas de orquestração de workflows como Apache Airflow ou AWS Step Functions para automatizar os processos de dados.
• Monitorar e garantir a performance das soluções, otimizando custos e recursos.
• Aplicar práticas de segurança e governança de dados, assegurando conformidade com as políticas de privacidade.
• Colaborar com as equipes de BI e Analytics para preparar os dados para análise.
• Manter documentação técnica dos processos e soluções implementadas.

Requirements and skills

Qualificações:

• Experiência sólida comprovada em mais de 5 anos AWS (S3, Glue, Redshift, Athena, Lambda, etc.).
• Experiência com DynamoDB comprovada;
• Proficiência em PySpark para processamento distribuído de dados (com mais de 5 anos).
• Familiaridade com Jupyter Notebooks para análise de dados e prototipagem.
• Sólidos conhecimentos de SQL e banco de dados relacionais e não-relacionais.
• Experiência com SSIS para integração de dados e automação de processos ETL.
• Experiência em ETL e automação de processos de dados.
• Conhecimento em arquiteturas de dados em nuvem e boas práticas de segurança de dados.
• Experiência com ferramentas de orquestração de workflows (Apache Airflow, AWS Step Functions).
• Habilidade em programação com Python ou outras linguagens de integração de dados.
• Bacharelado em Ciência da Computação, Engenharia de Dados ou áreas afins (ou experiência equivalente).

Diferenciais:

• Certificação AWS (Solutions Architect, Big Data, etc.).
• Experiência com Data Lakes e processamento de dados em larga escala.
• Conhecimento de frameworks de análise de dados, como Pandas, Matplotlib, ou Plotly.

Additional information

• Modelo de atuação: Híbrido 3x por semana na Vila Olimpia - São Paulo.