Especialista - Engenheiro De Dados Sênior (Aws)

A LEEGA é referência em consultoria e outsourcing para soluções de Data Analytics.

Temos 14 ANOS de mercado e mais de 20 ANOS de experiência em soluções de Business Intelligence, Data Integration e Analytics, atendendo grandes empresas dos mais diversos segmentos do mercado e contamos com mais de 400 colaboradores.

Conquistamos capacidade técnica e reunimos as melhores pessoas para proporcionar aos nossos clientes a melhor experiência.

Brasileiros, com escritório de projetos, fábrica de software e centro de treinamento em São Paulo (capital), atuação internacional com escritório também em Portugal, somos conhecidos por viver e respirar Analytics e Big Data, inovando nossa tecnologia, compartilhando conhecimento, evoluindo talentos e entregando VALOR.

Em nosso portfólio de serviços ofertamos consultoria especializada, alocação de profissionais, treinamento e desenvolvimento de soluções customizadas para Cloud Computing, Business Intelligence, Big Data, Data Analytics, Machine Learning, Inteligência Artificial, Data Quality, MDM, Governança de Dados e demais soluções de dados.

Qualificações:

• Experiência sólida comprovada em mais 5 anos AWS (S3, Glue, Redshift, Athena, Lambda, etc.).
• Experiência com DynamoDB comprovada;
• Proficiência em PySpark para processamento distribuído de dados (com mais de 5 anos).
• Familiaridade com Jupyter Notebooks para análise de dados e prototipagem.
• Sólidos conhecimentos de SQL e banco de dados relacionais e não-relacionais.
• Experiência com SSIS para integração de dados e automação de processos ETL.
• Experiência em ETL e automação de processos de dados.
• Conhecimento em arquiteturas de dados em nuvem e boas práticas de segurança de dados.
• Experiência com ferramentas de orquestração de workflows (Apache Airflow, AWS Step Functions).
• Habilidade em programação com Python ou outras linguagens de integração de dados.
• Bacharelado em Ciência da Computação, Engenharia de Dados ou áreas afins (ou experiência equivalente).
• Certificação AWS (Solutions Architect, Big Data, etc.).
• Experiência com Data Lakes e processamento de dados em larga escala.
• Conhecimento de frameworks de análise de dados, como Pandas, Matplotlib, ou Plotly.

Requisitos e atribuições:

• Desenvolver e otimizar pipelines de dados utilizando PySpark em ambientes AWS (S3, Glue, Redshift, Athena).
• Projetar e implementar soluções de processamento distribuído de dados em larga escala.
• Utilizar Jupyter Notebooks para análise de dados, testes de algoritmos e visualizações.
• Integrar dados de diferentes fontes utilizando ETL e garantir sua qualidade e consistência.
• Trabalhar com SQL para consultas e transformações de dados, otimizando a performance.
• Usar SSIS para integração de dados e automação de processos ETL.
• Trabalhar com ferramentas de orquestração de workflows como Apache Airflow ou AWS Step Functions para automatizar os processos de dados.
• Monitorar e garantir a performance das soluções, otimizando custos e recursos.
• Aplicar práticas de segurança e governança de dados, assegurando conformidade com as políticas de privacidade.
• Colaborar com as equipes de BI e Analytics para preparar os dados para análise.
• Manter documentação técnica dos processos e soluções implementadas.