DATA ENGINEER II

• Desenvolver e implementar serviços de coleta, armazenamento, processamento e consumo de dados;
• Criar, manter e monitorar pipelines de dados, tais como processos de coleta, armazenamento, processamento e consumo de dados em grande escala;
• Realizar provisionamento de infra-estrutura relacionadas a dados (Terraform);
• Integrar, operar e gerenciar serviços de comunicação (batch e tempo real) de dados;
• Prover integrações de aplicações e serviços de dados entre sistemas.

• Proficiência em Python e SQL;
• Conhecimento em Spark (PySpark);
• Conhecimento comprovado com AWS;
• Conhecimento em ferramentas de big data como Apache Spark, Apache Kafka e Apache Airflow, e experiência em utilizá-las para construir pipelines de dados;
• Conhecimento nos principais serviços da AWS utilizados em engenharia de dados, como Amazon S3 para armazenamento de dados, AWS Glue para ETL, EMR, Amazon Redshift para data warehousing, e AWS Lambda para processamento de dados serverless;
• Experiência em bancos de dados relacionais e não relacionais, como MySQL, PostgreSQL, e/ou NoSQL (por exemplo, MongoDB), e capacidade de otimizar consultas e modelagem de dados;
• Compreensão dos conceitos de data lakes e data warehouses, e experiência em projetar e implementar soluções utilizando serviços da AWS, como Amazon S3 e Amazon Redshift;
• Conhecimento com arquitetura distribuída, conceitos de streaming de dados e utilização de ferramentas opensource;
• Conhecimento básico em práticas de segurança da AWS, como configuração de políticas de acesso e criptografia de dados, e conformidade com regulamentações de segurança;
• Habilidade para resolver problemas técnicos (troubleshooting) relacionados à infraestrutura e processamento de dados na AWS;
• Conhecimento com arquiteturas de batch e streaming;
• Familiaridade com sistemas de controle de versão, como Git, e boas práticas de clean code;
• Experiência com desenvolvimento de WebServices e integrações via API (Rest e Soap);
• Boas habilidades de comunicação para trabalhar em equipe e colaborar com outras áreas, como cientistas de dados, engenheiros de software e analistas de negócios.

O que oferecemos?

• Vale Alimentação/Vale Refeição
• Plano de saúde e odontológico
• Seguro de vida
• Vale Transporte
• Duo Gourmet,
• Wellhub
• ....e muito mais!