AWS/Snowflake Data Engineer | Senior

Job description

.

Main responsibilities

• Desenvolver e manter pipelines de dados escaláveis e robustos no ambiente AWS, utilizando ferramentas como Amazon S3, Apache Airflow, Apache Kafka, DBT, Kubernetes e Snowflake;
• Realizar a migração segura e eficiente de grandes volumes de dados e workloads de GCP e OnPremise para AWS;
• Criar scripts e processos automatizados para orquestração, transformação e validação dos dados migrados;
• Monitorar continuamente a performance dos pipelines de dados;
• Garantir a adoção das melhores práticas de DevSecOps na infraestrutura e no fluxo de dados, promovendo a segurança em todas as etapas.

Requirements and skills

• Experiência com ferramentas e tecnologias em ambiente AWS, incluindo Amazon S3, Apache Airflow, Apache Kafka, DBT, Kubernetes e Snowflake;
• Sólidos conhecimentos de migração de dados e workloads entre diferentes plataformas;
• Experiência com orquestração de dados e automação utilizando Apache Airflow e DBT;
• Conhecimentos em monitoramento e otimização de performance de pipelines de dados;
• Conhecimento das práticas de DevSecOps e segurança em ambientes de dados.