Ter conhecimento e garantir que está sendo aplicado as melhores práticas;
Contribuir em projetos de migração de dados entre plataformas (MF x Hadoop);
Otimizar processos de ETL;
Colaborar no desenho de arquiteturas para processamento de dados, seja para novos pipelines ou para melhoria do atual;
Aplicar os padrões de governança de dados estabelecidos pela empresa;
Garantir que arquitetura comporte necessidades e requisitos técnicos do time de execução, trabalhando em conjunto com times de TI (Arquitetura, Segurança, Infraestrutura) e com áreas de negócio;
Desenvolver APIs de acesso e consumo dos dados para disponibilização dos dados como um produto;
Identificar oportunidades de melhorias no processo;
Interagir com terceiros, fornecedores e/ou prestadores a fim de garantir o melhor entendimento e implementação da solução;
Participar de discussões de alinhamento;
Fazer a interface com os times de tecnologia e produtos a fim de definir as melhores práticas quanto ao armazenamento e consumo dos dados, além de sugerir, testar e acompanhar a implementação de novas tecnologias;
Ter atuado em projetos metodologia ágil.
Requisitos e qualificações:
Experiência com Jobs Spark Scala - Apache Airflow Python - Hadoop Ecosystem (Yarn, Hive, HDFS) - Amazon AWS (EC2, S3, EMR) - Cultura DevOps - Cassandra / Mongo DB;
Desejável conhecimento em: Esteira de DevOps Jenkins Sonarcube/Veracode PEP8 - Kubernetes / Docker - Terraform / Ansible - Apache Hudi / Iceberg - Cassandra - Trino (Presto) - HBase - Delta Lake - Técnicas de CDC – Change Data Capture;
Inglês intermediário/avançado.
Descrição comportamental:
Procuramos uma pessoa que:
Goste de trabalhar em equipe e seja colaborativa em suas atribuições;
Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento;
Transforme ideias em soluções criativas e busque qualidade em toda sua rotina;
Tenha habilidades de resolução de problemas;
Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo;
Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.
Obtém a tua avaliação gratuita e confidencial do currículo.