Engenharia de Dados Python AWS - 122600

O que buscamos:

Procuramos um profissional que atue com Engenharia de Dados com experiência em Python e Cloud AWS para atuação remota.

Responsabilidades:

• Linguagem de Programação: Python, SQL, Scala, Pyspark, Shell Script
• Fundamentos: DataMesh, Database SQL e NoSQL, Hadoop Ecossistema, Engenharia de Software, Privacidade e Segurança.
• Engenharia de Dados: Data Ingestion, Data Stream, Processamento Paralelo, Processamento Massivo.
• Arquitetura de Dados: ETL vs ELT, Modelagem tradicional, Dimensional e Híbrido, Estruturado / Não Estruturado, Camada de Dados Brutos (SOR), Camada de Dados Harmonizados (SOT), Camada de Dados Especializados (SPEC), Data Analytics, Data Viz, Data Storytelling.
• Experiência com processamento distribuído e de grandes volumes de dados.
• Vivência em Pipelines CI/CD (codepipeline / githubactions).
• Conhecimento nos serviços primários da AWS (Storage Gateway, Direct Connect, DMS, Lambda, Glue, RDS, API Gateway).
• Desenvolvimento de Soluções de Engenharia de Dados: Projetar, implementar e otimizar pipelines de ingestão e processamento de dados utilizando Python, Pyspark, SQL, Scala e Shell Script.
• Desenvolver soluções para o processamento paralelo e massivo de grandes volumes de dados.
• Arquitetura e Modelagem de Dados: Projetar e implementar arquiteturas de dados baseadas em DataMesh, seguindo os princípios de ETL vs ELT e modelagens tradicionais, dimensionais ou híbridas.
• Organizar os dados em camadas estruturadas, como Dados Brutos (SOR), Dados Harmonizados (SOT) e Dados Especializados (SPEC), para diferentes tipos de análises e consumidores.
• Processamento Distribuído e Big Data: Trabalhar com ecossistemas de Hadoop e processamento distribuído, garantindo o tratamento eficiente de dados estruturados e não estruturados.
• Implementar soluções que atendam a requisitos de alta disponibilidade, escalabilidade e desempenho.
• Privacidade e Segurança de Dados: Garantir conformidade com normas de privacidade e segurança no armazenamento, processamento e compartilhamento de dados. Implementar controles e políticas para proteger dados sensíveis e assegurar o uso ético da informação.
• Desenvolvimento e Automação de Pipelines: Criar e manter pipelines de CI/CD utilizando ferramentas como CodePipeline e GitHub Actions para automação de deploy e integração de código.
• Monitorar e otimizar pipelines de dados em ambientes dinâmicos e distribuídos.
• Utilização de Serviços em Nuvem (AWS): Trabalhar com os principais serviços da AWS, como Storage Gateway, Direct Connect, DMS, Lambda, Glue, RDS e API Gateway, para criar e gerenciar soluções baseadas em cloud.
• Garantir a integração perfeita de dados em diferentes ambientes utilizando serviços de armazenamento e processamento.
• Data Analytics e Storytelling: Construir soluções para Data Analytics, incluindo visualização e storytelling de dados, traduzindo insights técnicos em informações acessíveis e estratégicas.
• Colaborar com equipes de negócio para entregar dashboards e relatórios que apoiem a tomada de decisão.
• Colaboração em Ambiente Ágil: Participar de equipes multidisciplinares em um ambiente ágil, aplicando boas práticas de engenharia de software e metodologias ágeis (Scrum/Kanban).

Descrição comportamental:

Procuramos uma pessoa que:

• Goste de trabalhar em equipe e seja colaborativa em suas atribuições;
• Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento;
• Transforme ideias em soluções criativas e busque qualidade em toda sua rotina;
• Tenha habilidades de resolução de problemas;
• Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo;
• Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.