Engenheiro de Dados Sênior CC602/ ID.HC.100

Job description

Aqui na Auto Avaliar estamos sempre em busca de novos talentos para somar ao nosso time que se reúne todos os dias com um único propósito: oferecer as melhores soluções aos nossos clientes.

Você quer desenvolver uma carreira de sucesso em uma empresa que está em constante crescimento, então seu lugar é aqui!

Main responsibilities

Estamos em busca de um Engenheiro de Dados Sênior altamente qualificado, com um forte senso de proatividade e uma sólida base técnica em dados. O candidato ideal terá experiência prática em Google Cloud Platform (GCP), Python, Airflow, SQL e NoSQL, além de ser capaz de lidar com a criação e otimização de pipelines de dados escaláveis e eficientes. Esta posição exige alguém que não apenas entregue soluções de alta qualidade, mas que também identifique oportunidades de melhoria contínua e inovações tecnológicas para transformar e otimizar o uso de dados em toda a organização.

Responsabilidades:

• Projetar, desenvolver e implementar pipelines de dados em ambientes de grande escala utilizando Google Cloud Platform (GCP), com foco em otimização, escalabilidade e segurança.
• Desenvolver e otimizar pipelines de ETL utilizando Apache Airflow para orquestração de processos e automação de fluxos de dados.
• Criar e manter scripts em Python para automação de tarefas, processamento de dados e integração de fontes de dados.
• Trabalhar com bancos de dados SQL e NoSQL, garantindo uma arquitetura flexível e eficiente para suportar os diferentes tipos de dados da organização (estruturados, semi-estruturados e não estruturados).
• Aplicar boas práticas de modelagem de dados e consultas SQL otimizadas para garantir desempenho e escalabilidade.
• Implementar soluções que garantam a integridade, qualidade e segurança dos dados ao longo de todo o pipeline.
• Colaborar de forma proativa com equipes técnicas e de negócios para identificar e solucionar problemas de dados, sempre buscando alternativas para melhorar a eficiência e eficácia dos processos.
• Garantir a performance e saúde dos pipelines de dados, com a implementação de ferramentas de monitoramento e alertas para detectar possíveis falhas ou gargalos.
• Ajudar a definir e aprimorar processos e melhores práticas de governança de dados em toda a empresa.
• Participar ativamente da evolução das arquiteturas de dados, trazendo novas ideias e propondo melhorias contínuas para infraestrutura e fluxo de dados.

Requirements and skills

Requisitos:

• Experiência comprovada como Engenheiro de Dados ou em função similar, com sólido conhecimento em soluções de engenharia de dados em larga escala.
• Domínio em Google Cloud Platform (GCP), com experiência prática em ferramentas como BigQuery, Dataflow, Pub/Sub, Cloud Storage, entre outras.
• Sólida experiência com Airflow para orquestração de pipelines de dados, com capacidade de otimizar e gerenciar fluxos de dados em tempo real ou em batch.
• Proficiência técnica em SQL e NoSQL (como MongoDB, Cassandra, Redis, etc.), com experiência em modelagem de dados, criação de consultas otimizadas e manipulação de grandes volumes de dados.
• Proficiência em Python para automação, transformação de dados e integração entre sistemas e plataformas.
• Experiência com Docker e Kubernetes para criar, gerenciar e orquestrar containers no ambiente de dados.
• Forte capacidade de análise e resolução de problemas técnicos, além de uma visão estratégica para otimizar soluções de dados e atender às demandas de crescimento da empresa.
• Capacidade de trabalhar com grandes volumes de dados distribuídos e garantir sua qualidade, consistência e acessibilidade para diferentes equipes e stakeholders.
• Proatividade para identificar melhorias no processo de engenharia de dados e implementar soluções inovadoras para novos desafios.

Diferenciais:

• Certificações em Google Cloud Platform (GCP) ou em outras plataformas de cloud computing.
• Experiência em Apache Beam ou ferramentas de processamento de dados em tempo real.
• Experiência no desenvolvimento e manutenção de API’s
• Conhecimento em Data Warehousing e Data Lakes.
• Experiência com ferramentas de visualização de dados como Looker ou PowerBI.
• Vivência com metodologias ágeis (Scrum, Kanban).

Additional information

• Contrato PJ;
• Parceria estendida de plano médico Amil - plano de adesão com participação do prestador de serviços;
• Gympass;
• Modelo de trabalho 100% home office.