Especialista em Big Data (Cloudera e Databricks)

Especialista em Big Data (Cloudera e Databricks)

Buscamos um Especialista em Big Data para atuar no suporte, otimização e operação de ambientes baseados em Cloudera e Databricks. Esse profissional será responsável pela administração de clusters, troubleshooting avançado, otimização de performance e implementação de boas práticas em plataformas de dados distribuídos.

Responsabilidades:

• Monitorar, identificar e resolver incidentes complexos relacionados a Cloudera Data Platform e Databricks.
• Atuar no ajuste e tuning de pipelines de dados e workloads de processamento distribuído (Spark, Hadoop, Hive, Impala, Kafka).
• Implementar melhores práticas de governança, segurança e automação em clusters de Big Data.
• Realizar troubleshooting avançado, incluindo análise de logs, debugging de jobs e otimização de queries.
• Criar e manter documentação técnica, roteiros de instalação e checklists operacionais.
• Trabalhar em integração com times de engenharia, infraestrutura e fornecedores para garantir a estabilidade e escalabilidade dos ambientes.
• Apoiar na implementação de novas soluções e arquiteturas em Cloudera e Databricks, visando performance e eficiência.

Requisitos:

• Experiência com Cloudera Data Platform (CDP) e Databricks, incluindo administração, configuração e troubleshooting.
• Conhecimento do ecossistema Hadoop (HDFS, Spark, Hive, Impala, Kafka, YARN, Airflow).
• Conhecimento em Linux, incluindo administração, tuning de performance e troubleshooting.
• Experiência com bancos de dados relacionais e NoSQL para otimização e análise de performance.
• Habilidade em scripting e automação (Python, Shell, SQL) para otimizar operações de dados.
• Experiência com monitoramento e observabilidade em ambientes distribuídos (Grafana, Prometheus, ELK, Datadog).
• Conhecimento em segurança, autenticação e autorização em ambientes de Big Data.

Desejáveis:

• Experiência com AWS (S3, EMR, Glue, Lambda, IAM) e sua integração com soluções Big Data.
• Certificações Cloudera CDP Administrator, Databricks Certified Developer for Apache Spark.
• Experiência com arquitetura de Data Lake e Lakehouse.
• Vivência com DataOps e CI/CD para ambientes de dados.
• Experiência em projetos de migração de dados e otimização de pipelines.