Data Engineer

Empresa con especialización en el sector gran consumo, siendo el partner tecnológico de empresas referentes en el sector alimentación y bebidas, busca un perfil como Data Engineer para sus oficinas en Manresa.

¿Cómo será tu día a día?

• Tu misión será asegurar y mantener todos los procesos relacionados con la integración, construcción, procesamiento y extracción de las bases de datos

• Liderar el diseño y desarrollo de arquitecturas de datos robustos y escalables, garantizando la eficiencia, la fiabilidad y el rendimiento óptimo.

• Crear y mantener pipelines de datos complejos y de alto rendimiento utilizando herramientas como Python, PySpark y tecnologías relacionadas.

• Desarrollar y mantener infraestructuras de datos de vanguardia utilizando plataformas como Azure Datalake, Kubernetes y otras tecnologías de Big Data.

• Desarrollar y mantener scripts y herramientas de web scraping para la extracción de datos de fuentes externas

• Implementar pruebas unitarias y de integración para garantizar la calidad y fiabilidad de los sistemas de datos desarrollados.

• Proporcionar orientación técnica y liderazgo al equipo en la resolución de problemas complejos de programación y arquitectura de datos.

• Investigar y evaluar nuevas tecnologías y herramientas para mejorar continuamente nuestras capacidades de gestión y análisis de datos.

• Experiencia significativa (mínimo 5 años) en el diseño, desarrollo e implementación de pipelines de datos complejos utilizando Python, PySpark u otras tecnologías similares.

• Licenciatura/grado o posgrado en Ciencias de la Computación, Ingeniería Informática, Matemáticas, o campos relacionados.

• Profundo conocimiento y experiencia en la construcción de infraestructuras de datos escalables y de alto rendimiento utilizando Azure Datalake, Kubernetes y otras tecnologías de Big Data.

• Experiencia en el diseño y desarrollo de arquitecturas de datos distribuidas y en la resolución de problemas de escalabilidad y rendimiento.

• Valorable experiencia en desarrollo y aplicación de modelos de machine learning.

• Fuertes habilidades de liderazgo y capacidad para proporcionar orientación técnica al equipo.