Data Engineer – Azure – Databricks

Poste ouvert pour PVT et nous pouvons faire des permis Jeunes Professionnels !

TACHES PRINCIPALES :

1. Conception et architecture des solutions de données :
   -Définir et/ou mettre en œuvre des architectures cloud modernes pour le traitement et le stockage des données (Azure de préférence, ou AWS).
   -Concevoir des pipelines de données robustes pour assurer l’intégration et la transformation des données provenant de multiples sources.
2. Gestion des projets de migration :
   -Participer à la migration de data warehouses traditionnels (on-premise) vers des plateformes cloud (ex. Azure Synapse, Snowflake, Databricks).
   -Collaborer avec les équipes métiers et techniques pour planifier, exécuter et valider les migrations de données, notamment dans le cadre de projets de migration de CRM (ex. Salesforce, Dynamics 365).
3. Développement et optimisation de pipelines de données :
   -Utiliser des outils comme Azure Data Factory, Apache Spark, ou Databricks pour créer des workflows d’ingestion, transformation, et mise à disposition des données.
   -Automatiser les processus ETL/ELT en respectant les principes de scalabilité et de performance.
4. Gestion des données et gouvernance :
   -Surveiller la qualité des données et mettre en place des mécanismes de détection et de correction des anomalies.
   -Implémenter des politiques de gouvernance des données, incluant la gestion des métadonnées, la sécurité, et la conformité (ex. RGPD).
5. Collaboration interdisciplinaire :
   -Travailler avec des équipes pluridisciplinaires (data scientists, analystes, et équipes métier) pour comprendre leurs besoins et adapter les solutions.
   -Fournir un support technique sur l’utilisation des pipelines et plateformes de données.
6. Optimisation des coûts et des performances :
   -Configurer et surveiller les ressources cloud pour minimiser les coûts tout en maintenant une performance optimale.
   -Identifier et résoudre les goulets d’étranglement dans les systèmes de données et pipelines.
7. Veille technologique :
   -Rester à jour sur les technologies modernes et les meilleures pratiques en matière de cloud, big data, et migration de données.
   -Recommander de nouveaux outils ou approches pour améliorer les processus existants.

COMPETENCES TECHNIQUES :

1. Cloud : Expertise en Azure (Azure Data Factory, Azure Synapse Analytics, Azure Blob Storage) de préférence, ou plateformes similaires (AWS, GCP).
2. Big Data : Maîtrise de Databricks et Apache Spark pour le traitement des données à grande échelle.
3. Langages de programmation : Excellente connaissance de Python (pandas, PySpark) et SQL.
4. Outils ETL/ELT : Expérience avec des outils comme Azure Data Factory, Informatica, ou Talend.
5. Bases de données : Connaissance des data warehouses modernes (Snowflake, BigQuery) et des bases relationnelles (PostgreSQL, MySQL).

EXPERIENCES REQUISES :
Au-dessus de 7 ans d'expérience en ingénierie des données, avec une forte exposition aux projets de migration de données ou de data warehouses.
Participation active à des projets complexes de migration CRM ou ERP, avec une compréhension des défis métiers et techniques.