Data Engineer GCP

Informations Générales
Intitulé du poste : Data Engineer GCP
Localisation : [Ville, Pays] (possibilité de télétravail selon politique de l'entreprise)
Type de contrat : CDI / Freelance / Autre
Rémunération : Selon profil et expérience
Département : Data / IT
Rattachement hiérarchique : Lead Data Engineer / Data Architect

Missions Principales
En tant que Data Engineer GCP, vous serez responsable de la conception, de la mise en place et de l'optimisation des pipelines de données sur Google Cloud Platform. Vous travaillerez en collaboration avec les équipes Data Science, BI et DevOps pour garantir la fiabilité et la scalabilité des infrastructures de données.

1. Conception et Développement de Pipelines de Données
   Concevoir, développer et maintenir des pipelines ETL / ELT robustes et performants sur GCP
   Utiliser BigQuery, Dataflow (Apache Beam), Dataproc (Apache Spark), Cloud Composer (Apache Airflow) pour l'ingestion, la transformation et le stockage des données
   Assurer l'optimisation des performances et la scalabilité des traitements de données
   Automatiser les flux de données en intégrant les meilleures pratiques DevOps et CI / CD
2. Gestion et Optimisation des Bases de Données
   Déployer et gérer des bases de données relationnelles et NoSQL sur GCP : BigQuery, Cloud SQL, Firestore, Spanner
   Assurer la qualité, la gouvernance et la sécurité des données (GDPR, RGPD, DLP)
   Implémenter des stratégies de partitionnement, d'indexation et d'optimisation des coûts sur BigQuery
3. Sécurité, Monitoring et Fiabilité
   Mettre en place des bonnes pratiques de sécurité (IAM, chiffrement des données, gestion des accès)
   Assurer le monitoring des pipelines et des infrastructures de données avec Cloud Monitoring, Stackdriver et Prometheus
   Gérer les incidents et optimiser les performances des traitements et des requêtes SQL
4. Collaboration et Documentation
   Travailler en étroite collaboration avec les Data Scientists, Data Analysts et équipes métiers
   Documenter les pipelines, les architectures et les bonnes pratiques
   Sensibiliser et accompagner les équipes sur l'utilisation des données et des outils GCP

Compétences Requises

Compétences Techniques
Maîtrise de Google Cloud Platform : BigQuery, Dataflow (Apache Beam), Dataproc (Apache Spark), Cloud Composer (Apache Airflow), Pub / Sub
ETL / ELT : Conception et optimisation de pipelines de données
Langages de programmation : Python, SQL, Scala, Java
Bases de données : BigQuery, Cloud SQL, Firestore, Spanner
Infrastructure as Code (IaC) : Terraform, Deployment Manager
CI / CD et DevOps : GitHub Actions, GitLab CI / CD, Jenkins
Sécurité et Gouvernance des données : IAM, GDPR, DLP
Monitoring et Logging : Cloud Monitoring, Stackdriver, Prometheus

Compétences Transverses
Bonne capacité d'analyse et de résolution de problèmes
Capacité à vulgariser des concepts techniques complexes
Esprit collaboratif et bonne communication
Force de proposition et autonomie

Profil candidat :
Profil Recherché
Formation : Bac +5 en informatique, data science, ingénierie ou équivalent
Expérience : Minimum 5 ans en ingénierie des données, dont au moins 2 ans sur GCP
Certifications GCP (un plus) : Professional Data Engineer, Professional Cloud Architect