Data Engineer Big Query / GCP (IT) / Freelance

Nous recherchons pour notre client un Data Engineer Big Query / GCP.

Missions de l'équipe :

1. Prendre en charge le produit data Data4All aussi bien dans le build que dans le run :
1. Construire les nouveaux indicateurs issus de nouvelles sources ou de sources existantes.
2. Mettre à jour et faire évoluer les indicateurs existants, en fonction des évolutions des données.
3. Traiter et corriger les anomalies.
4. Concevoir les modèles de données adaptés aux besoins des utilisateurs.
5. Accompagner les utilisateurs de Data4All dans leurs usages.
6. Auditer et cartographier les données existantes de Data4All et proposer une vision cible performante, gouvernée et adaptée aux besoins et contraintes.
7. Mettre en place le contrôle qualité sur les données.
2. En interaction avec les membres de l’équipe, la prestation consistera à participer à :
1. La mise en place de pipelines de traitement de données.
2. Développement des modèles de données.
3. L’extraction et l’exposition des données issues de la zone silver de la plateforme data vers Data4All.
4. L’industrialisation des différents environnements de Data4All, en collaboration avec l’équipe d’ops.
5. Différentes phases de cadrage, de planification et de réalisation des tâches avec l’équipe.
6. La veille technique pour l’amélioration de la stack.
7. L’amélioration des performances et la maîtrise des coûts sur les différents environnements Data4All, sur la GCP.

Profil candidat :

1. Expertises requises :
1. Au moins 3 ans d’expérience en tant que Data ingénieur dans un environnement data.
2. Compétences solides en data : structures de données, code, architecture.
3. Expériences dans un environnement du Cloud Provider Public Google (GCP).
4. Expériences sur des projets Big Data intégrant BigQuery, Airflow et dbt.
5. Expériences dans la mise en place de pipeline ETL / ELT.
6. Expériences sur des projets intégrant Gitlab (Gitlab CI / CD).
7. Expériences sur des projets intégrant Docker.
8. Expériences sur des projets intégrant Terraform et Terragrunt.
9. Maitrise des langages SQL et Python indispensable.