Ingénieur de données senior/Senior Data Engineer
Le Centre d’excellence en matière d’activation numérique d’IQVIA recrute un ingénieur de données senior pour travailler à distance partout au Canada. Notre vision ouvre la voie à un engagement client sans précédent, à une narration omnicanal de nouvelle génération, à une suite de mesures intégrée et à une optimisation des campagnes en temps réel, le tout alimenté par un système d'exploitation de bout en bout indépendant de la plate-forme et des données pour un marketing et une analyse intelligents des soins de santé. En simplifiant les flux de travail qui prenaient auparavant plusieurs jours en quelques secondes, nous permettons aux marques de concentrer leur temps et leurs ressources sur l'obtention de résultats concrets.
En tant qu'ingénieur de données senior au sein du Digital Enablement Center of Excellence, vous jouerez un rôle crucial dans la conception, le développement et la maintenance de l'infrastructure et des systèmes requis pour un traitement, un stockage et une analyse efficaces et efficients des données pour nos produits AIM, Email et HCN. En travaillant au sein d'une équipe Scrum interfonctionnelle, vous collaborerez en étroite collaboration avec d'autres ingénieurs logiciels, scientifiques des données, testeurs de logiciels et propriétaires de produits pour assurer le flux fluide des données dans toute l'organisation, permettant ainsi une prise de décision et des informations basées sur les données. Ce rôle nécessite une solide compréhension de l'architecture des données et des compétences en programmation dans Spark et Scala, ainsi qu'une passion pour travailler avec des ensembles de données volumineux et complexes.
Principales responsabilités :
Développement Spark: concevez, créez et maintenez des pipelines de données évolutifs et robustes à l'aide d'Apache Spark.
Développement de pipelines de données: concevoir, mettre en œuvre et optimiser des pipelines de données pour extraire, transformer et charger des données (ETL) provenant de diverses sources dans des systèmes de stockage et de traitement de données.
Gestion de l'entrepôt de données: développez et gérez des solutions d'entreposage de données à l'aide de Spark et Scala pour garantir la disponibilité, l'intégrité et la sécurité des données.
Intégration des données: collaborez avec des équipes interfonctionnelles pour intégrer et consolider des données provenant de plusieurs sources.
Qualité et gouvernance des données: mettez en œuvre des contrôles de qualité des données et des processus de validation.
Optimisation des performances: identifiez et résolvez les problèmes de performances dans les applications Spark.
Collaboration et communication: collaborez avec des équipes interfonctionnelles pour comprendre leurs besoins en matière de données.
Technologies et tendances émergentes: restez au courant des dernières avancées en matière de Spark et Scala.
Diplômes et compétences :
Baccalauréat ou maîtrise en informatique, systèmes d'information ou dans un domaine connexe.
Solides compétences en programmation dans Scala et expérience avec Apache Spark.
Maîtrise de SQL et expérience de travail avec des bases de données relationnelles.
Familiarité avec les technologies Big Data telles que Hadoop, Kafka ou Hive.
Expérience en modélisation de données, conception de schémas et processus ETL.
Compréhension des concepts d'entreposage de données.
Connaissance des plateformes cloud telles qu'AWS.
Solides compétences en résolution de problèmes.
Excellentes compétences en communication et en collaboration.
Souci du détail et engagement fort envers la qualité.
* The salary benchmark is based on the target salaries of market leaders in their relevant sectors. It is intended to serve as a guide to help Premium Members assess open positions and to help in salary negotiations. The salary benchmark is not provided directly by the company, which could be significantly higher or lower.