MISSION / RAISON D’ETRE

L’ingénieur Big Data Plateforme a la responsabilité de concevoir, construire, tester et maintenir les systèmes liés au traitement de données très volumineuses. Il travaille sur l’automatisation de la livraison de ces technologies PaaS en « self-service », en minimisant l’effort de RUN associé. L’ingénieur Big Data Plateforme travaille en étroite collaboration avec :

- l’équipe infrastructure qui fournit les briques de bases pour supporter l’écosystème technologique Big Data.

- les Data Scientists/Data engineers qui consomment les technologies Big Data pour exploiter les données et en extraire de la valeur (facturation, détection de fraude, prévisions…). Il assure la maintenance des composants/services. Il automatise l’accès aux ressources tout en assurant de la cohérence, la qualité et la sécurité. Il veille au monitoring et à la supervision des composants. Il est également responsable du suivi de la consommation des différents composants Big Data (Capacity Planning).

ACTIVITES PRINCIPALES

·         Participe à la définition des solutions.

·         Déploie, intègre et administre des Infrastructures Big Data et streaming sous Linux.

·         Automatise la livraison, la supervision et l’accès aux composants big data sur notre infrastructure privée.

·         Documente et contribue à la rédaction du modèle de responsabilité partagée pour chaque technologie (« shared responsibility model »).

·         Apporte son expertise technique pour la résolution des incidents N2 et N3.

·         Automatise et documente l’exploitation des plateformes du périmètre.

·         Est en charge de l’évolution technique des plateformes.

·         Garantit l’intégrité des données.

·         Capacity planning.

·         Effectue des astreintes sur le périmètre de l’équipe (Big data, Kubernetes et bases de données)