Descripción del empleo
Buscamos Data Engineer con disCapacidad para importante empresa del sector energético en Madrid Capital.
Estamos buscando expertos en todas las áreas relacionadas con la gestión del dato. ¿Te gustaría involucrarte en nuestro equipo de expertos en el desarrollo de soluciones y proyectos, con el uso de tecnologías nuevas y emergentes, con el enfoque y orientación de una compañía Data Driven ?
Desde el rol de Data Engineer (en delante DE) tendrás la misión de asegurar la gestión de las bases de datos y almacenamiento Big Data, entrando en nuestro equipo DevOps de aplicaciones de Data Science; deberás sacar el máximo rendimiento a la explotación de la actual arquitectura de Big Data con el objetivo de facilitar la toma de las decisiones.
¿Tienes una alta motivación, eres un jugador de equipo y posees una excelente atención al detalle? ¿Posees conocimientos profundos en bases de datos, metodología ágil y herramientas de transformación del dato? ¿Te apasionan los desafíos? Si es así, ¡puede que quieras unirte a nosotros!
Qué harás (Funciones)
Como DE, estarás a cargo de gestionar todos los aspectos relativos a la ingesta y procesamiento de los datos y la información (estructurada o no) a lo largo de la organización.
Ayudarás a implementar los proyectos de Inteligencia Artificial y de Machine Learning, participar en las soluciones
centralizadas y distribuidas orientadas al cumplimiento de los requerimientos de negocio, gestionarás distintas actividades
relativas a los ecosistemas de datos y de información de la organización como:
Medir distintas soluciones de almacenamiento de datos contra un conjunto de operaciones específicas basadas en
aplicaciones de Data Science.
Establecer directrices para diseñar y desarrollar modelos de arquitectura de datos en función de la naturaleza (tiempo
real, batch, etc) del dato y el tipo de acceso más frecuentes realizado sobre esos datos.
Diseñar, desarrollar y optimizar los procesos de ingesta, limpieza y transformación basados en Map-Reduce, Spark, Informatica BDM, etc.
Evaluar el rendimiento de lectura y escritura de operaciones bajo distintas condiciones de concurrencia, en combinación con procesos de (near) real-time.
Evaluar la empleabilidad y posibles beneficios de bases de datos open source que no estén presentes todavía en el catálogo de productos de la organización.
Estudiar posibles arquitecturas para procesos de ingesta y transformación de datos en (near) real time empleando Kafka Brokers, Spark Stream, Apache Beam.
Iniciar el proceso de implementación en la plataforma de Continuous Integration (CI) y Continuous Deployment (CD) en colaboración con los equipos DevOps.
Participar en el proyecto para implementar Polyglot Persistence, que es un framework para múltiples bases de datos orquestadas a través de micro servicios.
Buscamos un graduado en Ingeniería, en Matemáticas, Estadística con al menos cinco años de experiencia en gestión de proyectos.
Requisitos mínimos
Fundamentos de Seguridad y criptografía.
Protocolos de autentificación y autorización (LDAP, Kerberos, OAuth, PAM, ...).
Lenguajes de programación: Python/R (obligatorio), Scala, C/C++/. C3IoT.
Procesado distribuido: Spark, MapReduce.
Algorítmica (ordenación, búsqueda, grafos, etc) y estructuras de datos (listas, diccionarios, Mapas, etc).
Bbdd y Soluciones Big Data escalables
Conocimientos de bbdd r (PostgreSQL, MySQL, Oracle, Redshift) y no r (MongoDB, Cassandra, HBase, OrientDB/Neo4J).
Framework de Hadoop, (Cloudera): S de ficheros HDFS/HBase/KUDU; Framework de proc Yarn; Cli Impala/Hive/Spark SQL.
Amazon Glue e Informatica BDM.
Streaming: publicación/subscripción de Kafka, Spark Stream, Apache Beam.
Conocimientos de estadístic
